首頁 > 公開課 > 大數據 > 數據分析挖掘與可視化最佳實踐

數據分析挖掘與可視化最佳實踐

培訓地點 上海 成都
培訓時間 4月13-15日 6月21-23日

一、 培訓重點

  1. 數據分析實戰;

  2. 數據挖掘理論及核心技術;

  3. 大數據算法原理及案例實現;

  4. Python應用實戰。

二、 培訓特色

  1.理論與實踐相結合、案例分析與行業應用穿插進行;

  2.專家精彩內容解析、學員專題討論、分組研究;

  3.通過全面知識理解、專題技能和實踐結合的授課方式。

三、 日程安排

時間 知識模塊 授課內容
第一天
上午
數據分析實戰 第一講 零基礎學Python
講解Python背景、國內發展狀況、基礎語法、數據結構及繪圖操作等內容。特別針對向量計算這塊,著重介紹Python在這方面的優勢及用法。
第二講 數據分析方法論
講解統計分析基礎,包括統計學基本概念,假設檢驗,置信區間等基礎,并結合數據案例說明其使用場景和運用方法。介紹數據分析流程和常見分析思路,并結合案例進行講解。
第三講 數據處理技法
從數據接入、數據統計、數據轉換等幾個方面進行講解。數據接入包含接入MySQL、Oracle、Hadoop等常見數據庫操作;數據統計包含Pandas包的具體用法和講解;數據轉換包含對數據集的關聯、合并、重塑等操作。此外,針對海量數據的情況下,介紹在Spark平臺上的數據處理技術,并結合真實環境進行操作講解。
第一天
下午
數據挖掘理論及核心技術 第四講 認識數據挖掘
講解數據挖掘基本概念,細致講解業務理解、數據理解、數據準備、建立模型、模型評估、模型部署各環節的工作內容及相關技術;結合業界經典場景,講解數據挖掘的實施流程和方法體系。
第五講 數據挖掘核心技術
細致講解抽樣、分區、樣本平衡、特征選擇、訓練模型、評估模型等數據挖掘核心技術原理,并結合案例講解其具體實現和用法。尤其針對樣本平衡,重點講解人工合成、代價敏感等算法;針對特征選擇,重點講解特征選擇的核心思路,并結合Python進行案例演示。
第二天
上午
大數據算法原理及案例實現(1) 第六講 特征降維算法及Python實現
降維是大數據分析非常重要的算法 ,它可以在降低極少信息量的情況下,極大地縮小數據規模。主要講解主成分、LDA以及t-SNE原理,并結合案例進行Python實現。特別地,針對海量數據情況下的應用場景,講解實現思路和Python案例。
第七講 決策樹算法及Python實現
決策樹是非常經典的算法 ,一般常見于小數據的挖掘。由于決策樹具有極強的可解釋性,針對海量數據仍然是非常重要的實用價值。主要講解ID3、C4.5、C5.0以及CART決策樹算法的實現原理,并結合案例進行Python實現。
第八講 基于乳腺癌數據進行降維分析并建立分類模型
實戰部分:基于乳腺癌數據進行降維處理,并嘗試建立分類評估模型。旨在通過該模型,并潛在的乳腺癌患者進行識別。
第二天
下午
大數據算法原理及案例實現(2) 第九講 因果推理算法及Python實現
大數據分析技術可以幫助我們去發現、解決一些業務問題,然而如何去判斷我們的改進是否生效,是否在業務指標上呈現過一定的因果邏輯,則是一個重要問題和分析方向。本節主要介紹因果推理算法,包括貝葉斯推理、狀態空間模型以及CausalImpact工具等內容,并結合案例進行Python實現。
第十講 深度學習算法及Python實現
對于大數據的建模任務,我們可以基于深度學習來實現,不僅能夠針對海量數據進行建模,其效果也非常不錯。本節主要講解深度學習的發展歷程,DBN、DNN等經典深度學習算法,深度學習優化算法以及一些技巧。同時,介紹Keras庫的使用方法,并結合案例進行Python實現。
第十一講 Lending Club信貸違約分析案例
實戰部分:基于Lending Club信貸違約數據,嘗試從多個不同的維度進行數據分析,旨在發現一些有價值的信息,同時基于該數據,經過一定的處理,建立信貸違約識別模型,旨在對信貸業務辦理提供模型支持,降低違約風險。
第三天
上午
Python應用實戰(一) 第十二講 Python自然語言處理原理及案例
目前文檔數據已經成為很多企業重要的資產,通過對文檔數據進行解析、建模、分析、挖掘、可視化,我們能夠發現不一樣的洞察。本節主要講解自然語言處理基本概念和技法,包含分詞、關鍵字提取、文摘提取、文本分類、主題模型、word2vec等內容。介紹在深度學習的加持下,與傳統做法的區別,并使用Python進行案例講解。
第十三講 數據分析圖表及Python案例
數據可視化是大數據分析的重要手段,通過合理地使用圖表,不僅可以簡潔地表達數據的含義,高效地發現問題,還可以為報告的編寫以及數據分析web應用增色不少。本節主要講解常用的數據分析圖表及其使用場景,介紹數據可視化的方法論,避免生搬硬套的使用圖表,針對不同的業務場景和需求,合理選擇可視化方法。介紹的工具不限于matplotlib、pycha、pyecharts、ggplot、Bokeh、HoloViews、mpld3、plotly、pygal等常用可視化庫。
第三天
下午
Python應用實戰(二) 第十四講 使用Notebook編寫數據分析報告
數據分析報告在大數據分析過程中具有重要價值,它體現了大數據分析的目的、過程和結果,以及對發現問題的解讀、改進方案等等,本節主要講解使用Notebook編寫數據分析報告的具體方法,以及編寫數據分析報告的方法論,并結合案例講解其用法。
第十五講 Dash可視化開發實戰
Dash是一款不錯的框架,可以基于Dash快速開發一個輕量級的數據分析web應用。在網頁中嵌入圖表、數據以及分析的算法,非常適合打造企業內部的敏捷數據分析工具集。本節主要介紹Dash的UI、Server、Reactivity、控件等內容,同時講解一個用Dash實現數據分析功能(兼圖表)的實際案例,搭建服務器,在企業內部實現輕量級數據分析應用。
第四天 學習考核與業內經驗交流

四、 授課專家

  游老師 計算機碩士,大數據分析、挖掘、可視化專家,高級培訓講師,曾服務于華為技術有限公司等多家企業,專注于機器學習、數據挖掘、大數據、知識圖譜等領域的研究、設計與實現,在互聯網、電信、電力、軍工等行業具有豐富的工程實踐經驗,對空間分析、欺詐檢測、廣告反作弊、推薦系統、客戶畫像、客戶營銷建模、知識抽取、智能問答、可視化分析、預測分析、系統架構、大數據端到端解決方案等方面具有深刻理解,多次作為Python語言會議重要嘉賓出席會議并發表主題演講,著有《R語言預測實戰》等多本書籍。

  王老師 某集團上市公司數據分析部負責人,主要利用Python語言進行大數據的挖掘和可視化工作。從事數據挖掘建模工作已有10年,曾經從事過咨詢、電商、金融、電購、電力、游戲等行業,了解不同領域的數據特點。有豐富的利用R語言進行數據挖掘實戰經驗,部分研究成果曾獲得國家專利。

  俞老師 計算機博士,目前主要研究方向包括電子推薦、智能決策和大數據分析等。主持國家自然科學基金2項、中國博士后科研基金、上海市浦江人才、IBM Shared University Research以及多項企業合作課題等項目。已在《管理科學學報》、《系統工程學報》、Knowledge and Information Systems ,Information Processing & Management,Information Systems Frontiers等國內外刊物和學術會議發表論文90多篇,其中被SCI、EI收錄40多篇。出版著作和教材《智能化的流程管理》、《客戶智能》、《商務智能(第四版)》、《商務智能數據分析的管理視角(第三版)》、《數據挖掘實用案例集》等多部。

  劉老師 10多年的IT領域相關技術研究和項目開發工作,在長期軟件領域工作過程中,對軟件企業運作模式有深入研究,熟悉軟件質量保障標準ISO9003和軟件過程改進模型CMM/CMMI,在具體項目實施過程中總結經驗,有深刻認識。通曉多種軟件設計和開發工具。對軟件開發整個流程非常熟悉,能根據項目特點定制具體軟件過程,并進行項目管理和監控,有很強的軟件項目組織管理能力。對C/C++ 、HTML 5、python、Hadoop、java、java EE、android、IOS、大數據、云計算有比較深入的理解和應用,具有較強的移動互聯網應用需求分析和系統設計能力,熟悉Android框架、IOS框架等技術,了解各種設計模式,能在具體項目中靈活運用。