          Python文本分析學術應用培訓

5 文本分析

5.1 文本分析概述

5.1.1 自然語言處理的層次

5.1.2 自然語言處理的難點

5.1.3 自然語言處理的流派

5.2 文本分析關鍵技術

5.2.1 常用文本整理和清洗方法

5.2.1.1 句子拆分

5.2.1.2 詞拆分

5.2.1.3 過濾重復的單詞

5.2.1.4 刪除停用詞

5.2.1.5 拼寫檢查

5.2.1.6 大小寫變換

5.2.1.7 文本翻譯

5.2.1.8 詞干提取

5.2.1.9 提取電子郵件或URL

5.2.2 中文分詞技術

5.2.2.1 規則分詞

5.2.2.2 統計分詞

5.2.2.3 混合分詞

5.2.2.4 實戰：結巴分詞，對爬取的豆瓣數據分析，統計詞頻，繪制詞云圖

5.2.3 詞性標注與命名實體識別

5.2.3.1 詞性標注

5.2.3.2 命名實體識別

5.2.3.3 實戰：基于jiebaku 的詞性標注和基于HanLP的命名實體識別

5.2.4 文本向量化

5.2.4.1 離散化表示

5.2.4.2 分布式表示

5.2.4.3 實戰：利用word2vec計算西游記中人物相似性

5.2.5 關鍵詞提取

5.2.5.1 TF-IDF算法

5.2.5.2 TextRank算法

5.2.5.3 LDA算法

5.2.5.4 實戰：基于LDA主題模型進行新聞關鍵詞提取

5.2.5.5 實戰：網頁相似性分析

5.2.6 文本分類

5.2.6.1 分類算法介紹

5.2.6.2 實戰：貝葉斯新聞分類

5.2.6.3 實戰：虛假評論分類

5.2.7 文本聚類

5.2.7.1 kmeans算法介紹

5.2.7.2 實戰：百度百科數據聚類

5.2.7.3 實戰：豆瓣書籍數據聚類

5.2.8 文本情感分析

5.2.8.1 基于規則的情感分析

5.2.8.2 基于機器學習模型的情感分析

5.2.8.3 實戰：基于豆瓣電影的情感分析

5.2.8.4 實戰：在線情感分析系統