該小節(jié)與上一節(jié)差不多,繼續(xù)以介紹為主.數(shù)據(jù)模型訓練材料是指通過爬蟲爬取的具有關聯(lián)性的特定數(shù)據(jù)來作為各種數(shù)據(jù)模型的訓練材料,從而得出各種結(jié)論.這類用途因為涉及到很多計算模型的專業(yè)知識,所以我們通過社會輿論分析,機器翻譯,地域性特征圖這幾個例子為重點,來講講我們會在什么時候用上這些技術。
網(wǎng)絡輿論分析
首先,我們了解下什么叫網(wǎng)絡輿論.就是在一件事發(fā)生后,在社交網(wǎng)絡上面形成主流的一類輿論,通??梢源泶蟛糠志W(wǎng)民在這件事上的態(tài)度。我們通過從各類SNS中抓取的大批量數(shù)據(jù)通過自然語言分析(NLP)來來得到其中所代表的社會情感.比如我在第一章里提到的那篇著名論文,就是通過抓取了推特上億條信息后推算出的.這種結(jié)論能一般代表SNS上的民意,可以成為各種論文所引用的對象以及公司決策的輔助.舉個例子,下圖為新浪微輿情在某件事中根據(jù)自身微博中網(wǎng)友的留言得出的分析結(jié)論.此下圖是通過新浪自身的情感研判模型得出的網(wǎng)絡輿論對該起事件的情感判定.

機器翻譯
機器翻譯就是不依靠人工,通過輸入人工翻譯的大量語料,然后做出統(tǒng)計模型,讓計算機盡可能地熟悉別人是怎么翻譯的,從而耳濡目染,領悟到該如何翻譯。而這大量語料就是我們通過爬蟲在網(wǎng)上抓取的各種雙語翻譯。例如如今的Google翻譯,百度翻譯和必應翻譯都是如此而來的.
只所以說,如果你對此有興趣也可以嘗試自己搭建一個翻譯引擎.只不過像谷歌百度都是用十億級別的數(shù)據(jù)訓練出來的,如果你只輸入幾千語料的話,可能結(jié)果會不有點半生不熟。
如圖可以直觀的看到天津地區(qū)與江西地區(qū)兩個不同地域之間的差異.和第一種方法一樣,這種方法也只是介紹,不涉及具體學習模型.有關機器學習以及模型的訓練,請參照其他論文。感謝.
而第三種方法因為平日里大家見得最多,我就在這里的結(jié)尾給帶過去好了.所謂數(shù)據(jù)可視化,其實是通過類似于echarts,highcharts,G6,D3這些js庫或者是各自商業(yè)數(shù)據(jù)分析軟件,得出一些我們需要的結(jié)論。而這些結(jié)論可以來闡明我們想要敘述的觀點和作為我們論文中觀點的佐證。比如說,我們可以通過echarts或者highcharts內(nèi)的地圖模塊來畫一張全國城市霧霾分布圖,通過G6來畫出一張微博關系圖,通過D3畫出一些直方圖之類的,還有詞云,出行圖等等一系列的作用.如下就是一張通過使用可視化庫搭建而成的全國城市霧霾分布圖.