數據的征服:讀《大數據時代》

NIIT全球 NIIT中國 媒體報道 行業動態

谷歌有一個名為“谷歌流感趨勢”的工具,它通過跟蹤搜索詞相關數據來判斷全美地區的流感情況(比如患者會搜索流感兩個字)。近日,這個工具發出警告,全美的流感已經進入“緊張”級別。它對于健康服務產業和流行病專家來說是非常有用的,因為它的時效性極強,能夠很好地幫助到疾病暴發的跟蹤和處理。事實也證明,通過海量搜索詞的跟蹤獲得的趨勢報告是很有說服力的,僅波士頓地區,就有700例流感得到確認,該地區目前已宣布進入公共健康緊急狀態。

這個工具工作的原理大致是這樣的:設計人員置入了一些關鍵詞(比如溫度計、流感癥狀、肌肉疼痛、胸悶等),只要用戶輸入這些關鍵詞,系統就會展開跟蹤分析,創建地區流感圖表和流感地圖。谷歌多次把測試結果(藍線)與美國疾病控制和預防中心的報告(黃線)做比對,從下圖可知,兩者結論存在很大相關性:

但它比線下收集的報告強在“時效性”上,因為患者只要一旦自覺有流感癥狀,在搜索和去醫院就診這兩件事上,前者通常是他首先會去做的。就醫很麻煩而且價格不菲,如果能自己通過搜索來尋找到一些自我救助的方案,人們就會第一時間使用搜索引擎。故而,還存在一種可能是,醫院或官方收集到的病例只能說明一小部分重病患者,輕度患者是不會去醫院而成為它們的樣本的。

這就是一個典型的“大數據”的應用例子,舍恩伯格的這本《大數據時代》受到了廣泛的贊譽,他本人也因此書被視為大數據領域中的領軍人物。大數據起源于數據的充裕,舍恩伯格在他的另外一本書《刪除》中,提到了這些源頭。

1、信息的數字化,使得所有信息都可以得到一個完美的副本;2、存儲器越來越廉價,大規模存儲這些數字信息成本極低;3、易于提取:數據庫技術的完善使得這些存儲的信息能夠被輕易按照一定的條件搜索出來;4、全球性覆蓋,網絡是無國界的,a地的數字信息可以讓遠在天邊的b地調用。

當我們掌握有大量的數據后,便可以開始進行所謂“大數據”的操作。大數據在舍恩伯格看來,一共具有三個特征:全樣而非抽樣,效率而非精確,相關而非因果。

第一個特征非常好理解。在過去,由于缺乏獲取全體樣本的手段,人們發明了“隨機調研數據”的方法。理論上,抽取樣本越隨機,就越能代表整體樣本。但問題是獲取一個隨機樣本代價極高,而且很費時。人口調查就是典型一例,一個稍大一點的國家甚至做不到每年都發布一次人口調查,因為隨機調研實在是太耗時耗力了。

但有了云計算和數據庫以后,獲取足夠大的樣本數據乃至全體數據,就變得非常容易了。谷歌可以提供谷歌流感趨勢的原因就在于它幾乎覆蓋了7成以上的北美搜索市場,而在這些數據中,已經完全沒有必要去抽樣調查這些數據:數據倉庫,所有的記錄都在那里躺著等待人們的挖掘和分析。

第二點其實建立在第一點的基礎上。過去使用抽樣的方法,就需要在具體運算上非常精確,因為所謂“差之毫厘便失之千里”。設想一下,在一個總樣本為1億人口隨機抽取1000人,如果在1000人上的運算出現錯誤的話,那么放大到1億中會有多大的偏差。但全樣本時,有多少偏差就是多少偏差而不會被放大。諾維格,谷歌人工智能專家,在他的論文中寫道:大數據基礎上的簡單算法比小數據基礎上的復雜算法更加有效。

數據分析并非目的就是數據分析,而是有其它用途,故而時效性也非常重要。精確的計算是以時間消耗為代價的,但在小數據時代,追求精確是為了避免放大的偏差而不得已為之。但在樣本=總體的大數據時代,“快速獲得一個大概的輪廓和發展脈絡,就要比嚴格的精確性要重要得多”。

第三個特征則非常有趣。相關性表明變量A和變量B有關,或者說A變量的變化和B變量的變化之間存在一定的正比(或反比)關系。但相關性并不一定是因果關系(A未必是B的因)。

亞馬遜的推薦算法非常有名,它能夠根據消費記錄來告訴用戶你可能會喜歡什么,這些消費記錄有可能是別人的,也有可能是該用戶歷史上的。但它不能說出你為什么會喜歡的原因。難道大家都喜歡購買A和B,就一定等于你買了A之后的果就是買B嗎?未必,但的確需要承認,相關性很高——或者說,概率很大。

舍恩伯格認為,大數據時代只需要知道是什么,而無需知道為什么,就像亞馬遜推薦算法一樣,知道喜歡A的人很可能喜歡B但卻不知道其中的原因。這本書的譯者天才教授周濤則有不同的看法,他認為,“放棄對因果性的追求,就是放棄了人類凌駕于計算機之上的智力優勢,是人類自身的放縱和墮落”。

這個爭議在我看來,雙方討論的可能不是一回事。舍恩伯格在這本書中完全不像他在《刪除》一書中表現得那么有人文關懷,這是一本純商業的書籍,商業本來就是以結果為導向的。但周濤談論的卻和“人工智能”有關。

吳軍在他的《數學之美》中曾經提到,人工智能領域曾經走過一個很大的彎路,即人們總是試圖讓計算機理解人類的指令——注意,是理解,不是知道。但折騰了很多年,發現計算機的理解力實在白癡得比三歲小孩還要弱。最終人工智能放棄了這條途徑,而改為數據傳輸和匹配。舉個例子說,你在進行語音輸入的時候,事實上計算機完全不知道你在說什么(或者說,完全不理解你的意思),但不妨礙它能夠準確地把你說的話盡可能地用字符表達出來。蘋果的Siri是很神奇,但它其實并不懂你的意思,而只是你的語音數據和它的后臺數據一次匹配而已。

因果關系涉及到“理解”這個范疇,而不是簡單的知道或匹配。舍恩伯格所謂放棄因果而尋求相關,是因為他本來就是寫本商業書,要具體指導商業運作的,周濤所謂不可放棄因果,因為他是一名學者,并不完全站在賺錢這個角度上。換而言之,周濤看的是長遠的未來,舍恩伯格討論的是眼下。

在可以看到的未來中,可能計算機掌握不了三歲小孩的理解力,計算機和人類之間的象棋比賽,一個在思考,一個在做數據匹配,兩者雖然都在下棋,路徑卻全然不同。人類可以暫時不用過于擔心計算機來統治人類,因果關系這種理解,還是掌握在人類手中的。

大數據時代是信息社會運作的必然結果,而借由它,人類的信息社會更上一個臺階。農業社會人們以土地為核心資源,工業時代轉為能源,信息社會則將變更為數據。誰掌握數據,以及數據分析方法,誰就將在這個大數據時代勝出,無論是商業組織,還是國家文明。

—— 《網絡傳播》 供稿 ——

NIIT動感云校園
智能聊天機器人
NIIT微信公眾號
在哪个软件写文章赚钱 深圳风采2011038 神测网幸运28公认最准 pk10玩法技巧 江苏快三开奖计划免费软件 三分赛车是哪里开奖的 江苏快3开奖 青海体彩11选五玩法 极速赛车手机app下载 时时乐开奖结果走势图 广东十一选五定胆公式 深圳风采2011038 神测网幸运28公认最准 pk10玩法技巧 江苏快三开奖计划免费软件 三分赛车是哪里开奖的 江苏快3开奖 青海体彩11选五玩法 极速赛车手机app下载 时时乐开奖结果走势图 广东十一选五定胆公式