歡迎來到魔據教育大數據學院,專注大數據工程師培養!
當前位置:首頁 > 熱點專題 > 如今的大數據究竟發展到了什么階段

如今的大數據究竟發展到了什么階段

時間:2019-03-26 14:41:11作者:魔據大數據學院

大數據時代,大數據分析與應用大肆盛行。越來越多的大公司大企業大集團,都越來越重視大數據的影響和作用。可以說,誰想搶得大數據的一手可靠資料,誰就在未來的業務發展和拓寬中占據優勢,誰就會在相關領域首先拔得頭籌。但是,大數據發展前景現在到底如何,大數據的可靠性由誰說了算,大數據的真實性有誰可以保證?甚至還可以再倒退一點點來問問,如今的大數據究竟發展到了什么階段?拋開不可避免的炒作周期曲線態勢不管,我們的 “大數據版圖” 已經進入第 4 個年頭了,趁這個時候退一步來反思一下去年發生了什么,思考一下這個行業的未來會怎樣是很有意義的,看看如今的大數據到底發展到了什么階段。那么 2019年大數據到底還有多大的發展和進步空間呢?我們不妨探討一下。

企業技術=艱苦工作

大數據現象在早期主要是受到了與一批骨干互聯網公司(尤其是 Google、Facebook、Twitter 等)的共生關系的推動,這些公司既是核心大數據技術的重度用戶,同時也是這些技術的創造者。這些公司突然間面對著規模前所未有的龐大數據時,由于本身缺乏傳統的(昂貴的)基礎設施,也沒有辦法招募到一些最好的工程師,所以只好自己動手來開發所需的技術。后來隨著開源運動的迅速發展,一大批此類新技術開始共享到更廣的范圍。然后,一些互聯網大公司的工程師離職去創辦自己的大數據初創企業。其他的一些 “數字原生” 公司,包括嶄露頭角的獨角獸公司,也開始面臨著互聯網大公司的類似需求,由于它們自身也沒有傳統的基礎設施,所以自然就成為了那些大數據技術的早期采用者。而早期的成功又導致了更多的創業活動發生,并獲得了更多的 VC 資助,從而帶動了大數據的起勢。

換句話說:有一堆艱苦的工作要做。

部署階段

所以,這就是在經過幾年引人矚目的初創企業如雨后春筍冒頭,VC 投資頻等頭條后,我們開始步入大數據的部署期和早期成熟期的原因。更有前瞻性的大公司(姑且稱之為傳統技術采用周期的 “早期采用者”)在 2011 到 2013年 間開始實驗大數據技術,推出了若干的 Hadoop 試點計劃(往往是因為趕時髦)或者嘗試一些點方案。他們招募了各種各樣此前并不存在的崗位(如 “數據科學家” 或 “首席數據官”)。他們進行了各種努力,包括吧全部數據都堆到一個數據容器(“data lake”),然后希望緊跟著就會發生奇跡(往往不會)。他們逐步建設自己的內部能力,試驗了各種供應商,從試點計劃到生產中的局部部署,然后到現在爭論要不要全企業鋪開(全范圍鋪開實施的情況還很罕見)。許多情況下,他們正處在這樣一個重要的拐點上,即經過大數據基礎設施的數年建設后,能夠展示的成果還不多,至少在公司內部的商業用戶看來是這樣的。但是大量吃力不討好的工作已經做完了,現在開始進入到有影響力的應用部署階段了。只是從目前來看,這種建構在核心架構之上的應用數量還不成比例。

生態體系正在成熟

隨著該領域的創業活動持續進行以及資金的不斷流入,加上適度的少量退出,以及越來越活躍的技術巨頭(尤其是 Amazon、Google、IBM),使得這個領域的公司日益增多,最后匯成了這幅 2018版的大數據版圖。顯然這張圖已經很擠了,而且還有很多都沒辦法列進去(關于我們的方法論可以參見附注)在基本趨勢方面,行動開始慢慢從左轉到右(即創新、推出新產品和新公司),從基礎設施層(開發者 / 工程師的世界)轉移到分析層(數據科學家和分析師的世界)乃至應用層(商業用戶和消費者的世界),“大數據原生應用” 已經在迅速冒頭—這多少符合了我們原先的一些預期。

大數據分析:現在跟 AI 結合了

大數據分析過去幾個月出現的一股趨勢是,越來越關注利用人工智能(形式和風格各異)來幫助分析大規模的數據,從而獲得預測性的洞察。其實最近出現復興的 AI 很大程度上算是大數據的產物。深度學習(最近受到關注最多的 AI 領域)背后的算法基本上是幾十年前就誕生了的,但直到最近能夠以足夠便宜、足夠快速地應用到大規模數據之后才發揮出了它的最大潛能。AI 與大數據之間的關系如此緊密,以至于業界專家現在認為 AI 已經令人懊惱地 “與大數據陷入了熱戀當中”。不過反過來,AI 現在也在幫助大數據實現后者的承諾。分析對 AI/ 機器學習越來越多的關注也符合大數據下一步演進的趨勢:現在數據我都有了,但究竟從中能得到什么樣的洞察呢?當然,這件事情可以讓數據科學家來解決,從一開始他們的角色就是實現機器學習,否則的話就得想出模型來發現數據的意義。但是機器智能現在正在逐漸發揮輔助數據科學家的作用—只需要倒騰數據,新興的產品就能從中提煉出數學公式(如 Context Relevant)或者自動建立和推薦最有可能返回最佳結果的數據科學模型(如 DataRobot)。一批新的 AI 公司提供的產品能夠自動識別像圖像這樣的復雜實體(如 Clarifai、Dextro),或者提供強大的預測性分析(如 HyperScience)。

大數據應用:真正的加速

首先,這些應用很多都是 “大數據原生” 的,本身都是依托在最新的大數據技術基礎上開發的,代表了一種客戶無須部署底層大數據技術即可利用大數據的有趣方式—因為那些底層技術已經是打包的,至少對于特定功能來說是這樣的。比方說,ActionIQ 就是在 Spark 基礎上開發的(或者說是 Spark 的一個派生),所以它的客戶能夠在營銷部門利用 Spark 的威力而不需要自己部署 Spark,這種情況下是沒有 “裝配線” 的。

其次,AI 在應用層也有很強大的存在。比方說,在貓捉老鼠的安全領域中,AI 被廣泛用來對付黑客,實時識別和對抗網絡攻擊。去年已經出現了一個 AI 驅動的數字助手行業,支持從任務自動化到會議安排(如 x.ai)以及購物等幾乎一切事情。這些解決方案對 AI 的依賴程度不一,從幾乎 100%自動化到 “有人參與” 等情況各不相同,但是可以明確的是,人的能力在 AI 幫助下得到了增強。

結論

從很多方面來看,我們仍然處在大數據現象的早期發展階段。盡管已經花費了數年時間,但減少基礎設施來存儲和處理大規模數據還只是第一階段。AI/ 機器學習已經成為大數據應用層的一股迅猛趨勢。大數據與 AI 的結合將會推動很多行業的驚人創新。從這個角度來說,大數據的機會也許要比大家想象的還要大。

然而,隨著大數據繼續走向成熟,這個術語本身可能會消失,或者變得太過時以至于沒有人會再使用這個詞。這就是成功賦能技術令人諷刺的命運歸宿—由于技術的廣泛傳播,然后到達無所不在的地步,最后被人熟視無睹。


更多大數據相關資訊敬請關注魔據教育,為您分享最及時的大數據資訊。
學習大數據敬請關注魔據教育微信二維碼。
魔據教育微信二維碼

【版權與免責聲明】如發現內容存在版權問題,煩請提供相關信息發郵件至[email protected],我們將及時溝通與處理。本站內容除非來源注明魔據教育,否則均為網友轉載,涉及言論、版權與本站無關。

全國咨詢熱線:18501996998,值班手機:18501996998(7*24小時)

在線咨詢:張老師QQ 320169340

企業合作服務專線:010-82340234-821, 院校合作洽談專線:010-82340234

Copyright 2001-2019 魔據教育 - 北京華育興業科技有限公司 版權所有,京ICP備17018991號-2

免費在線咨詢立即咨詢

免費索取技術資料立即索取

大數據技術交流QQ:226594285

電話咨詢010-82340234

119期两码中特免费公开