<p>大數據BIG DATA</p><br><p>CONTENTS</p><br><p>大數據是什么1</p><br><p>指無法在一定時間范圍內用常規(guī)軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產。大數據 BIG DATA</p><br><p>大數據定義對于“大數據”（Big data）研究機構Gartner給出了這樣的定義?！按髷祿笔切枰绿幚砟Ｊ讲拍芫哂懈鼜姷臎Q策力、洞察發(fā)現力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產。</p><br><p>大數據是“未來的新石油”大數據是需要新處理模式才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產。大數據就是“未來的新石油”。</p><br><p>何謂大？（數據度量）= 8 Bit1Byte= 1,024 Bytes = 8192 bit1Byte= 1,024 KB = 1,048,576 Bytes1Byte= 1,024 MB = 1,048,576 KB1Byte= 1,024 GB = 1,048,576 MB1Byte= 1,024 TB = 1,048,576 GB1Byte= 1,024 PB = 1,048,576 TB1Byte= 1,024 EB = 1,048,576 PB1Byte= 1,024 ZB = 1,048,576 EB1Byte</p><br><p>到底有多大？1PB相當于50%的全美學術研究圖書館藏書信息內容5EB相當于至今全世界人類所講過的話語1ZB如同全世界海灘上的沙子數量總和1YB相當于7000位人類體內的微細胞總和</p><br><p>大數據帶來的變革</p><br><p>2特征和結構</p><br><p>大數據的特征</p><br><p>大數據的結構結構化半結構化非結構化大數據包括結構化、半結構化和非結構化數據，非結構化數據越來越成為數據的主要部分。據IDC的調查報告顯示：企業(yè)中80%的數據都是非結構化數據，這些數據每年都按指數增長60%。</p><br><p>大數據的安全威脅大數據基礎設施安全威脅1大數據存儲安全威脅2隱私泄露問題3針對大數據的高級持續(xù)性攻擊4數據訪問安全威脅其他安全威脅65</p><br><p>大數據的三個層面</p><br><p>大數據改變生活各級政府、主管部門、上市公司、企業(yè)集團、外資公司都將基于大數據分析平臺優(yōu)化其決策。大數據分析能力逐漸加強，傳統市場研究行業(yè)、證券研究所、產業(yè)鏈咨詢機構將逐漸消失。銀行都將基于企業(yè)大數據平臺開展銀行直銷業(yè)務，同時按照產業(yè)鏈金融服務事業(yè)部模式開展業(yè)務因大數據系統的出現，所有依賴信息不對稱盈利的業(yè)務都將消失。大數據對政府、金融機構、企業(yè)來說，象空氣一樣不可或缺！</p><br><p>3大數據的價值</p><br><p>機遇和挑戰(zhàn)大數據技術促進國家和社會發(fā)展大數據藍海成為企業(yè)競爭的新焦點大數據時代呼喚創(chuàng)新型人才大數據技術促進國家和社會發(fā)展大數據藍海成為企業(yè)競爭的新焦點大數據時代呼喚創(chuàng)新型人才</p><br><p>大數據技術促進國家和社會發(fā)展 實現科學發(fā)展做出科學決策大數據技術的運用前景是十分光明的。當前，我國正處在全面建成小康社會征程中，工業(yè)化、信息化、城鎮(zhèn)化、農業(yè)現代化任務很重，建設下一代信息基礎設施，發(fā)展現代信息技術產業(yè)體系，健全信息安全保障體系，推進信息網絡技術廣泛運用，是實現四化同步發(fā)展的保證。大數據分析對我們深刻領會世情和國情，把握規(guī)律，實現科學發(fā)展，做出科學決策具有重要意義，我們必須重新認識數據的重要價值。</p><br><p>大數據所能帶來的巨大商業(yè)價值，被認為將引領一場足以與20世紀計算機革命匹敵的巨大變革。大數據正在對每個領域都造成影響，包括商業(yè)、經濟等領域。大數據正在促生新的藍海，催生新的經濟增長點，正在成為企業(yè)競爭的新焦點。大數據藍海成為企業(yè)競爭的新焦點</p><br><p>機遇3：大數據時代呼喚創(chuàng)新型人才蓋特納咨詢公司預測大數據將為全球帶440萬個IT新崗位和上千萬個非IT崗位。麥肯錫公司預測美國到2018年需要深度數據分析人才44萬——49萬，缺口14萬——19萬人需要既熟悉本單位需求又了解大數據技術與應用的管理者150萬，這方面的人才缺口更大。中國 是人才大國，但能理解與應用大數據的創(chuàng)新人才更是稀缺資源。</p><br><p>目前，大數據技術的運用仍存在一些困難與挑戰(zhàn)，體現在大數據挖掘的四個環(huán)節(jié)中。大數據技術的運用仍有困難要對來自網絡包括物聯網和機構信息系統的數據附上時空標志，去偽存真，盡可能收集異源甚至是異構的數據，還可與歷史數據對照，多角度驗證數據的全面性和可信性。大數據的復雜性使得難以用傳統的方法描述與度量，需要將高維圖像等多媒體數據降維后度量與處理，利用上下文關聯進行語義分析，從大量動態(tài)及可能模棱兩可的數據中綜合信息，并導出可理解的內容。</p><br><p>要達到低成本、低能耗、高可靠性目標，要用到冗余配置、分布化和云計算技術，存儲時對數據進行分類，通過過濾和去重，減少存儲量，并加入便于檢索的標簽。使結果更直觀以便于洞察。目前，盡管計算機智能化有了很大進步，但還只能針對小規(guī)模、有結構或類結構的數據進行分析，談不上深層次的數據挖掘，現有的數據挖掘算法在不同行業(yè)中難以通用。</p><br><p>大數據給信息安全帶來新挑戰(zhàn)大量數據的集中存儲增加了其泄露的風險；一些敏感數據的所有權和使用權并沒有清晰界定。復雜的數據存儲在一起，可能造成企業(yè)安全管理不合規(guī)；安全防護手段更新升級慢，存在漏洞黑客可收集更多有用信息，大數據分析讓攻擊更精準；大數據為黑客發(fā)起攻擊提供了更多的機會</p><br><p>“棱鏡門”引爆大數據時代爭議事情的起因是美國中情局前職員斯諾登向媒體爆料，過去6年間，美國的情報部門通過一個代號為“棱鏡”的項目，從多家知名互聯網公司獲取電子郵件、在線聊天內容、照片、文檔、視頻等網絡私人數據，跟蹤用戶一舉一動。他說，自己只需要坐在辦公桌前，動動指頭，敲敲鍵盤，就能了解很多人的私密信息。斯諾登的爆料引起一片嘩然，根據他提供的資料，被卷入“棱鏡門”事件的公司包括微軟、雅虎、谷歌、蘋果、Facebook等9大IT業(yè)巨頭。在“棱鏡門”事件開始發(fā)酵之后，這些公司先是趕緊出面否認與美國政府的監(jiān)視項目進行過合作，并相繼發(fā)表聲明，呼吁政府采取更透明態(tài)度，以證明他們的“清白”。</p><br><p>大數據的趨勢4</p><br><p>借助大數據尖端分析加速發(fā)展如果正確的數據出現在合適的時間，您的業(yè)務將有望獲得什么機會？如何更有效率地運營您的業(yè)務？通過數據分析獲得變革的潛力與直觀理解影響著醫(yī)療、銀行、交通運輸、制造等各行各業(yè)。對于許多早期的使用者，當他們從傳統商業(yè)智能 (BI) 的實踐發(fā)展到可靠直觀理解的更高級分析（預測性和規(guī)范性）時，數據改變了他們的業(yè)務，無論是通過新的發(fā)現、更尖端的產品和服務或總體更好的客戶體驗。</p><br><p>大數據的趨勢數據的資源化是指大數據成為企業(yè)和社會關注的重要戰(zhàn)略資源，并已成為大家爭相搶奪的新焦點。因而，企業(yè)必須要提前制定大數據營銷戰(zhàn)略計劃，搶占市場先機。與云計算的深度結合大數據離不開云處理，云處理為大數據提供了彈性可拓展的基礎設備，是產生大數據的平臺之一。自2013年開始，大數據技術已開始和云計算技術緊密結合，預計未來兩者關系將更為密切。</p><br><p>科學理論的突破隨著大數據的快速發(fā)展，就像計算機和互聯網一樣，大數據很有可能是新一輪的技術革命。隨之興起的數據挖掘、機器學習和人工智能等相關技術，可能會改變數據世界里的很多算法和基礎理論，實現科學技術上的突破。數據科學和數據聯盟的成立未來，數據科學將成為一門專門的學科，被越來越多的人所認知。各大高校將設立專門的數據科學類專業(yè)，也會催生一批與之相關的新的就業(yè)崗位。</p><br><p>數據泄露泛濫未來幾年數據泄露事件的增長率也許會達到100%，除非數據在其源頭就能夠得到安全保障?？梢哉f，在未來，每個財富500強企業(yè)都會面臨數據攻擊，無論他們是否已經做好安全防范。而所有企業(yè)，無論規(guī)模大小，都需要重新審視今天的安全定義。數據管理成為核心競爭力數據管理成為核心競爭力，直接影響財務表現。當“數據資產是企業(yè)核心資產”的概念深入人心之后，企業(yè)對于數據管理便有了更清晰的界定，將數據管理作為企業(yè)核心競爭力，持續(xù)發(fā)展，戰(zhàn)略性規(guī)劃與運用數據資產，成為企業(yè)數據管理的核心。</p><br><p>數據質量是BI(商業(yè)智能)成功的關鍵采用自助式商業(yè)智能工具進行大數據處理的企業(yè)將會脫穎而出。其中要面臨的一個挑戰(zhàn)是，很多數據源會帶來大量低質量數據。想要成功，企業(yè)需要理解原始數據與數據分析之間的差距，從而消除低質量數據并通過BI獲得更佳決策。數據生態(tài)系統復合化程度加強大數據的世界不只是一個單一的、巨大的計算機網絡，而是一個由大量活動構件與多元參與者元素所構成的生態(tài)系統，終端設備提供商、基礎設施提供商、網絡服務提供商、網絡接入服務提供商、數據服務使能者、數據服務提供商、觸點服務、數據服務零售商等等一系列的參與者共同構建的生態(tài)系統。</p><br><p>5應用案例</p><br><p>大數據的應用領域</p><br><p>企業(yè)大數據建設方法</p><br><p></p><br><p>擴展現有架構提高業(yè)務價值</p><br><p>商品零售大數據此事經被《紐約時報》報道后，塔吉特“大數據”的巨大威力轟動全美在美國，有一位父親怒氣沖沖地跑到塔吉特賣場，質問為何將帶有嬰兒用品優(yōu)惠券的廣告郵件，寄送給他正在念高中的女兒?然而后來證實，他的女兒果真懷孕了。這名女孩搜尋商品的關鍵詞，以及在社交網站所顯露的行為軌跡，使沃爾瑪捕捉到了她的懷孕信息。模型發(fā)現，許多孕婦在第2個妊娠期的開始會買許多大包裝的無香味護手霜；在懷孕的最初20周大量購買補充鈣、鎂、鋅的善存片之類的保健品。最后塔吉特選出了25種典型商品的消費數據構建了“懷孕預測指數”，通過這個指數，Target能夠在很小的誤差范圍內預測到顧客的懷孕情況，因此Target就能早早地把孕婦優(yōu)惠廣告寄發(fā)給顧客。</p><br><p>消費大數據亞馬遜 “預測式發(fā)貨”的新專利，可以通過對用戶數據的分析，在他們還沒有下單購物前，提前發(fā)出包裹。這項技術可以縮短發(fā)貨時間，從而降低消費者前往實體店的沖動。從下單到收貨之間的時間延遲可能會降低人們的購物意愿，導致他們放棄網上購物。亞馬遜可能會根據之前的訂單和其他因素，預測用戶的購物習慣，從而在他們實際下單前便將包裹發(fā)出。根據該專利文件，雖然包裹會提前從亞馬遜發(fā)出，但在用戶正式下單前，這些包裹仍會暫存在快遞公司的轉運中心或卡車里。亞馬遜為了決定要運送哪些貨物，亞馬遜可能會參考之前的訂單、商品搜索記錄、愿望清單、購物車，甚至包括用戶的鼠標在某件商品上懸停的時間。</p><br><p>證監(jiān)會大數據回顧“老鼠倉”的查處過程，在馬樂一案中，“大數據”首次介入。深交所此前通過“大數據”查出的可疑賬戶高達300個實際上，早在2009年，上交所曾經有過利用“大數據”設置“捕鼠器”的設想。通過建立相關的模型，設定一定的指標預警，即相關指標達到某個預警點時監(jiān)控系統會自動報警。而此次在馬樂案中亮相的深交所的“大數據” 監(jiān)測系統，更是引起了廣泛關注。深交所有幾十人的監(jiān)控室，設置了200多個指標用于監(jiān)測估計，一旦出現股價偏離大盤走勢，深交所利用大數據查探異動背后是哪些人或機構在參與。</p><br><p>交通大數據UPS最新的大數據來源是安裝在公司4.6萬多輛卡車上的遠程通信傳感器，這些傳感器能夠傳回車速、方向、剎車和動力性能等方面的數據。收集到的數據流不僅能說明車輛的日常性能，還能幫助公司重新設計物流路線。大量的在線地圖數據和優(yōu)化算法，最終能幫助UPS實時地調配駕駛員的收貨和配送路線。該系統為UPS減少了8500萬英里的物流里程，由此節(jié)約了840萬加侖的汽油。</p><br><p>金融大數據阿里“水文模型”是按小微企業(yè)類目、級別等分別統計一個阿里系商戶的相關“水文數據”庫。如過往每到某個時點，該店鋪銷售會進入旺季，銷售額就會增長，同時每在這個時段，該客戶對外投放的額度就會上升，結合這些水文數據，系統可以判斷出該店鋪的融資需求；結合該店鋪以往資金支用數據及同類店鋪資金支用數據，可以判斷出該店鋪的資金需求額度。</p><br><p>THANKS感謝觀看</p><br>