3G時(shí)代的文字和圖片、4G時(shí)代的圖片與視頻、5G時(shí)代的短視頻和直播，多樣化信息給人們?nèi)粘Ｉ顜淼模司裆系挠鋹偤透泄偕系拇碳ぶ猓矌砹藬?shù)據(jù)的瘋狂增長(zhǎng)。

從2009年“大數(shù)據(jù)”成為互聯(lián)網(wǎng)技術(shù)行業(yè)的流行詞開始，至今已過去10余年，它已不再是“潮流”，它已然成為組成現(xiàn)代生活的基礎(chǔ)。

世界正在經(jīng)歷一場(chǎng)以大數(shù)據(jù)、云計(jì)算等為代表的信息技術(shù)變革。大數(shù)據(jù)對(duì)社會(huì)生產(chǎn)生活產(chǎn)生的影響絕不限于技術(shù)層面，更本質(zhì)上，它為我們看待世界提供了一種全新的方法——決策行為將日益基于數(shù)據(jù)分析做出，數(shù)據(jù)成為重要的戰(zhàn)略資源和新生產(chǎn)要素。

今天小億就來說說與大數(shù)據(jù)有關(guān)的知識(shí)，以及大數(shù)據(jù)如今主要應(yīng)用在哪些領(lǐng)域？發(fā)展到現(xiàn)在又產(chǎn)生了哪些問題？

—  01  —什么是大數(shù)據(jù)？

在維克托·邁爾-舍恩伯格及肯尼斯·庫(kù)克耶編寫的《大數(shù)據(jù)時(shí)代》 中，大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理的分析方法；

而研究機(jī)構(gòu)Gartner給出了這樣的定義：“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)；

根據(jù)維基百科的定義，大數(shù)據(jù)是指無法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。

我們這里主要采用第三種定義，即所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到獲取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策的目的資訊。

—  02  —大數(shù)據(jù)、數(shù)據(jù)分析和數(shù)據(jù)挖掘的區(qū)別

大數(shù)據(jù)、數(shù)據(jù)分析、數(shù)據(jù)挖掘的區(qū)別是，大數(shù)據(jù)是互聯(lián)網(wǎng)的海量數(shù)據(jù)挖掘，而數(shù)據(jù)挖掘更多是針對(duì)內(nèi)部企業(yè)行業(yè)小眾化的數(shù)據(jù)挖掘，數(shù)據(jù)分析就是進(jìn)行做出針對(duì)性的分析和診斷。

大數(shù)據(jù)需要分析的是趨勢(shì)和發(fā)展，數(shù)據(jù)挖掘主要發(fā)現(xiàn)的是問題和診斷。

1.大數(shù)據(jù)

指無法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

2.數(shù)據(jù)分析

是指用適當(dāng)?shù)慕y(tǒng)計(jì)分析方法對(duì)收集來的大量數(shù)據(jù)進(jìn)行分析，提取有用信息和形成結(jié)論而對(duì)數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過程。這一過程也是質(zhì)量管理體系的支持過程。在實(shí)用中，數(shù)據(jù)分析可幫助人們作出判斷，以便采取適當(dāng)行動(dòng)。

3.數(shù)據(jù)挖掘

又譯為資料探勘、數(shù)據(jù)采礦。它是數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)(英語(yǔ)：Knowledge-Discovery in Databases，簡(jiǎn)稱：KDD)中的一個(gè)步驟。數(shù)據(jù)挖掘一般是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程。數(shù)據(jù)挖掘通常與計(jì)算機(jī)科學(xué)有關(guān)，并通過統(tǒng)計(jì)、在線分析處理、情報(bào)檢索、機(jī)器學(xué)習(xí)、專家系統(tǒng)(依靠過去的經(jīng)驗(yàn)法則)和模式識(shí)別等諸多方法來實(shí)現(xiàn)上述目標(biāo)。

數(shù)據(jù)挖掘(Data Mining)是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過程。

根據(jù)信息存儲(chǔ)格式，用于挖掘的對(duì)象有關(guān)系數(shù)據(jù)庫(kù)、面向?qū)ο髷?shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、文本數(shù)據(jù)源、多媒體數(shù)據(jù)庫(kù)、空間數(shù)據(jù)庫(kù)、時(shí)態(tài)數(shù)據(jù)庫(kù)、異質(zhì)數(shù)據(jù)庫(kù)以及Internet等。

大數(shù)據(jù)是范圍比較廣的數(shù)據(jù)分析和數(shù)據(jù)挖掘。按照數(shù)據(jù)分析的流程來說，數(shù)據(jù)挖掘工作較數(shù)據(jù)分析工作靠前些，二者又有重合的地方，數(shù)據(jù)挖掘側(cè)重?cái)?shù)據(jù)的清洗和梳理。數(shù)據(jù)分析處于數(shù)據(jù)處理的最末端，是最后階段。數(shù)據(jù)分析和數(shù)據(jù)挖掘的分界、概念比較模糊，模糊的意思是二者很難區(qū)分。大數(shù)據(jù)概念更為廣泛，是把創(chuàng)新的思維、信息技術(shù)、統(tǒng)計(jì)學(xué)等等技術(shù)的綜合體，每個(gè)人限于學(xué)術(shù)背景、技術(shù)背景，概述的都不一樣。

—  03  —如今大數(shù)據(jù)主要應(yīng)用領(lǐng)域？

1.企業(yè)經(jīng)營(yíng)管理

企業(yè)內(nèi)部的經(jīng)營(yíng)交易信息、互聯(lián)網(wǎng)中的商品物流信息、人與人交互信息、位置信息等數(shù)據(jù)是現(xiàn)代企業(yè)的重要資源，是企業(yè)運(yùn)用科學(xué)管理、決策分析的基礎(chǔ)。對(duì)于一般的企業(yè)而言，大數(shù)據(jù)的作用主要表現(xiàn)在兩個(gè)方面：

（1）幫助企業(yè)了解用戶

大數(shù)據(jù)可以通過相關(guān)性分析，將客戶和產(chǎn)品、服務(wù)進(jìn)行關(guān)系串聯(lián)，對(duì)用戶的偏好進(jìn)行定位，從而提供更精準(zhǔn)、更有導(dǎo)向性的產(chǎn)品和服務(wù)，提升銷售業(yè)績(jī)。比如，大數(shù)據(jù)幫助社交網(wǎng)站提供更準(zhǔn)確的好友推薦，為用戶提供更精準(zhǔn)的企業(yè)招聘信息，向用戶推薦可能喜歡的游戲以及適合購(gòu)買的商品。  

在電商領(lǐng)域，大數(shù)據(jù)幫助企業(yè)提升營(yíng)銷的針對(duì)性，降低物流和庫(kù)存的成本，減少投資的風(fēng)險(xiǎn)，以及幫助企業(yè)提升廣告投放精準(zhǔn)度，例如幫助電商公司向用戶推薦商品和服務(wù)，幫助旅游網(wǎng)站為旅游者提供心儀的旅游路線，幫助二手市場(chǎng)的買賣雙方找到最合適的交易目標(biāo)，幫助用戶找到最合適的商品購(gòu)買時(shí)期、商家和最優(yōu)惠價(jià)格；

（2）幫助企業(yè)了解自己

企業(yè)生產(chǎn)經(jīng)營(yíng)需要大量的資源，大數(shù)據(jù)可以分析和鎖定資源的具體情況，例如儲(chǔ)量分布和需求趨勢(shì)。這些資源的可視化，可以幫助企業(yè)管理者更直觀地了解企業(yè)的運(yùn)作狀態(tài)，更快地發(fā)現(xiàn)問題，及時(shí)調(diào)整運(yùn)營(yíng)策略，降低經(jīng)營(yíng)風(fēng)險(xiǎn)。

2.智慧城市

眾所周知，在疫情期間“健康碼”的快速問世，為處于疫情之下的人們提供了出行的方便。AI測(cè)溫設(shè)備的應(yīng)用，避免了公共場(chǎng)所人員的聚集，同時(shí)也為工廠復(fù)工提供可靠的保障……以上都是大數(shù)據(jù)在智慧城市中的應(yīng)用。除此以外，大數(shù)據(jù)幫助城市預(yù)防犯罪，實(shí)現(xiàn)智慧交通，提升緊急應(yīng)急能力；電力企業(yè)會(huì)通過大數(shù)據(jù)實(shí)時(shí)做數(shù)據(jù)的監(jiān)測(cè)和預(yù)測(cè)，讓我們更好、更方便做這種電力的調(diào)度。

甚至如今的政務(wù)服務(wù)基于大數(shù)據(jù)運(yùn)用開發(fā)的城市政務(wù)服務(wù)系統(tǒng)，真正實(shí)現(xiàn)了讓市民足不出戶辦理各項(xiàng)政府管理事務(wù)。比如政務(wù)服務(wù)“指尖辦理、秒批服務(wù)”就是利用大數(shù)據(jù)、人工智能等先進(jìn)技術(shù)，實(shí)現(xiàn)網(wǎng)上申請(qǐng)、無人干預(yù)自動(dòng)審批服務(wù)、審批結(jié)果主動(dòng)及時(shí)送達(dá)的政務(wù)服務(wù)新模式。讓政府在需要的時(shí)間、需要的地方出現(xiàn)，做實(shí)服務(wù)內(nèi)容，進(jìn)一步優(yōu)化服務(wù)資源，給市民帶來較強(qiáng)的獲得感與幸福感。

3.智慧交通

隨著城市的不斷發(fā)展，以及車流量、人流量的不斷增大，各大城市都在不同程度上出現(xiàn)了交通壓力日益增大的現(xiàn)象，由此帶來了交通擁堵、環(huán)境污染、交通違章等問題，這些問題影響著交通體系的正常運(yùn)轉(zhuǎn)，同時(shí)也考驗(yàn)著城市交通部門的應(yīng)對(duì)以及調(diào)度能力。  

而大數(shù)據(jù)可以整合運(yùn)政、執(zhí)法、出租、公交、應(yīng)急等數(shù)據(jù)資源，建成交通大數(shù)據(jù)中心，為交通運(yùn)輸信息化建設(shè)的各項(xiàng)應(yīng)用提供高性能、高擴(kuò)展性的數(shù)據(jù)支持。在應(yīng)用層面，一方面可以從智能數(shù)據(jù)應(yīng)用入手，實(shí)時(shí)監(jiān)控分析道路車流量，依據(jù)動(dòng)態(tài)的交通數(shù)據(jù)，自動(dòng)切換和調(diào)配交通系統(tǒng)，從而調(diào)節(jié)交通流量。另一方面，交通部門可以通過實(shí)時(shí)、全面的數(shù)據(jù)可視化系統(tǒng)，呈現(xiàn)交通運(yùn)行關(guān)鍵數(shù)據(jù)，為關(guān)鍵的決策進(jìn)行支撐。  

通過交通多維度指標(biāo)數(shù)據(jù)宏觀綜合監(jiān)測(cè)城市、行政區(qū)和重點(diǎn)區(qū)域的交通整體運(yùn)行情況，同時(shí)可以分鐘級(jí)監(jiān)測(cè)突發(fā)交通擁堵，幫助城市交通決策者量化掌控城市交通運(yùn)行情況，提高決策效率與能力，進(jìn)而實(shí)現(xiàn)城市智慧交通管理和運(yùn)行。

4.智慧醫(yī)療

大數(shù)據(jù)在醫(yī)療中更是有著比較廣泛的應(yīng)用。在我國(guó)，國(guó)家政策已深入醫(yī)療信息化改革，各地正大力推進(jìn)以電子病歷為核心的醫(yī)院信息化建設(shè)，積極探索并建立以電子健康檔案為核心的區(qū)域醫(yī)療信息平臺(tái)。醫(yī)療信息化的廣泛應(yīng)用在科學(xué)研究 、醫(yī)療服務(wù)、健康保健和衛(wèi)生管理過程中形成了健康醫(yī)療大數(shù)據(jù)。  

比如現(xiàn)在的基因工程以及疾病的預(yù)測(cè)分析和每個(gè)病人的手術(shù)方案等等，可能都會(huì)用到大數(shù)據(jù)。 大數(shù)據(jù)幫助醫(yī)療機(jī)構(gòu)建立患者的疾病風(fēng)險(xiǎn)跟蹤機(jī)制，幫助醫(yī)藥企業(yè)提升藥品的臨床使用效果，幫助艾滋病研究機(jī)構(gòu)為患者提供定制的藥物。  

4.智慧農(nóng)業(yè)

人口增長(zhǎng)與消費(fèi)推動(dòng)對(duì)農(nóng)業(yè)生產(chǎn)增長(zhǎng)的需求，而氣候變化和地球可持續(xù)發(fā)展也已成為粗放型農(nóng)業(yè)發(fā)展頭上的緊箍咒。而隨著傳感器、算力和算法的發(fā)展農(nóng)業(yè)是最能從大數(shù)據(jù)中受益的行業(yè)之一，能實(shí)現(xiàn)生產(chǎn)效率的飛躍。

例如將農(nóng)場(chǎng)坐標(biāo)和相關(guān)信息上傳至大數(shù)據(jù)平臺(tái)，與實(shí)時(shí)氣象信息，比如溫度、濕度、風(fēng)力、雨水等進(jìn)行整合分析，幫助農(nóng)場(chǎng)判斷每個(gè)地塊的播種、收獲、耕作時(shí)間。與此同時(shí)，還可以利用大數(shù)據(jù)進(jìn)行土壤成分分析，形成報(bào)告，時(shí)刻監(jiān)測(cè)種植活動(dòng)導(dǎo)致成分動(dòng)態(tài)變化的數(shù)據(jù)指標(biāo)，并依據(jù)數(shù)據(jù)及時(shí)補(bǔ)充作物時(shí)所需要的肥料、水分，對(duì)未來產(chǎn)量進(jìn)行預(yù)估，精確安排農(nóng)場(chǎng)的生產(chǎn)計(jì)劃。

—  04  —大數(shù)據(jù)的應(yīng)用發(fā)展過快也存在問題

1.大數(shù)據(jù)殺熟

2018年開始，“大數(shù)據(jù)殺熟”即受到廣泛關(guān)注和報(bào)道。殺熟機(jī)制受益于大數(shù)據(jù)技術(shù)的發(fā)展，當(dāng)大數(shù)據(jù)技術(shù)越發(fā)達(dá)，智能化程度越高，當(dāng)平臺(tái)經(jīng)營(yíng)者擁有市場(chǎng)支配地位、數(shù)據(jù)的收集與運(yùn)用能力，將會(huì)積累起隱性侵害熟客消費(fèi)者的能力。

大數(shù)據(jù)殺熟對(duì)消費(fèi)者、社會(huì)將產(chǎn)生長(zhǎng)期危害。對(duì)于消費(fèi)者個(gè)人來說，一次交易中或許僅僅是價(jià)格的小數(shù)額差異，但當(dāng)消費(fèi)者對(duì)平臺(tái)產(chǎn)生依賴，長(zhǎng)期而言交易成本不降反升，侵害了消費(fèi)者的公平交易權(quán)；對(duì)于全社會(huì)而言，殺熟行為破壞了誠(chéng)實(shí)信用的基本原則，降低消費(fèi)者的消費(fèi)欲望，導(dǎo)致全社會(huì)交易成本的上升。

2.數(shù)據(jù)隱私安全

隨著中國(guó)網(wǎng)民規(guī)模的急劇增長(zhǎng)，大數(shù)據(jù)的匯集不可避免地加大了公民個(gè)人信息和隱私數(shù)據(jù)信息泄露的風(fēng)險(xiǎn)，2021年“3·15”晚會(huì)曝光的“人臉信息濫用”、“簡(jiǎn)歷信息泄露”事件再次敲響了數(shù)據(jù)安全的警鐘。

在大數(shù)據(jù)發(fā)展日益蓬勃的時(shí)代，每個(gè)人的信息變得愈發(fā)透明化。伴隨著云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、人工智能等新技術(shù)的發(fā)展，網(wǎng)絡(luò)邊界被不斷打破，敏捷創(chuàng)新、安全合規(guī)驅(qū)動(dòng)快速轉(zhuǎn)型，數(shù)據(jù)泄露事件在各個(gè)行業(yè)頻頻發(fā)生，個(gè)人、企業(yè)和社會(huì)都在面臨數(shù)字化的轉(zhuǎn)型帶來的數(shù)據(jù)安全風(fēng)險(xiǎn)。那么安全體系的建設(shè)尤為重要和關(guān)鍵，而其中數(shù)據(jù)安全和隱私保護(hù)則是安全體系的重中之重。

—  05  —小結(jié)

未來隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展借助條形碼、二維碼、RFID等能夠唯一標(biāo)識(shí)產(chǎn)品，傳感器、可穿戴設(shè)備、智能感知、視頻采集、增強(qiáng)現(xiàn)實(shí)等技術(shù)可實(shí)現(xiàn)實(shí)時(shí)的信息采集和分析，大數(shù)據(jù)的身影將無處不在。

站在競(jìng)爭(zhēng)的維度上來說，未來各行業(yè)是數(shù)據(jù)之爭(zhēng)，真正能建構(gòu)牢固“護(hù)城河”的核心要素一定落在數(shù)據(jù)上。因此我們需要注意以下三點(diǎn)：

第一，數(shù)據(jù)的準(zhǔn)確性、完整性、可追溯性、持續(xù)性、真實(shí)性和共享性，這些品質(zhì)決定著應(yīng)用模型的質(zhì)量，也決定最終的落地成果；

第二，那些占據(jù)著特定的應(yīng)用場(chǎng)景，并且更早、更多地獲取數(shù)據(jù)的領(lǐng)域，競(jìng)爭(zhēng)的優(yōu)勢(shì)會(huì)更明顯；

第三，數(shù)據(jù)的安全和隱私保護(hù)，決定了大數(shù)據(jù)在各行業(yè)的應(yīng)用最終可以走多遠(yuǎn)。

關(guān)于億信華辰

億信華辰是中國(guó)專業(yè)的智能數(shù)據(jù)產(chǎn)品與服務(wù)提供商，一直致力于為政企用戶提供從數(shù)據(jù)采集、存儲(chǔ)、治理、分析到智能應(yīng)用的智能數(shù)據(jù)全生命周期管理方案，幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)、數(shù)據(jù)智能，已積累了8000多家用戶的服務(wù)和客戶成功經(jīng)驗(yàn)，為客戶提供數(shù)據(jù)分析平臺(tái)、數(shù)據(jù)治理系統(tǒng)搭建等專業(yè)的產(chǎn)品咨詢、實(shí)施和技術(shù)支持服務(wù)。