大數(shù)據(jù)技術(shù)
前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇大數(shù)據(jù)技術(shù)范文，相信會為您的寫作帶來幫助，發(fā)現(xiàn)更多的寫作思路和靈感。
大數(shù)據(jù)技術(shù)范文第1篇
關(guān)鍵詞：大數(shù)據(jù) 數(shù)據(jù)挖掘 營銷
中圖分類號：F49 文獻標識碼：A 文章編號：1007-9416（2015）030-0209-01
近幾年，大數(shù)據(jù)（big data）一詞越來越多地被提及，人們用它來描述和定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù)，并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新。2012 年3 月，奧巴馬公布了美國《大數(shù)據(jù)研究和發(fā)展計劃》，標志著大數(shù)據(jù)已經(jīng)成為國家戰(zhàn)略，上升為國家意志。從硅谷到北京，大數(shù)據(jù)的話題傳播迅速。
1 大數(shù)據(jù)時代
隨著計算機技術(shù)全面融入社會生活，經(jīng)過半個多世紀的發(fā)展，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。最先經(jīng)歷信息爆炸的學科，如天文學和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個概念。
1.1 大數(shù)據(jù)時代產(chǎn)生的背景
最早提出“大數(shù)據(jù)”時代到來的是全球知名咨詢公司麥肯錫，麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。”大規(guī)模生產(chǎn)、分享和應(yīng)用海量數(shù)據(jù)的時代之所以能夠開啟，源于信息科技的進步、互聯(lián)網(wǎng)與云計算技術(shù)和物聯(lián)網(wǎng)的發(fā)展。
（1）信息科技的進步。信息處理、信息存儲和信息傳遞是信息科技的三個主要支撐，存儲設(shè)備性價比不斷提升、網(wǎng)絡(luò)帶寬的持續(xù)增加，為大數(shù)據(jù)的存儲和傳播提供了物質(zhì)基礎(chǔ)。
（2）互聯(lián)網(wǎng)與云計算技術(shù)。互聯(lián)網(wǎng)時代，電子商務(wù)、社交網(wǎng)絡(luò)和移動通信產(chǎn)生了大量結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，以云計算為基礎(chǔ)的信息存儲、分享和挖掘手段，可以便宜、有效地將這些大量、高速、多變化的終端數(shù)據(jù)存儲下來，并隨時進行分析與計算。互聯(lián)網(wǎng)領(lǐng)域的公司最早重視數(shù)據(jù)資產(chǎn)的價值，他們從大數(shù)據(jù)中淘金，并且引領(lǐng)著大數(shù)據(jù)的發(fā)展趨勢。
（3）物聯(lián)網(wǎng)的發(fā)展。眾所周知，物聯(lián)網(wǎng)時代所創(chuàng)造的數(shù)據(jù)不是互聯(lián)網(wǎng)時代所能比擬的，而且物聯(lián)網(wǎng)的數(shù)據(jù)是異構(gòu)的、多樣性的、非結(jié)構(gòu)和有噪聲的，最顯著的特點是是它的高增長率。大數(shù)據(jù)是物聯(lián)網(wǎng)中的關(guān)鍵技術(shù)，物聯(lián)網(wǎng)對大數(shù)據(jù)技術(shù)的要求更高，它的發(fā)展離不開大數(shù)據(jù)。
1.2 大數(shù)據(jù)與數(shù)據(jù)挖掘
Google、Amazon、Facebook、Twitter，這些稱霸全球互聯(lián)網(wǎng)的企業(yè)，它們的成功都具備一個共同的因素，就是收集分析海量的各種類型的數(shù)據(jù)，并能夠快速獲取影響未來的信息的能力。“購買了此商品的顧客還購買了這些商品”，這恐怕是世界上最廣為人知的一種商品推薦系統(tǒng)了，而創(chuàng)造出這個系統(tǒng)的正是Amazon。Amazon 通過分析商品的購買記錄、瀏覽歷史記錄等龐大的用戶行為歷史數(shù)據(jù)，并與行為模式相似的其他用戶的歷史數(shù)據(jù)進行對照，提供出最適合的商品推薦信息。Facebook 可以為用戶提供類似“也許你還認識這些人”的提示，這種提示可以準確到令人恐怖的程度，而這正是對龐大的數(shù)據(jù)進行分析而得到的結(jié)果。這種以數(shù)據(jù)分析為核心的技術(shù)就是數(shù)據(jù)挖掘（data mining）。
從技術(shù)角度看，數(shù)據(jù)挖掘是從大量的、復(fù)雜的、不規(guī)則的、隨機的、模糊的數(shù)據(jù)中獲取隱含的、人們事先沒有發(fā)覺的、有潛在價值的信息和知識的過程。從商業(yè)角度來說，數(shù)據(jù)挖掘是從龐大的數(shù)據(jù)庫中抽取、轉(zhuǎn)換、分析一些潛在規(guī)律和價值，從中獲取輔助商業(yè)決策的關(guān)鍵信息和有用知識。大數(shù)據(jù)概念的提出，將為數(shù)據(jù)挖掘技術(shù)的發(fā)展和應(yīng)用帶來一個很大的機遇。
2 數(shù)據(jù)挖掘
數(shù)據(jù)挖掘旨在從大數(shù)據(jù)中提取隱藏的預(yù)測性信息，用便于理解和觀察的方式反映給用戶，作為決策的依據(jù)。
2.1 數(shù)據(jù)挖掘原理
數(shù)據(jù)挖掘又稱為數(shù)據(jù)庫中的知識發(fā)現(xiàn)（Knowledge Diseoveryin Databases，KDD），是一個從數(shù)據(jù)庫或數(shù)據(jù)倉庫中發(fā)現(xiàn)并抽取隱含的、明顯未知的、具有潛在用處的信息的過程。數(shù)據(jù)挖掘一般流程主要包括三個階段：數(shù)據(jù)準備、數(shù)據(jù)挖掘、結(jié)果解釋和評價。在數(shù)據(jù)挖掘的處理過程中，數(shù)據(jù)挖掘分析方法是最為關(guān)鍵的。
（1）數(shù)據(jù)準備。數(shù)據(jù)準備是從海量數(shù)據(jù)源得到數(shù)據(jù)挖掘所用的數(shù)據(jù)，將數(shù)據(jù)集成到一起的過程。由于數(shù)據(jù)收集階段得到的數(shù)據(jù)可能有一定的污染，即數(shù)據(jù)可能存在不一致，或有缺失數(shù)據(jù)、臟數(shù)據(jù)的存在，因此需通過數(shù)據(jù)整理，對數(shù)據(jù)進行清洗及預(yù)處理。
（2）數(shù)據(jù)挖掘。是數(shù)據(jù)挖掘中最關(guān)鍵的一步，使用智能的方法提取數(shù)據(jù)模式，例如決策樹、分類和聚類、關(guān)聯(lián)規(guī)則和神經(jīng)網(wǎng)絡(luò)等。首先決定要提取什么樣的模型，然后選取相應(yīng)的算法參數(shù)，分析數(shù)據(jù)從而得到可能形成知識的模式模型。
（3）結(jié)果解釋和評價。數(shù)據(jù)挖掘后的結(jié)果需要轉(zhuǎn)換成用戶能夠理解的規(guī)則或模式，并根據(jù)其是否對決策問題具有實際意義進行評價。
2.2 數(shù)據(jù)挖掘技術(shù)在營銷中的應(yīng)用
無差別的大眾媒體營銷已經(jīng)無法滿足零和的市場環(huán)境下的競爭要求。精準營銷是企業(yè)現(xiàn)在及未來的發(fā)展方向，在精準營銷領(lǐng)域，最常用的數(shù)據(jù)挖掘分析方法包括分類、聚類和關(guān)聯(lián)三類。
（1）關(guān)聯(lián)規(guī)則。挖掘關(guān)聯(lián)規(guī)則就是發(fā)現(xiàn)存在于大量數(shù)據(jù)集中的關(guān)聯(lián)性或相關(guān)性，例如空間關(guān)聯(lián)挖掘出啤酒與尿布效應(yīng)；時間關(guān)聯(lián)挖掘出孕嬰用品與家居裝修關(guān)系；時間關(guān)聯(lián)挖掘出調(diào)味品、紙巾與化妝品的消費等。
此外，關(guān)聯(lián)規(guī)則發(fā)現(xiàn)也可用于序列模式發(fā)現(xiàn)。序列模式發(fā)現(xiàn)的側(cè)重點在于分析數(shù)據(jù)項集在時間上或序列上的前后（因果）規(guī)律，可以看作是一種特定的關(guān)聯(lián)規(guī)則。例如顧客在購買了打印機后在一段時間內(nèi)是否會購買墨盒。
（2）分類分析。分類是假定數(shù)據(jù)庫中的每個對象屬于一個預(yù)先給定的類，從而將數(shù)據(jù)庫中的數(shù)據(jù)分配到給定的類中。它屬于預(yù)測性模型，例如在銀行業(yè)，事先定義用戶的信用狀況分為兩類：信用好和信用壞，對于一個信用狀態(tài)未知的用戶，如果需要確定其信用度，可以采用“決策樹”法構(gòu)建一個分類模型，決策樹方法著眼于從一組無次序、無規(guī)則的客戶數(shù)據(jù)庫中推理出決策樹表現(xiàn)形式的分類規(guī)則。決策樹的非葉子節(jié)點均是客戶的一些基本特征，葉子節(jié)點是客戶分類標識，由根節(jié)點至上而下，到每個葉子節(jié)點，就生成了一條規(guī)則，由該決策樹可以得到很多規(guī)則，構(gòu)成了一個規(guī)則集合，從而進行數(shù)據(jù)分析。
（3）聚類分析。聚類是將物理或抽象對象的集合進行分組，然后組成為由類似或相似的對象組成的多個分類的分析過程，其目的就是通過相似的方法來收集數(shù)據(jù)分類。為品牌找客戶，回答品牌“誰來賣”是精準營銷首先要解決的問題，科學細分客戶是解決這一問題的有效手段。聚類可以將目標客戶分成多個類，同一個類中的客戶有很大的相似性，表現(xiàn)在購買行為的高度一致，不同類間的客戶有很大的相異性，表現(xiàn)在購買行為的截然不同。
3 結(jié)語
大數(shù)據(jù)時代背景下“數(shù)據(jù)成為資產(chǎn)”，數(shù)據(jù)挖掘技術(shù)作為支撐精準營銷的重要手段，將它應(yīng)用于營銷行業(yè)的決策中，不僅拓展了數(shù)據(jù)挖掘技術(shù)的應(yīng)用范圍，而且大數(shù)據(jù)時代的數(shù)據(jù)挖掘技術(shù)可以幫助企業(yè)獲得突破性回報。
參考文獻
[1]維克托?邁爾―舍恩伯格；肯尼思?庫克耶.大數(shù)據(jù)時代：生活、工作與思維的大變革[M].周濤譯.杭州：浙江人民出版社，2013.
[2]王偉玲.大數(shù)據(jù)產(chǎn)業(yè)的戰(zhàn)略價值研究與思考.技術(shù)經(jīng)濟與管理研究[J]，2015（1）.
[3]俞立平.大數(shù)據(jù)與大數(shù)據(jù)經(jīng)濟學[J].中國軟科學，2013（7）：177-183.
大數(shù)據(jù)技術(shù)范文第2篇
現(xiàn)狀
“檢察大數(shù)據(jù)”的概念厘定
“大數(shù)據(jù)”的生產(chǎn)與運用是一個“人人為我，我為人人”的互通、共享、多贏過程。檢察機關(guān)在整合應(yīng)用其他政府機構(gòu)、企事業(yè)單位、社會組織提供的信息數(shù)據(jù)服務(wù)司法辦案的同時，也在辦案中生產(chǎn)“大數(shù)據(jù)”。這些數(shù)據(jù)既可作為檢察機關(guān)校準后續(xù)辦案的內(nèi)部參照系，同時部分數(shù)據(jù)亦可對外輸出服務(wù)社會。前者如在刑事檢察中整合同類案件形成案例數(shù)據(jù)庫，用以提升公訴量刑精準度，后者以當前檢察機關(guān)向社會公眾提供的行賄犯罪檔案查詢服務(wù)最為典型。顯然作為數(shù)據(jù)運用者，檢察機關(guān)“大數(shù)據(jù)”包括檢察工作所涉及的一切有用信息數(shù)據(jù)。其中，相當一部分數(shù)據(jù)并非檢察機關(guān)在司法辦案中產(chǎn)出的“原生”數(shù)據(jù)。如職務(wù)犯罪偵查辦案中反貪部門調(diào)用房產(chǎn)、銀行、公安行政機關(guān)的信息數(shù)據(jù)庫進行初查；相關(guān)業(yè)務(wù)部門在審查、出庭公訴、訴訟監(jiān)督、參與社會治理等方面運用信息化、數(shù)字化新技術(shù)等。
“檢察大數(shù)據(jù)”與上述檢察機關(guān)運用的“大數(shù)據(jù)”有本質(zhì)區(qū)別。“檢察大數(shù)據(jù)”專指檢察機關(guān)司法辦案大數(shù)據(jù)，是檢察機關(guān)在司法辦案中的“原生”案件信息數(shù)據(jù)，其最核心的特征是相關(guān)數(shù)據(jù)是關(guān)于檢察業(yè)務(wù)辦案的信息數(shù)據(jù)。目前，在檢察司法辦案大數(shù)據(jù)的擷取、管理、應(yīng)用方面，最高人民檢察院推進的“統(tǒng)一業(yè)務(wù)應(yīng)用系統(tǒng)”是國家層面“檢察大數(shù)據(jù)”生成的最重要平臺；同時各地檢察機關(guān)亦多有創(chuàng)新，如北京市人民檢察院開發(fā)應(yīng)用的“檢立方”系統(tǒng)、上海市閔行區(qū)人民檢察院試運行的“檢察官執(zhí)法辦案全程監(jiān)控考核系統(tǒng)”、浦東新區(qū)人民檢察院試運行的“綜合管理信息平臺一期”、湖北省人民檢察院研發(fā)的“互聯(lián)網(wǎng)檢務(wù)辦公室”，南京市鼓樓區(qū)人民檢察院研發(fā)的辦公辦案軟件“移動檢務(wù)通”等。上述系統(tǒng)平臺通過案件管理部門案件受理信息輸入及辦案人員在辦案過程中的流程信息輸入，生成、存儲、管理與檢察機關(guān)司法辦案相關(guān)的各項信息數(shù)據(jù)，并通過對大數(shù)據(jù)不同子系統(tǒng)數(shù)據(jù)的深度分析，進而服務(wù)領(lǐng)導(dǎo)決策與司法辦案。
當前檢察工作中的大數(shù)據(jù)運用
無論是檢察機關(guān)的“原生”大數(shù)據(jù)，還是第三方生成的關(guān)聯(lián)大數(shù)據(jù)，在當前的檢察辦案與司法管理工作中都有著極為廣闊的應(yīng)用前景。作為檢察機關(guān)大數(shù)據(jù)的核心內(nèi)容，“原生”大數(shù)據(jù)即“檢察大數(shù)據(jù)”，在輔助檢察辦案、服務(wù)司法管理中發(fā)揮著極為重要的作用。
在“檢察大數(shù)據(jù)”輔助檢察辦案方面，目前較為典型的如貴州省人民檢察機關(guān)的“大數(shù)據(jù)司法辦案輔助系統(tǒng)”。司法辦案輔助系統(tǒng)運用“實體識別”“數(shù)學建模”等大數(shù)據(jù)技術(shù)，通過繪制“犯罪構(gòu)成知識”圖譜，建立各罪名案件數(shù)學模型的司法辦案輔助系統(tǒng)，為辦案提供案件信息智能采集、“要素―證據(jù)”智能關(guān)聯(lián)和風險預(yù)警、證據(jù)材料甄別，以及類案推送、量刑建議計算等智能化服務(wù)。目前，貴州省人民檢察機關(guān)的大數(shù)據(jù)司法辦案輔助系統(tǒng)已進行了三次迭代升級，正在貴州全省4個市（州）院和31個基層院試點運行。
在“檢察大數(shù)據(jù)”服務(wù)司法管理方面，上海市閔行區(qū)人民檢察院的檢察官執(zhí)法辦案全程監(jiān)控考核系統(tǒng)非常具有代表性。該院通過對各職能部門受理、立案（項）、辦理的案件以及不依附于自偵、批捕、等主要辦案業(yè)務(wù)的，有完整流程、審查結(jié)論及相關(guān)法律文書的訴訟監(jiān)督、社會治理、維護穩(wěn)定、預(yù)防犯罪等檢察業(yè)務(wù)進行梳理，對檢察建議、糾正違法等共性的檢察業(yè)務(wù)指標進行歸并，形成了較為規(guī)范的檢察機關(guān)司法辦案大數(shù)據(jù)目錄和工作指標w系。通過對檢察官在執(zhí)法辦案中產(chǎn)生的“原生”大數(shù)據(jù)的深度挖掘和研判分析，將案件統(tǒng)計、質(zhì)量監(jiān)控、專題研判、績效分析有機融為一體，進而使辦案監(jiān)督管理者能夠及時準確找出檢察官在辦案中存在的司法不規(guī)范問題，有效強化對司法辦案的績效考評與內(nèi)部監(jiān)控。
除了重視對“原生”大數(shù)據(jù)的收集整理與挖掘應(yīng)用，如何發(fā)揮好“他山之石”的作用，在檢察辦案中運用好第三方關(guān)聯(lián)大數(shù)據(jù)，也是大數(shù)據(jù)技術(shù)與檢察辦案深度融合的重要內(nèi)容。除了上述在職務(wù)犯罪案件偵查中對房產(chǎn)、銀行、公安行政機關(guān)等提供的關(guān)聯(lián)數(shù)據(jù)的常規(guī)運用外，當前一些地方檢察機關(guān)正在進行創(chuàng)新運用第三方大數(shù)據(jù)方面的積極探索。如江蘇省無錫市錫山區(qū)人民檢察院對接社會治理公共服務(wù)管理平臺和民情APP，推出檢察民情APP的創(chuàng)新做法。自對接平臺以來，錫山區(qū)人民檢察院已查閱近6000條民情信息，從海量數(shù)據(jù)中了解掌握群眾訴求，立足檢察職能，從中發(fā)現(xiàn)老百姓對征地拆遷、環(huán)境保護、社會保障等方面的民生需求，聚焦群眾關(guān)注的熱點民生問題深入挖掘職務(wù)犯罪案件線索、訴訟監(jiān)督線索、執(zhí)行監(jiān)督線索及公益訴訟線索，使第三方大數(shù)據(jù)真正成為輔助檢察辦案，拓展監(jiān)督案源的新渠道。
短板
檢察大數(shù)據(jù)系統(tǒng)的提升點
目前，檢察大數(shù)據(jù)系統(tǒng)在建設(shè)與應(yīng)用方面存在的主要問題：
大數(shù)據(jù)技術(shù)范文第3篇
關(guān)鍵詞：大數(shù)據(jù)；智能交通；數(shù)據(jù)技術(shù)
隨著國民經(jīng)濟的不斷發(fā)展，人們生活水平的不斷提高，居民購買汽車能力加強。我國的汽車保有量隨之增加，在一些大城市機動車擁有量以超過10%的速度加速，機動車成為每個家庭代步的交通工具，在有限的交通資源配置下，機動車的增加縮短了道路使用周期，城市主干道路超負荷使用，違法停車致使道路不能合理使用、行車不文明、乘車環(huán)境不良等現(xiàn)象有增無減。大數(shù)據(jù)時代，如何改善當前的交通狀況是本文闡述的核心內(nèi)容。文章從以下幾個方面來闡述：大數(shù)據(jù)的現(xiàn)狀、大數(shù)據(jù)的概述、大數(shù)據(jù)的應(yīng)用、智能交通的需求、智能交通體系的建立、數(shù)據(jù)技術(shù)。
1 大數(shù)據(jù)的現(xiàn)狀
據(jù)權(quán)威數(shù)據(jù)顯示，大數(shù)據(jù)應(yīng)用在我國還處在起步階段。但在未來三年，通信、金融領(lǐng)域?qū)⒃诖髷?shù)據(jù)市場突破100億元。市場規(guī)模在2012年有望達到4.7億元，到2013年增至11.2億元，增長率高達138%，2014年，保持了與2013年基本持平的增速，增長率為114.38%，市場規(guī)模達到24.1億元，未來三年內(nèi)有望突破150億元，2016年有望達到180億規(guī)模。自從2014年以來，各界對大數(shù)據(jù)的誕生都備加關(guān)注，已滲透到各個領(lǐng)域：交通行業(yè)、醫(yī)療行業(yè)、生物技術(shù)、零售行業(yè)、電商、農(nóng)牧業(yè)、個人位置服務(wù)等行業(yè)，由此也正在不斷涌現(xiàn)大數(shù)據(jù)的新產(chǎn)品、新技術(shù)、新服務(wù)。
大數(shù)據(jù)行業(yè)“十三五”規(guī)劃主要目標：在2020年，將大數(shù)據(jù)打造成為國民經(jīng)濟新興支柱產(chǎn)業(yè)并在社會各領(lǐng)域廣泛應(yīng)用，推動我國大數(shù)據(jù)產(chǎn)業(yè)穩(wěn)步快速發(fā)展，基本健全大數(shù)據(jù)產(chǎn)業(yè)體系，推動制定一批相關(guān)大數(shù)據(jù)的國標、行標和地方標準，引進具備大數(shù)據(jù)條件的企業(yè)，建設(shè)大數(shù)據(jù)產(chǎn)業(yè)孵化基地，提高全國信息化總體水平，以躋身世界先進水平。
2 大數(shù)據(jù)的概述
2.1 大數(shù)據(jù)定義
大數(shù)據(jù)即巨量數(shù)據(jù)集合，目前還沒有一個統(tǒng)一的定義。大數(shù)據(jù)的概念最早是由全球著名的管理咨詢公司麥肯錫提出，2011年Mckinsey研究稱，大數(shù)據(jù)通常是指信息爆炸時代產(chǎn)生的海量數(shù)據(jù)，在各個行業(yè)和業(yè)務(wù)領(lǐng)域，數(shù)據(jù)已經(jīng)滲透到行業(yè)中并逐漸成為重要的要素，人們能夠從海量數(shù)據(jù)中挖掘出有用的數(shù)據(jù)并加以應(yīng)用。對大數(shù)據(jù)定義的另一說法是利用常用軟件工具捕獲、管理和處理數(shù)據(jù)所耗時間超過可容忍時間的數(shù)據(jù)集。
隨著信息時代的高速發(fā)展，大數(shù)據(jù)已經(jīng)成為社會生產(chǎn)力發(fā)展的又一推動力。大數(shù)據(jù)被稱為是繼云計算、物聯(lián)網(wǎng)之后信息時代的又一大顛覆性的技術(shù)革命。大數(shù)據(jù)的數(shù)據(jù)量巨大，一般10TB規(guī)模左右，但在實際應(yīng)用中，多個數(shù)據(jù)集放在一起，已經(jīng)形成了PB級的數(shù)據(jù)量，甚至EB、ZB、TB的數(shù)據(jù)量。
2.2 大數(shù)據(jù)的特點
2.2.1 數(shù)據(jù)量巨大
數(shù)據(jù)量級別從TB級別躍升到PB級別。隨著可穿戴設(shè)備、物聯(lián)網(wǎng)和云計算、云存儲等技術(shù)的發(fā)展，用戶的每一個動作都可以被記錄，由此每天產(chǎn)生大量的數(shù)據(jù)信息。據(jù)有關(guān)人士估算：1986～2007年，全球數(shù)據(jù)的存儲能力每年提高23%，雙向通信能力每年提高28%，通用計算能力每年提高58%；2007年，人類大約存儲了超過300EB
的數(shù)據(jù)；到2013年，世界上存儲的數(shù)據(jù)能達到約1.2ZB。
2.2.2 數(shù)據(jù)類型多樣化
即數(shù)據(jù)類型繁多，產(chǎn)生了海量的新數(shù)據(jù)集，新數(shù)據(jù)集可以是關(guān)系數(shù)據(jù)庫和數(shù)據(jù)倉庫數(shù)據(jù)這樣的結(jié)構(gòu)化數(shù)據(jù)到半結(jié)構(gòu)化數(shù)據(jù)和無結(jié)構(gòu)數(shù)據(jù)，從靜態(tài)的數(shù)據(jù)庫到動態(tài)的數(shù)據(jù)流，從簡單的數(shù)據(jù)對象到時間數(shù)據(jù)、生物序列數(shù)據(jù)、傳感器數(shù)據(jù)、空間數(shù)據(jù)、超文本數(shù)據(jù)、多媒體數(shù)據(jù)、軟件程序代碼、Web數(shù)據(jù)和社會網(wǎng)絡(luò)數(shù)據(jù)[1]。各種數(shù)據(jù)集不僅產(chǎn)生于組織內(nèi)部運作的各個環(huán)節(jié)，也來自于組織外部。
2.2.3 數(shù)據(jù)的時效性高
所謂的數(shù)據(jù)時效性高指以實時數(shù)據(jù)處理、實時結(jié)果導(dǎo)向為特征的解決方案，數(shù)據(jù)的傳輸速度、響應(yīng)、反應(yīng)的速度不斷加快。數(shù)據(jù)時效性為了去偽存真，采用非結(jié)構(gòu)化數(shù)據(jù)剔除數(shù)據(jù)中無用的信息，而當前未有真正的解決方法，只能是人工承擔其中的智能部分。有些專員負責數(shù)據(jù)分析問題并提出分析后的解決方案。
2.2.4 數(shù)據(jù)真實性低
即數(shù)據(jù)的質(zhì)量。數(shù)據(jù)的高質(zhì)量是大數(shù)據(jù)時代重要的關(guān)注點。但在生活中，“臟數(shù)據(jù)”無處不在，例如，一些低劣的偽冒產(chǎn)品被推上市場，由于營銷手段的成功，加之其他因素的影響導(dǎo)致評分很高。但是這并不是真實的數(shù)據(jù)，如果對數(shù)據(jù)不加分析和鑒別而直接使用，即使計算的結(jié)果精度高，結(jié)果都是無意義的，因為數(shù)據(jù)本身就存在問題出現(xiàn)。
2.2.5 價值密度低
指隨著物聯(lián)網(wǎng)的廣泛應(yīng)用，信息巨大，信息感知存在于客觀事物中，有很多不相關(guān)的信息。由于數(shù)據(jù)采集的不及時，數(shù)據(jù)樣本不全面，數(shù)據(jù)可能不連續(xù)等等，數(shù)據(jù)可能會失真，但當數(shù)據(jù)量達到一定規(guī)模，可以通過更多的數(shù)據(jù)達到更真實全面的反饋。
2.3 大數(shù)據(jù)的應(yīng)用
2.3.1 醫(yī)療大數(shù)據(jù)
利用大數(shù)據(jù)平臺收集患者原先就醫(yī)的病例和治療方案，根據(jù)患者的體征，建立疾病數(shù)據(jù)庫并對患者的病例分類數(shù)據(jù)庫。一旦患者在哪個醫(yī)院就醫(yī)，憑著醫(yī)保卡或就診卡，醫(yī)生就可以從疾病數(shù)據(jù)庫中參考病人的疾病特征、所做的檢查報告結(jié)果快速幫助患者確診。同時擁有的數(shù)據(jù)也有利于醫(yī)藥行業(yè)開發(fā)出更符合治療疾病的醫(yī)療器械和藥物的研發(fā)。
2.3.2 傳統(tǒng)農(nóng)牧業(yè)大數(shù)據(jù)
因為傳統(tǒng)農(nóng)牧業(yè)主要依賴于天氣、土壤、空氣質(zhì)量等客觀因素，因此利用大數(shù)據(jù)可以收集客觀因素的數(shù)據(jù)以及作物成熟度，甚至是設(shè)備和勞動力的成本及可用性方面的實時數(shù)據(jù)，能夠幫助農(nóng)民選擇正確的播種時間、施肥和收割作物的決策。當農(nóng)民遇到技術(shù)市場問題可以請教專業(yè)人員，專業(yè)人員根據(jù)實時數(shù)據(jù)做出科學的指導(dǎo)，制定合理的優(yōu)化決策，降低農(nóng)民的損失成本，提高產(chǎn)品的產(chǎn)量，從而為轉(zhuǎn)向規(guī)模化經(jīng)營打下良好基礎(chǔ)。
2.3.3 輿情大數(shù)據(jù)
利用大數(shù)據(jù)技術(shù)收集民眾訴求的數(shù)據(jù)，降低社會，有利管理犯罪行為。通過大數(shù)據(jù)收集在微博的尋找走失的親人或提供可能被拐賣人口的信息，來幫助別人。
3 智能交通的需求
隨著城市一體化的快速發(fā)展，新時代農(nóng)民工涌入大城市，促使城市人口的增大不斷給城市交通帶來問題。究其原因主要有：一是機動車的迅猛發(fā)展導(dǎo)致城市主次干道的流量趨于飽和，大量機動車的通行和停放占據(jù)主干道路。二是城市交通的道路基礎(chǔ)設(shè)施供給不平衡導(dǎo)致路網(wǎng)承擔能力差。三是停車泊位數(shù)量不足導(dǎo)致機動車使用者不得不過多依賴道路停車。四是公共設(shè)施的公交車分擔率不高導(dǎo)致交通運輸效率降低。五是城市的土地開發(fā)利用與道路交通發(fā)展不均衡。六是行人和機動車主素質(zhì)不文明導(dǎo)致道路通行效率降低。為此，智能交通的出現(xiàn)是改善當前城市交通的必要需求，能夠在一定程度上有效的解決城市交通問題。
大數(shù)據(jù)是如何在智能交通的應(yīng)用呢？可以從兩個方面說明：一是對交通運行數(shù)據(jù)的收集。由于每天道路的通行機動車較多，能夠產(chǎn)生較大的數(shù)據(jù)，數(shù)據(jù)的采集并發(fā)數(shù)高，利用大數(shù)據(jù)使機動車主更好的了解公路上的通行密度，有效合理對道路進行規(guī)劃，可規(guī)定個別道路為單行線。其二是可以利用大數(shù)據(jù)來實現(xiàn)主干道根據(jù)道路的運行狀況即時調(diào)度信號燈，提高已有線路運行能力，可以保障交通參與者的生命和提高有關(guān)部門的工作效率，降低成本。對于機動車主可以根據(jù)大數(shù)據(jù)隨時的了解當前的交通狀況和停車位數(shù)量。如果交通擁堵，車主則可選擇另一路線，節(jié)約了車主的大量時間。
4 智能交通體系的建立
4.1 智能交通建立的框架
主要包括感知數(shù)據(jù)層、軟件應(yīng)用平臺及分析預(yù)測和優(yōu)化管理的應(yīng)用。物理感知層主要是采集交通的運行狀況和對交通數(shù)據(jù)的及時感知；軟件應(yīng)用平臺主要整合每個感知終端的信息、將信息進行轉(zhuǎn)換和處理，達到支撐分析并做出及時的預(yù)警措施。比如：對主要交通干進行規(guī)劃，對頻發(fā)交通事故進行監(jiān)控。同時還應(yīng)進行應(yīng)用系統(tǒng)建設(shè)的優(yōu)化管理。比如：對機動車進行智能誘導(dǎo)、智能停車。
智能交通系統(tǒng)需要在各道路主干道上安裝高清攝像頭，采用先進的視頻監(jiān)控、智能識別和信息技術(shù)手段，來增加可管理的維度，從空間的廣度、時間的深度、范圍的精細度來管理。整個系統(tǒng)的組成包括信息綜合應(yīng)用平臺、信號控制系統(tǒng)、視頻監(jiān)控系統(tǒng)、智能卡口系統(tǒng)、電子警察系統(tǒng)、信息采集系統(tǒng)、信息系統(tǒng)。每個城市建立智能交通并進行聯(lián)網(wǎng)，則會產(chǎn)生越來越多的視頻監(jiān)控數(shù)據(jù)、卡口電警數(shù)據(jù)、路況信息、管控信息、營運信息、GPS定位信息、射頻識別信息等數(shù)據(jù)，每天產(chǎn)生的數(shù)據(jù)量將可以達到PB級別，并且呈現(xiàn)指數(shù)級的增長。
4.2 智能交通數(shù)據(jù)處理體系的構(gòu)成
主要包括交通的數(shù)據(jù)輸入、車輛信息、道路承載能力等的數(shù)據(jù)處理、數(shù)據(jù)存儲、數(shù)據(jù)檢索。其中交通數(shù)據(jù)輸入可以是靜態(tài)數(shù)據(jù)或者是動態(tài)數(shù)據(jù)。數(shù)據(jù)處理是針對實時數(shù)據(jù)的處理。數(shù)據(jù)主要存儲的是每天采集的巨大數(shù)據(jù)量。為了從中獲取有用的數(shù)據(jù)，則需要進行數(shù)據(jù)查詢和檢索，還要對數(shù)據(jù)進行規(guī)劃。
5 大數(shù)據(jù)技術(shù)
5.1 數(shù)據(jù)采集與預(yù)處理
數(shù)據(jù)采集與預(yù)處理主要對交通領(lǐng)域全業(yè)態(tài)數(shù)據(jù)的立體采集與處理來支撐交通建設(shè)、管理、運行決策。采集的數(shù)據(jù)主要是車輛的實時通行數(shù)據(jù)，以實現(xiàn)實時監(jiān)控、事先預(yù)測、及時預(yù)警，完成道路網(wǎng)流量的調(diào)配、控。這些數(shù)據(jù)獲取可以采用安裝的傳感器、識別技術(shù)并完成對已接收數(shù)據(jù)的辨析、轉(zhuǎn)換、抽取、清洗等操作。
5.2 數(shù)據(jù)存儲與管理
大數(shù)據(jù)的存儲與管理是把采集到的數(shù)據(jù)存放在存儲器，并建立相應(yīng)的數(shù)據(jù)庫，如關(guān)系數(shù)據(jù)庫、Not Only SQL即對關(guān)系型SQL數(shù)據(jù)系統(tǒng)的補充。利用數(shù)據(jù)庫采用更簡單的數(shù)據(jù)模型，并將元數(shù)據(jù)與應(yīng)用數(shù)據(jù)分離，從而實現(xiàn)管理和調(diào)用。
5.3 數(shù)據(jù)分析與挖掘
數(shù)據(jù)分析及挖掘技術(shù)是大數(shù)據(jù)的核心技術(shù)。從海量數(shù)據(jù)中，提取隱含在其中，人們事先未知的，但又可能有用的信息和知識的過程。從復(fù)雜數(shù)據(jù)類型中挖掘，如文本、圖片、視頻、音頻。該技術(shù)主要從數(shù)據(jù)中自動地抽取模式、關(guān)聯(lián)、變化、異常和有意義的結(jié)構(gòu)，可以預(yù)測模型、機器學習、建模仿真。從而實現(xiàn)一些高級別數(shù)據(jù)分析的需求。
5.4 數(shù)據(jù)展現(xiàn)與應(yīng)用
數(shù)據(jù)技術(shù)能夠?qū)⒚刻焖a(chǎn)生的大量數(shù)據(jù)從中挖掘出有用的數(shù)據(jù)，應(yīng)用到各個領(lǐng)域有需要的地方以提高運行效率。
6 結(jié)束語
大數(shù)據(jù)時代，能對智能交通信息資源進行優(yōu)化配置，能夠改善傳統(tǒng)的交通問題。對非機動車主而言，利用大數(shù)據(jù)可以更好的規(guī)劃線路，更好的了解交通狀況，在一定程度上可以對問題預(yù)先提出解決方案，起到節(jié)省大量時間、額外的開支。同時對交管部門而言，能夠在限的警力情況下合理配置人員資源和交通設(shè)備，主干道路在高峰期出現(xiàn)的問題能夠合理利用大數(shù)據(jù)信息配置資源，在刑事案件偵查中也能發(fā)揮更重要的作用。
全國要實現(xiàn)智能交通的聯(lián)網(wǎng)，依然有問題需要突破，這都是大數(shù)據(jù)的數(shù)據(jù)技術(shù)應(yīng)用所在。
大數(shù)據(jù)技術(shù)范文第4篇
關(guān)鍵詞：電力運營 數(shù)據(jù)處理 資源整合
中圖分類號： TP311 文獻標識碼：A 文章編號1672-3791（2016）07（b）-0000-00
通過對電力系統(tǒng)動態(tài)性和實時性監(jiān)測可以掌握大量的實時數(shù)據(jù)，它是電力系統(tǒng)動態(tài)運行的具體體現(xiàn)，但這也嚴重制約了電力系統(tǒng)的長期發(fā)展。現(xiàn)代電力運營監(jiān)測員應(yīng)充分利用電力運營監(jiān)測平臺，提升系統(tǒng)數(shù)據(jù)利用率，建立以供電部門基礎(chǔ)數(shù)據(jù)處理，做好各項數(shù)據(jù)的銜接、處理，協(xié)同各部門協(xié)同問題，促進國家電網(wǎng)數(shù)據(jù)系統(tǒng)的高效運轉(zhuǎn)。
1大數(shù)據(jù)時代相關(guān)內(nèi)容概述
1.1大數(shù)據(jù)時代整體發(fā)展形勢
從我國互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，各行業(yè)企業(yè)在大數(shù)據(jù)時代中均積累了大量的經(jīng)營數(shù)據(jù)，它決定了企業(yè)的長期健康發(fā)展。為了更好的完成我國電力企業(yè)在大數(shù)據(jù)時代下的發(fā)展任務(wù)，本文筆者主要從以下四方面進行了大數(shù)據(jù)時展形勢加以概括，進一步實現(xiàn)對電力企業(yè)數(shù)據(jù)共享，實現(xiàn)多種資源的優(yōu)化整合：
一，促進電力各部門數(shù)據(jù)的優(yōu)化整合與共享，提升企業(yè)各種資源的整體利用率；二，加快電力數(shù)據(jù)資源開放力度，擴大資源利用面；三，進行大數(shù)據(jù)基礎(chǔ)設(shè)施的統(tǒng)籌規(guī)劃，提升數(shù)據(jù)資源利用的合理性；四，構(gòu)建科學的宏觀調(diào)控數(shù)據(jù)體系，進一步實現(xiàn)電力運營監(jiān)控的宏觀調(diào)控。
1.2充分發(fā)揮大數(shù)據(jù)平臺業(yè)務(wù)優(yōu)勢，進行管理短板定位
綜合考量電力運營業(yè)務(wù)流程績效指標，對業(yè)務(wù)流程整體執(zhí)行效率進行綜合評價；進行執(zhí)行效率較低業(yè)務(wù)流程環(huán)節(jié)的準確定位，全面分析業(yè)務(wù)流程設(shè)計的科學性與合理性，并提出綜合性流程改進建議；我們應(yīng)當在整體業(yè)務(wù)流程績效指標和詳細數(shù)據(jù)的基礎(chǔ)上，作出有關(guān)于業(yè)務(wù)流程制度、崗位績效、職責及標準的整體改進意見和建議；提升各部門、不同業(yè)務(wù)之間的協(xié)同性，進行管理短板的準確定位。
1.3加強數(shù)據(jù)資源安全保障
數(shù)據(jù)資源的有效利用離不開數(shù)據(jù)體系的健全和完善，它是加強大數(shù)據(jù)環(huán)境網(wǎng)絡(luò)技術(shù)研究和安全的關(guān)鍵，只有構(gòu)建大數(shù)據(jù)時代下的電力運營監(jiān)測安全評估體系，才能夠使企業(yè)在大數(shù)據(jù)安全基礎(chǔ)上，提升電力運營監(jiān)測和預(yù)警工作質(zhì)量，提升電力企業(yè)服務(wù)水平。
2做好大數(shù)據(jù)時代電力運營監(jiān)測系統(tǒng)數(shù)據(jù)處理
2.1監(jiān)測數(shù)據(jù)類型
電力運營監(jiān)測數(shù)據(jù)類型主要分為基礎(chǔ)型數(shù)據(jù)、電力企業(yè)運營數(shù)據(jù)以及電力企業(yè)管理數(shù)據(jù)幾種，基礎(chǔ)型數(shù)據(jù)是以電力企業(yè)生產(chǎn)數(shù)據(jù)為主，它包含了電壓穩(wěn)定性、發(fā)電量、電能質(zhì)量等，業(yè)務(wù)部門和業(yè)務(wù)系統(tǒng)要確保基礎(chǔ)數(shù)據(jù)的完整性和準確性；電力企業(yè)運營數(shù)據(jù)指的是電力企業(yè)在生產(chǎn)過程中所產(chǎn)生的數(shù)據(jù)，通過對上述數(shù)據(jù)進行分析、處理，它能夠為公司整體運營決策指明方向。電力企業(yè)管理數(shù)據(jù)僅限于特定環(huán)境下的共享和使用，它主要指協(xié)同辦公、ERP及一體化平臺等方面數(shù)據(jù)，做好該方面數(shù)據(jù)分析、處理有利于推進各部門工作的開展。
2.2監(jiān)測移動數(shù)據(jù)處理
針對運營監(jiān)測信息支撐系統(tǒng)來講，異動產(chǎn)生、處理、統(tǒng)計是異動管理的主要內(nèi)容，異動類型又可分為數(shù)據(jù)質(zhì)量異動、接口異動和數(shù)據(jù)質(zhì)量異動三種，業(yè)務(wù)異動就是通過業(yè)務(wù)數(shù)據(jù)分析出生產(chǎn)運營情況，業(yè)務(wù)異動又可詳細劃分為指標異動、流程異動和明細數(shù)據(jù)異動；而數(shù)據(jù)質(zhì)量異動就是要分析出接入數(shù)據(jù)的準確性、完整性和及時性，并作出相關(guān)異動數(shù)據(jù)信息分析、處理。接口異動就是因接口問題產(chǎn)生的異動情況。
3.大數(shù)據(jù)時代下電力運營監(jiān)控數(shù)據(jù)應(yīng)用
3.1電力生產(chǎn)環(huán)節(jié)中大數(shù)據(jù)的具體應(yīng)用
由于電力系統(tǒng)管理項目眾多，想要單純依靠人力來完成數(shù)據(jù)的分析和整體難度極大，只有充分利用現(xiàn)代化信息技術(shù)手段和多種業(yè)務(wù)模型才能夠不斷提升輸電線路可靠性和在線計算輸送功率，更好的完成電力生產(chǎn)相關(guān)技術(shù)指標，促進電壓質(zhì)量管理工作的發(fā)展。常態(tài)化低電壓監(jiān)測有利于實現(xiàn)用戶和低電壓電臺之間的協(xié)同合作，實現(xiàn)對低電壓運行情況的跟蹤治理。因此，電力系統(tǒng)相關(guān)部門應(yīng)在大數(shù)據(jù)環(huán)境下，按期做好停復(fù)電監(jiān)測和電壓質(zhì)量分析報告。
3.2大數(shù)據(jù)在電力系統(tǒng)營銷中的具體應(yīng)用
遠程視頻技術(shù)應(yīng)用能夠幫助電力運營工作人員進行相關(guān)業(yè)務(wù)的巡查，是運營監(jiān)測中心針對高壓電力作業(yè)實施的重要舉措。通過遠程視頻技術(shù)的幫助能夠極大的縮短營業(yè)窗口情況的巡視，進一步提升電力營業(yè)窗口整體服務(wù)質(zhì)量，降低用戶投訴率，提升電力用戶的滿意度。積極開展工業(yè)電量預(yù)測，更好的滿足用電需求管理，促進用電系統(tǒng)稽查監(jiān)控業(yè)務(wù)，更好的挖掘線損治理工作成效挖掘及典型案例提煉。
3.3大數(shù)據(jù)在電力檢修中的具體應(yīng)用
電力系統(tǒng)運營中心通過大數(shù)據(jù)運營監(jiān)控平臺的利用，充分實現(xiàn)了對電網(wǎng)設(shè)備運維、資產(chǎn)壽命周期以及資金收支等情況，并將其上報于上級在線監(jiān)測分析系統(tǒng)中，保證電網(wǎng)系統(tǒng)的正常穩(wěn)定運行，進一步完成電網(wǎng)設(shè)備運維績效分析。我們應(yīng)當綜合利用大數(shù)據(jù)時代數(shù)據(jù)挖掘手段，做好電網(wǎng)生產(chǎn)運營過程中的操作票、工作票及缺陷記錄等相關(guān)明細的分析和靜態(tài)數(shù)據(jù)流程匹配工作，做好配電網(wǎng)絡(luò)設(shè)備的日常巡視、檢修處理等工作，促進各部門之間的協(xié)同，提升電網(wǎng)運維管理工作發(fā)展，盡早發(fā)現(xiàn)電網(wǎng)運營過程中存在的不足，全面掌握巡視、檢修、缺陷發(fā)現(xiàn)等流程績效分析，做好各環(huán)節(jié)定量診斷調(diào)度和檢修，進一步實現(xiàn)電網(wǎng)系統(tǒng)的縱向貫通和橫向協(xié)同，不斷提升我國電網(wǎng)運維管理水平。據(jù)相關(guān)數(shù)據(jù)統(tǒng)計，我國大數(shù)據(jù)時代下電力運營監(jiān)控線路消缺原因、消缺時長如下圖1所示：
4結(jié)束語
經(jīng)上述分析，我們可以了解到數(shù)據(jù)信息維護、處理對于電力自動化系統(tǒng)運用意義重大，只有充分利用大數(shù)據(jù)時代所帶來的數(shù)據(jù)分析、處理、應(yīng)用方面的優(yōu)勢，做好不同數(shù)據(jù)類型的準備工作，進行電力自動化系統(tǒng)數(shù)據(jù)準確性、快速性整合，采用科學合理的策略指導(dǎo)，促進大數(shù)據(jù)時代電力系統(tǒng)數(shù)據(jù)的長期可持續(xù)發(fā)展。
參考文獻
[1]崔希廣；高速公路電力自動化系統(tǒng)信息平臺的研究與應(yīng)用[J]；科協(xié)論壇（下半月）；2012年10期
大數(shù)據(jù)技術(shù)范文第5篇
關(guān)鍵詞：大數(shù)據(jù)；云計算；智能電網(wǎng)；數(shù)據(jù)集成；數(shù)據(jù)分析；數(shù)據(jù)處理；數(shù)據(jù)展現(xiàn)
一、智能電網(wǎng)、云計算和大數(shù)據(jù)的關(guān)系
（一）智能電網(wǎng)與大數(shù)據(jù)的關(guān)系
智能電網(wǎng)的理念是通過獲取用戶如何用電、怎樣用電的信息，來優(yōu)化電的生產(chǎn)、分配及消耗，利用現(xiàn)代網(wǎng)絡(luò)、通信和信息技術(shù)進行信息海量交互，來實現(xiàn)電網(wǎng)設(shè)備間信息交換，并自動完成信息采集、測量、控制、保護、計量和監(jiān)測等基本功能，可根據(jù)需要支持電網(wǎng)實時自動化控制、智能調(diào)節(jié)、在線分析決策和協(xié)同互動等高級功能。可以抽象的認為，智能電網(wǎng)就是大數(shù)據(jù)這個概念在電力行業(yè)中的應(yīng)用。
（二）大數(shù)據(jù)與云計算的關(guān)系
云計算是一種利用互聯(lián)網(wǎng)實現(xiàn)隨時、隨地、按需、便捷地訪問共享資源池（如計算設(shè)施、應(yīng)用程序、存儲設(shè)備等）的計算模式。大數(shù)據(jù)根植于云計算，云計算的數(shù)據(jù)存儲、管理與分析方面的技術(shù)是大數(shù)據(jù)技術(shù)的基礎(chǔ)，云計算使大數(shù)據(jù)應(yīng)用成為可能，但是沒有大數(shù)據(jù)的信息沉淀，云計算的功能將得不到完全發(fā)揮，所以大數(shù)據(jù)與云計算是相輔相成的。
（三）智能電網(wǎng)、云計算、大數(shù)據(jù)的相互關(guān)系
云計算能夠整合智能電網(wǎng)系統(tǒng)內(nèi)部計算處理和存儲資源，提高電網(wǎng)處理和交互能力，成為電網(wǎng)強有力的技術(shù)組成；大數(shù)據(jù)技術(shù)立足于業(yè)務(wù)服務(wù)需求，根植于云計算，以云計算技術(shù)為基礎(chǔ)；所以三者是彼此交互的關(guān)系。
二、電力大數(shù)據(jù)關(guān)鍵技術(shù)
（一）電力大數(shù)據(jù)的集成管理技術(shù)
電力企業(yè)集成管理技術(shù)是為解決電力企業(yè)內(nèi)部各系統(tǒng)間的數(shù)據(jù)冗余和信息孤島而產(chǎn)生的。電力大數(shù)據(jù)的數(shù)據(jù)集成管理技術(shù)，包含關(guān)系型和非關(guān)系型數(shù)據(jù)庫技術(shù)、數(shù)據(jù)融合和集成技術(shù)、數(shù)據(jù)抽取技術(shù)、過濾技術(shù)和數(shù)據(jù)清洗等。大數(shù)據(jù)的一個重要特點就是多樣性，這就意味著數(shù)據(jù)來源極其廣泛，數(shù)據(jù)類型極為繁雜，這種復(fù)雜的數(shù)據(jù)環(huán)境給大數(shù)據(jù)的處理帶來極大的挑戰(zhàn)，要想處理大數(shù)據(jù)，首先必須對數(shù)據(jù)源的數(shù)據(jù)進行抽取和集成，從中提取出實體和關(guān)系，經(jīng)過關(guān)聯(lián)和聚合之后采用統(tǒng)一的結(jié)構(gòu)來存儲這些數(shù)據(jù)，在數(shù)據(jù)集成和提取時需要對數(shù)據(jù)進行清洗，保證數(shù)據(jù)質(zhì)量及可靠性。大數(shù)據(jù)存儲管理中一個重要的技術(shù)是NoSQL數(shù)據(jù)庫技術(shù)，它采用分布式數(shù)據(jù)存儲方式，去掉了關(guān)系型數(shù)據(jù)庫的關(guān)系型特性，數(shù)據(jù)存儲被簡化且更加靈活，具有良好的可擴展性，解決了海量數(shù)據(jù)的存儲難題。
（二）電力大數(shù)據(jù)的數(shù)據(jù)分析技術(shù)
大數(shù)據(jù)技術(shù)的根本驅(qū)動力是將信號轉(zhuǎn)化為數(shù)據(jù)，將數(shù)據(jù)分析為信息，將信息提煉為知識，以知識促成決策和行動。借助電力大數(shù)據(jù)的分析技術(shù)可以從電力系統(tǒng)的海量數(shù)據(jù)中找出潛在的模態(tài)與規(guī)律，為決策人員提供決策支持。
（三）電力大數(shù)據(jù)的數(shù)據(jù)處理技術(shù)
電力大數(shù)據(jù)的數(shù)據(jù)處理技術(shù)包括分布式計算技術(shù)，內(nèi)存計算技術(shù)，流處理技術(shù)等。分布式計算技術(shù)解決大規(guī)模數(shù)據(jù)的分布式存儲與處理，適用于電力系統(tǒng)信息采集領(lǐng)域的大規(guī)模分散數(shù)據(jù)源。內(nèi)存計算技術(shù)解決數(shù)據(jù)的高效讀取和處理在線的實時計算，解決大數(shù)據(jù)實時分析和知識挖掘的難題。流處理技術(shù)處理實時到達的、速度和規(guī)模不受控制的數(shù)據(jù)，應(yīng)用于電力系統(tǒng)為決策者提供即時依據(jù)，滿足實時在線分析需求。
（四）電力大數(shù)據(jù)的數(shù)據(jù)展現(xiàn)技術(shù)
電力大數(shù)據(jù)的數(shù)據(jù)展現(xiàn)技術(shù)包括可視化技術(shù)、空間信息流展示技術(shù)、歷史流展示技術(shù)等。可視化技術(shù)廣泛應(yīng)用于電網(wǎng)狀態(tài)的實時監(jiān)控，顯著提高了電力系統(tǒng)的自動化水平。空間信息流展示技術(shù)主要體現(xiàn)在電網(wǎng)參數(shù)與已有地理信息系統(tǒng)的結(jié)合上，有利于電網(wǎng)管理人員直觀地了解設(shè)備情況，從而為其決策提供最新的地理信息。歷史流展示技術(shù)體現(xiàn)在對電網(wǎng)歷史數(shù)據(jù)的管理與展示上，可以繪制出數(shù)據(jù)的發(fā)展趨勢并預(yù)測出未來的數(shù)據(jù)走勢，可以模擬歷史重大事件發(fā)生、演變，挖掘歷史事件潛在的知識與規(guī)律。
三、大數(shù)據(jù)在智能電網(wǎng)中的應(yīng)用
電力大數(shù)據(jù)的應(yīng)用場合涵蓋發(fā)、輸、變、配、用、調(diào)等電力行業(yè)的各個環(huán)節(jié)，在電場選址、降低網(wǎng)損、光伏并網(wǎng)、電網(wǎng)安全監(jiān)測、大災(zāi)難預(yù)警、電力企業(yè)精細化運營、電力設(shè)備狀態(tài)監(jiān)測等領(lǐng)域有非常強的可實現(xiàn)性。隨著智能電網(wǎng)建設(shè)的進一步推進，大數(shù)據(jù)技術(shù)在智能電網(wǎng)中將發(fā)揮越來越大的作用。
四、結(jié)論與展望
本文探討了大數(shù)據(jù)、云計算、智能電網(wǎng)三者之間的相互關(guān)系，闡述了電力大數(shù)據(jù)平臺中四個核心的關(guān)鍵技術(shù)，即集成管理技術(shù)、分析技術(shù)、處理技術(shù)、展現(xiàn)技術(shù)。文章最后的典型應(yīng)用，對電力企業(yè)開展相關(guān)研究具有參考價值。大數(shù)據(jù)技術(shù)在商業(yè)領(lǐng)域已經(jīng)獲得較為廣泛的應(yīng)用并創(chuàng)造出巨大的商業(yè)價值，但是在電力系統(tǒng)中的應(yīng)用才剛剛起步，因此結(jié)合大數(shù)據(jù)的技術(shù)優(yōu)勢和電力系統(tǒng)的應(yīng)用需求，發(fā)揮電力大數(shù)據(jù)的價值，將為智能電網(wǎng)的建設(shè)帶來新的發(fā)展契機。電力企業(yè)應(yīng)該牢牢抓住這個契機，從數(shù)據(jù)政策、人才培養(yǎng)、關(guān)鍵技術(shù)研發(fā)等層面，全面促成電力大數(shù)據(jù)技術(shù)的發(fā)展。
參考文獻：
[1]孫柏林.“大數(shù)據(jù)”技術(shù)及其在電力行業(yè)中的應(yīng)用[J].電氣時代，2013（8）：18-23.
[2]羅軍舟，金嘉暉，宋愛波，等.云計算：體系架構(gòu)與關(guān)鍵技術(shù)[J].通信學報，2011，32（7）：3-21.
[3]姚宏宇.大數(shù)據(jù)與云計算[J].信息技術(shù)與標準化，2013（5）：21-22.
[4]饒威，丁堅勇，路慶凱.智能電網(wǎng)云計算平臺構(gòu)建[J].華東電力，2011，39（9）：1493-1496.
