前言:想要寫出一篇令人眼前一亮的文章嗎?我們特意為您整理了5篇云計算技術研究重點范文,相信會為您的寫作帶來幫助,發現更多的寫作思路和靈感。
一、云計算技術分析
“云計算”這種計算方式從其誕生起就被視為高端技術。云計算是一種基于計算機、網絡、通信等技術基礎上的利用互聯網開展計算的方式。利用云計算,通過互聯網聯接的各種硬件設備可以進一步獲得相應的數據和信息。所謂的“云”就是一種多的意思,是對網絡的一種形象講法。隨著網絡技術不斷突飛猛進,云計算技術也進入了發展的快車道,越來越被社會和人們所認識。云計算方式主要利用分布計算和虛擬化的手段,組建一種信息和數據優化配置的管理控制層,將很多的相對比較分散的信息網絡資源進一步聚集,形成一種大的信息源數據庫,這個數據庫相對是隨時隨地變化的。
二、現代電子商務分析
近些年,隨著信息技術的不斷發展,網絡技術的普遍應用,電子商務作為新行的交易手段,當下正在迅速發展壯大。無論是B2B,B2C,C2C,O2O……等,如今正在廣泛的被人們所接受。電子商務的市場份額正在不斷擴大,對于部分年輕人來說,電子商務平臺的消費已經成為生活的主要內容。人們對電子商務的依賴程度越來越大。尤其是近些年隨著“互聯網+”概念的提出,O2O成為迅速發展壯大的商務模式。O2O是指線上線下聯合交易(Online To Offline),使線上線下融為一體,在未來,傳統的商務模式很有可能被這種O2O模式所取代。電子商務未來的發展空間不可限量。
三、云計算技術在現代電子商務中應用的必然性分析
用戶對現代電子商務的需求越來越復雜與人性化,用戶不要看到固定的信息或服務,而是希望信息是以用戶為主導的、貼近用戶需求的,可擴展的、可挖掘的、可定制的,甚至用戶可以看到驚喜的。而云計算的優勢就在于其對于海量資源的統一管理,快速響應,最終滿足為用戶統一提供多種服務與信息的需求。云計算技術在現代電子商務中應用的是云計算技術發展的必須結果,同時也是現代電子商務技術發展壯大的必然性需求。
電子商務通常要以超低的折扣豐富的產品吸引網民的追捧。從電子商務的流量看有較強的突發性,如果沒有作出充足的技術準備,服務器在面對眾多網民同時登陸的時候會出現堵塞甚至崩潰現象。云計算可以解決同時處理海量數據的問題,如果不用云,那么企業自身必須具備充足的計算能力、存儲能力來應對。
電子商務企業大多為中小型企業,云計算富有彈性的服務和收費模式大受歡迎。中小企業可根據自身業務需要的變化而對IT資源進行彈性地擴展,最大程度上避免資源的冗余和浪費。
其次,全國各地區紛紛建立云計算平臺服務電子商務企業。
基于云計算原理設計的網購平臺,可以匯集各個領域的網絡產品和應用服務。用戶的信息處理、網絡購物、資訊、游戲等網絡需求可以一站集成。因此云計算不僅可以解決數據處理問題,還可以帶來一體化的服務,這大大吸引了各電子商務企業的關注。電子商務大亨率先插足云計算,另外各地區也紛紛推出地方性云服務平臺,來為電子商務企業提供服務。
軟件企業紛紛推出全程電子商務,并且在各地方建立服務平臺,這也大大推動了電子商務企業在云端的應用。
四、云計算技術為現代電子商務帶來的創新應用
1.服務整合,節約成本
現代電子商務平臺,通過計算機、手機、網絡以及軟件的聯合應用,使得多種服務統一整合到電子商務平臺當中。無論是進貨、出貨、還是經營中的成本都可以通過電子商務平臺進行操作,通過服務的整合,節約了商家的服務成本。云計算技術可以將大量的服務器運用到企業的電子商務中,可以實現自我管理和維護資源。云計算技術的計算能力非常強,它可以在一定程度上補充或替代內部的處理資源,從而使企業不再為峰值而擔憂。所以,企業電子商務在應用云計算技術后不僅可以節約本身資源還能大大減少成本。
2.高性能、低投入
對于傳統的電子商務來說,企業在購買支持電子商務的硬件產品、軟件產品過程當中,需要投入大量資金,以及人力資源。而在云計算技術應用環境下。硬件上的比如大容量存儲設備、計算設備等,都由云計算提供商進行提供,用于云計算的軟件也不需要由電子商務企業來購買,只需要付少量使用費用就可以。這樣無疑是降低了企業投入。而云計算技術所帶來的高性能,較傳統的電子商務模式來說,由于其先進的計算方式,大量資源的整合,使其可以實現高性能運轉,為電子商務平臺帶來整體的高性能服務。
3.定制信息,個
對于用戶而言,定制式信息推送等是更加人性化的商業服務。而在“云計算”環境下,系統可以識別用戶的信息需求、服務需求,通過云計算迅速為用戶提供其所需要的服務與信息,這種個性服力就像量身定制一樣,即滿足客戶的需求。同時,也為商家擴展銷售提供了機會。
4.協作方便,管理便捷
這里所指的協作與管理是對電子商務企業而言。傳統的企業與企業之間的協作,由于受到時間、地域等限制,在協作完成一項任務時,往往需要雙方不停地溝通數據變化等。而在云計算技術下,企業與企業之間或者企業內部之間的協作變得簡單輕松。由于數據的云端平臺存儲,使得企業在進行項目管理時可以依賴云端數據平臺,這樣,雙方不需要交換數據,每一文檔、數據的改變都會在云端平臺變化,并且自動提示相關人員進行閱讀,這樣可以輕松實現企業之間的高效協作。
五、云計算技術在現代電子商務中應用的安全策略
信息時代,數據安全一直是倍受關注的內容,凡是與網絡信息相關的數據都面臨著安全隱患。因此,合理設計安全策略也是云計算技術正在不斷完善的技術難題。為了防止信息泄露、篡改、銷毀等。
當前,“專有云”技術發展迅速,是保障電子商務應用安全的重要手段之一。所謂的專有云就是屬于電子商務企業所有的專有存儲空間與數據。不同企業的專有云只能由相應的企業內部進行訪問,其它企業不能訪問。因此,電子商務企業可以將數據放置在專有云當中,這樣即可以享受到云計算為電子商務企業帶來的方便與快捷,同時又可以使自己的數據與信息受到保護。另外,云計算機技術還提供鏡像備份服務。為了防止云端數據丟失,企業還可以定期將重要數據通過鏡像備份服務備份至企業自身的存儲設備當中。這樣,一旦云端數據發生損壞與丟失,電子商務企業還可以將企業存儲設備中的備份文件恢復到云端繼續使用。
關鍵詞:云計算技術;分布存儲技術;數據處理
DOIDOI:10.11907/rjdk.161889
中圖分類號:TP319
文獻標識碼:A 文章編號文章編號:16727800(2016)011016104
0 引言
當前,計算機技術、信息技術和通訊技術的發展成為全球社會、經濟、科技發展的重要推動力,它們已經融入到了人們生產生活的各個環節。隨著對其應用程度的逐漸深入,各領域需要存儲和處理的數據規模愈來愈大,這給相關技術的可持續發展帶來了巨大挑戰。云計算技術是計算機、存儲和通訊技術發展到一定階段后自然而然形成的一種新的計算模型,其在數據的儲存和處理上與個人PC機有非常大的區別。它通過現代“互聯網+機器設備”構建了一個龐大的數據中心庫,并以此為基礎向各領域提供數據存儲、處理、分析以及計算服務。整個云計算系統的中心是數據中心,而對數據進行管理、存儲以及組織的分布存儲技術又是數據中心的關鍵。可以說,分布存儲技術水平直接決定了云計算的整體水平。然而,目前分布存儲技術難擴展、高成本、低容錯的特性極大地限制了云計算技術的應用與發展。因此,分布存儲技術的研究成為當前云計算技術研究的重點和熱點。
1 分布存儲技術產生背景
隨著計算機應用的逐漸深入,海量數據隨之產生,單一的PC機或者服務器已難以滿足人們對數據處理的需求。因此,解決當前更大規模數據存儲與數據計算的云計算技術應時而生[1]。
云計算環境下的分布存儲技術指用戶為了實現自己存儲數據的目標,通過購買或租賃等手段,獲得互聯網空間,進而滿足自己對數據的存儲和計算需求。在云計算環境下,數據中心會對儲存在其內部節點上的數據進行有序編排,通過專用的端口將用戶需要的數據傳輸給用戶,同時用戶也能通過該端口將需要存儲和處理的數據傳輸到自己購買的互聯網空間中。通俗來講,云計算就是以互聯網為基礎,能夠使人們分享基礎資源的計算模型。
2 云計算環境下的分布存儲技術分析
2.1 容錯性技術分析
傳統情況下,采取RAID來提升存儲技術的容錯性,但這樣的技術提升手段要求使用高性能的服務器,同時使用更加專業的存儲設備。因此,這種提升存儲容錯性的手段會使成本大幅度提升,極大降低了企業的經濟效益。但是,采用這種技術提升數據存儲的容錯性時,時常發生存儲失誤或錯誤的情況,給企業和用戶造成了巨大損失,嚴重阻礙了云計算技術的進一步發展和應用。
2.2 可擴展性分析
提高存儲可擴展性的最常用手段是預留冗余磁盤空間,這種提升手段適用于常規的存儲技術。然而,目前云計算環境下所需儲存和處理的數據達到了EB級別,在這種情況下,采取傳統預留冗余磁盤空間的手段已經無法適應當前需要。
2.3 成本控制分析
在傳統的數據存儲過程中,小規模的數據交換不會產生很高的熱量,不需要對數據存儲設備進行降溫,也不需要考慮節能問題。因此,傳統的成本控制方式無法為云計算環境下的成本控制提供有效借鑒。在云計算環境下,由于涉及海量EB級別的數據存儲、交換、計算,因而必須大規模增加存儲空間和數據存儲節點,也就必然會增加生產成本。另外,大量數據的傳輸和運算必然會使設備的散熱量大大增加,在設備制造時必須要考慮散熱問題,這在無形中也增加了實際運營成本[2]。
3 云計算環境下的分布存儲技術構造
云計算環境下的數據中心主要由兩方面的部件構成:軟件與硬件。其中軟件主要提供數據中心傳輸數據、計算等服務;硬件主要提供其存在環境所需要的支撐。通常情況下將其分成3種構造類型。
3.1 交換機構造
交換機結構在云計算技術出現之前就已是一種常用的分布存儲技術手段,它不僅被用作數據中心,還是連接數據與用戶的紐帶。通常情況下,以交換機為中心的構造會形成一種樹形結構,如圖1所示,它由聚合層、核心層以及邊緣層構成。邊緣層通常由服務器和交換機構成,在數據存儲時為了保證均衡的帶寬環境,邊緣層一定要和聚合層產生連接;在數據訪問和傳輸時,聚合層也必須和核心層產生連接。該結構具備如下3個優點:①非常易于操作;②連接簡單;③很容易實現擴展。同時其也存在一些不足:①靈活性差、資源利用率低;②帶寬不足;③受聚合層結構影響較大;④發生故障后會浪費很多資源[3]。
3.2 服務器構造
將服務器結構作為數據中心時,為了實現不同服務器之間的連接,需要設置一些網卡。這種結構不必連接路由器和交換機,其本身就能夠實現數據的傳輸和存儲功能。由于通過網卡可以實現服務器的聯網功能,因而構建服務器結構相對而言比較容易,但是應用它作為數據中心很容易發生鏈路冗余。并且在進行數據轉發時,資源使用量較大,極易導致服務器高強度運轉,會對服務器造成不同程度的損害。簡言之,服務器作為數據中心易于構造但在運行過程中數據冗余現象嚴重。其結構如圖2所示。
3.3 混合型構造
將交換機結構和混合型結構進行適度組合就構成了混合型構造,這種結構集中了交換機與服務器的優點,它將交換機作為中心,用網卡連接服務器并傳輸數據,能夠很好地完成大型數據包的存儲和傳輸。例如,DCell混合型構造是一種分層的、遞歸型的網絡構造,上層DCell由多個下層DCell網絡構成,假如把位于第J層的DCell當成一個節點,那么位于最底層的DCell將由N個服務器共同連接一臺交換機。因此,當N=4時,該結構如圖3所示。
4 當前分布存儲技術容易產生的問題
4.1 容錯問題
存儲技術的容錯性能可運用傳統的技術手段加以提高,比如,傳統的RAID、高性能服務器、更加專業的存儲裝置都能夠有效地改善存儲技術的容錯性能。但是,隨著社會經濟的快速發展以及計算機應用的逐漸普及,需要存儲和處理的數據量快速增長,這就要求數據中心的存儲節點隨之增長。在這種情況下,技術的限制導致數據存儲和計算出現諸多問題,比如數據缺失、數據失效等。類似狀況的發生使用戶遭受了巨大損失,同時也嚴重限制了云計算技術的發展和應用[4]。
4.2 可擴展性問題
提升可擴展性能的傳統方式是預留出足夠的冗余磁盤空間。這種方式適用于常規的儲存技術,但并不能很好地適用于云計算環境下的分布存儲技術。因為預留冗余磁盤是通過增加磁盤來實現,在當前大數據庫浪潮的沖擊下,用預留磁盤冗余的手段來解決EB級數據的擴展性問題并不科學,而且在未來,數據庫的級別可能會更高,這就要求采用新的技術來解決可擴展性問題。
4.3 成本增大問題
在云計算技術出現之前,常規的分布存儲技術只需要對小規模數據進行存儲和計算,不需要對設備的散熱與降溫加以特殊考慮,因而在傳統的存儲設備制造和應用上并沒有涉及散熱和能耗問題。然而,在云計算環境下,隨著用戶的迅速增加以及數據級別的不斷攀升,如何解決好設備存儲、傳輸問題,以及計算EB級別數據時的散熱和能耗問題,有效降低設備制造成本以賺取更多盈利已成為困擾諸多設備廠家的難題。
5 分布存儲關鍵技術分析
5.1 容錯性技術
隨著互聯網、計算機以及通訊技術的發展,云計算技術在人們生產和生活中的應用越來越廣泛,云計算環境下的分布儲存技術也備受關注。數據容錯技術的應用意味著即便云計算系統在使用期間由于未知原因產生了錯誤,其依然可以不間斷地、正常地向用戶提供數據存儲、計算、傳輸服務。該技術的發現和使用可以有效提高系統的可靠性能,同時在一定程度上還能夠增強系統應用性,使數據訪問率實現一定程度的增長。通常情況下,數據容錯是利用添加數據冗余來實現,即在向用戶傳輸數據時即便有一些數據失效,但依然可以從冗余數據中召回所需數據,以滿足客戶需求。冗余數據在實際工作中的確能夠提升系統的容錯性,但同時也加大了存儲資源的占用。因此,良好的數據容錯技術不但要保證系統擁有良好的容錯性,而且也要最大限度地降低對存儲資源的占用,以控制成本、提升效益。
數據容錯技術可以分為復制型與糾、刪碼型的容錯技術。復制型數據容錯技術能夠實現簡單應用,但由于建立副本的需要,會占用非常多的存儲資源;糾、刪碼型數據容錯技術雖然占用空間較少,但在數據存儲和輸出過程中需要重復編碼及解碼,對設備的計算性能要求很高。在數據缺失時,復制型容錯技術只需將其它副本中的數據復制下載修復就可;糾、刪碼型容錯技術修復數據時需要查找更大的數據量,難度和成本都相應較高。
(1)復制型數據容錯技術。復制型容錯技術的原理是將個體數據實現多模塊化,將多個模塊放置到不同的節點中,運用這種方法可以有效避免數據丟失、失效對用戶造成的損失,因為某一個模塊缺失時依然能夠利用其它節點中的相同數據。當前,對該技術的研究主要有2個方向:①復制策略;②組織結構。
(2)糾、刪碼型數據容錯技術。糾、刪碼型數據容錯技術的原理是將存儲數據實現編碼化,產生新的占用空間更小的編碼數據,運用這種方法不但可以進行數據的復制存儲,而且可以有效減小存儲占用空間。
上述兩種數據容錯技術各有優缺點,其對比結果如表1所示。
5.2 節能技術
據相關統計機構調查結果可知,云計算環境下數據存儲系統的能耗可達到系統總能耗的44%。因此,對云計算技術節能的研究重點是對存儲系統節能的研究。對存儲技術節能技術的研究可以實現成本的有效控制,降低生產成本,提升企業利潤,同時節能技術的研究與應用還能夠有效地保護環境。數據存儲技術是云計算技術的基礎,降低數據存儲的能耗能夠有力地促進云計算技術的發展和應用,對社會發展也具有一定的積極意義。
5.2.1 節能技術能耗模型
云計算環境下的分布存儲通常會運用到數據中心,如果想有效降低數據存儲、傳輸、計算過程的能量消耗,最簡單有效的手段是減少每一個儲存節點對能量的消耗。只是在通常情況下,能量消耗的減少也同時意味著設備性能的降低。可通過單一的計算機能耗模型來對其性能與能耗之間的關聯性進行研究,此模型主要分為比例模型和兩段模型[5]。
在比例模型中,能量的消耗和計算機硬件的使用程度是正比關系,在硬件沒有負載時基本不會有能量消耗,因而該模型無法精準地計算出系統能量的消耗情況。在實際情況中,計算機只要開機就會有能量消耗。動態頻率、電壓調整以及固態硬盤技術的運用,使計算機工作時其硬盤可以根據負載調整轉速,使得性能與能量消耗步調一致,在保證性能的前提下有效減少能量消耗。
在兩端模型中,計算機整體能耗分為固定能耗和可變能耗。固定能耗主要為硬件設備運轉時的能量消耗,可變能耗由磁盤運轉速度決定。雖然上述兩種模型都認為設備高負載運轉時能量的消耗最高,但兩種模型對于空載時的能量消耗認識不同。兩端模型認為空載時的能量消耗是無法被忽略的,所以兩者相比,兩端模型可以更精準地計算出其能量消耗情況。DVFS技術以及VOVO技術的運用,使得通過關閉沒有任務的組件或數據節點的方法來減少能量消耗成為可能,可有效降低整個系統的能量消耗。
5.2.2 節能技術分類
目前,在減少分布存儲能耗方面出現了很多有用成果,可將最新成果分成兩類:軟件節能技術、硬件節能技術。
(1)軟件節能技術。這種技術是利用相關軟件合理調控和分配存儲資源來降低能耗,其特點是在降低系統能量消耗的同時不會導致性能的改變。軟件直接調控管理數據節點通過對其應用情況進行分析與調控,合理地關閉節點,降低其能量消耗
(2)硬件節能技術。這種技術是減少分布存儲硬件構成組件的能量消耗來實現整體的降耗節能,從硬件的構成層次可以將其分為兩個方面:數據中心技術、計算機整體技術。
5.3 可擴展性能技術
隨著數據存儲量上升到EB級別,對云計算環境下分布存儲技術的數據存儲、傳輸、計算能力都有著更高要求。在其發展過程中,必須要對硬件設備的可擴展性能加以提升和完善,以更好地促進云計算技術的發展和應用。
6 結語
云計算是適應新時展要求的新型計算模式,目前已廣泛運用于人們的生活和工作領域。云計算技術的應用受到數據分布存儲技術容錯性、成本、擴展性能等方面的限制,研究數據分布存儲的容錯性技術、節能降耗技術、可擴展性能力有助于提升云計算的整體發展水平,使云計算技術更好地服務于人類[6]。本文結合云計算技術的實際應用情況,分析了其中存在的問題,對提升分布存儲技術的一些關鍵成果進行了介紹,這些成果的應用可有效提升云計算環境下分布儲存技術的性能,從而增強其對數據的存儲和處理能力,促進云計算技術的廣泛應用。
參考文獻:
[1] 史海疆.數據中心節能降耗技術探討――訪中國科學院計算機技術研究所研究員張廣明[J].電氣應用,2014(2):4546.
[2] 王聰,王翠榮,王興偉,等.面向云計算的數據中心網絡體系結構設計[J].計算機研究與發展,2012(2):2628.
[3] 宋杰,李甜甜,閆振興,等.一種云計算環境下的能效模型和度量方法[J].軟件學報,2012(2):26.
[4] 譚一鳴,曾國蓀,王偉.隨機任務在云計算平臺中能耗的優化管理方法[J].軟件學報,2012(2):1013.
【關鍵詞】云計算技術 大數據 數據處理
隨著物聯網、網絡、移動通信等的快速發展,特別是互聯網的普及使得信息傳播的規模和速度呈現幾何增長,人們獲取信息的途徑和方式開始變得異常豐富,人們事實上已經進入了“信息大爆炸”時代。與此同時信息傳播的大容量、高效性和準確性也對現有的數據處理體系提出了更高要求。根據大數據摩爾定律,人類世界的數據產生量將按照每兩年一倍的速率增長,預計2020年世界數據量將超過35億GB,“大數據”時代迫在眉睫。“大數據”具有離散型、隨機性、發散性、爆發性等特點。近年來,隨著云技術的興起全面革新了傳統的數據技術,大容量、多樣化、快速處理、信息價值性和準確性為了云技術背景下大數據處理的五大主要特征。如何利用云計算技術對大數據進行高效處理已經成為了信息技術發展亟待解決的關鍵問題。
1 大數據和云計算的關系
云計算技術是指利用集中式遠程計算資源池,通過按需分配的方式,為終端用戶提供強大而廉價的計算服務技術。云計算技術作為一種數據處理方式,其技術特點包括:一是資源池在物理上是對終端用戶完全透明的;二是能夠為任何行業提供規模化計算服務,其服務能力可看做是“無限”的;三是其應用部署快速便捷,服務能力和方式是可以完全按照終端客戶要求定制的,具有極強的彈性伸縮能力;四是云端數據獲取方便,能夠資源共享,用戶使用成本低廉。
云計算技術是目前最強大的數據存儲、傳輸和處理平臺,它是大數據處理的最優選擇。云計算能夠為大數據提供幾乎“無限”的存儲空間和處理能力,滿足其超大容量存儲和超級復雜的處理需求,也是傳統存儲方式無法實現的。云計算側重數據的計算處理,而大數據需要強大數據處理能力,因而它是云計算的處理對象。此外大數據所產生的業務需求也為云計算的實現提供了更多的形式。
2 基于云計算的大數據處理技術
2.1 大數據的采集技術
目前數據采集方式主要分為集中式和分布式兩大類。其中分布式的靈活性較強,而集中式的全局性較好。實際上大數據采集的對象通常包括組織內部和相互獨立組織間的各類數據,而云計算恰好具有并行處理的優勢,因而可采取混合式采集方式能夠更加有效地完成數據采集任務。即在各個組織內部采用集中式數據采集方式,通過在組織內配置中心服務器,作為集中式數據注冊機構,用于存儲和共享內部的數據。在相互獨立組織間,采用云計算的集群技術、虛擬化技術等在各獨立組織中心服務器間采用分布式采集方式實現數據采集、組織間對接和共享。大數據結構類型包括結構化、半結構和非結構化數據,因而在應用云計算技術進行分布式采集時,可依托其超強的擴展性和容錯力,將數據池內數據進行同構化,從而實現數據進行分類存儲。
2.2 大數據的存儲技術
由于超大體量、離散、復雜的數據特點,傳統數據存儲模式已經難以滿足大數據存儲要求。一方面單結點的數據倉庫在容量上難以滿足呈幾何增長的數據量,在運行效率上也難以滿足大數據的分析處理需求。另一方面傳統數據倉庫按行存儲模式,雖然可以實現大容量索引和視圖,但實際操作中其時間和空間過高。而云計算主要采取列式存儲模式,即區分數據不同屬性,不同屬性列都單獨存放。云計算中列式存儲的優勢在于在投影數據時只需查詢其屬性列,系統處理量和處理效率顯著提升。此外按數據屬性進行列式存儲,數據倉庫中相鄰列數據的相似性更高,因而能夠得到更高的數據壓縮率,進一步減少存儲所需空間。
2.3 大數據的挖掘技術
聯機分析能夠完成數據的復雜處理,得到直觀結果,實現決策性分析。云計算并行模式下聯機分析能夠基于數據全局,建立多維分析模型對數據進行多維度分析,從而盡可能獲得全面的分析結構。由此可見多維度分析是聯機分析的重要特征,而云計算技術下數據倉庫正好是通過多維數據組織的。
聯機分析對數據的處理僅僅只是表面的,其獲取的信息價值并不高,難以得到數據深層次的含義與內在關聯。而數據挖掘正是在聯機分析的基礎上,從超大體量的數據倉庫中提取數據所蘊含的隱性信息,并將這些信息用規律、概念或是模型等表現出來。基于云計算的數據挖掘主要采用分布式并行挖掘技術。與其他串行方式相比,云計算技術下并行數據挖掘能夠利用機器集群拆分分布式系統中的并行任務,并將拆分后的各個任務分別交由不同的機器去處理,從而實現大規模數據處理,其時間成本也大大降低。
2.4 大數據的可視化技術
上文所述數據挖掘可實現大數據的深層次、多維度分析,獲取更多有用信息。而云計算平臺下可視化技術則能夠將上述信息具體化,從而使數據及其有關結構的相關信息能夠更直觀地表現出來,更容易被發覺和理解。可視化技術是指在存儲空間中,將數據庫及其中數據以圖像(圖形)的形式表示出來,并在其中再采用其他的分析手段獲取圖像中所蘊含的未知信息。而原有的數據處理僅僅只能夠從數據本身入手,分析和觀察數據中的內在信息。云計算下的可視化技術不但能夠實現非空間數據的多維度圖像顯示,而且能夠實現檢索過程的直觀圖形顯示,從而幫助人們更好地挖掘和理解信息,信息檢索效率也大大提升。
3 結語
在數據爆炸時代,云計算的出現為大數據的存儲和處理提供了可能,也為數據處理系統的功能擴展提供了重要保障。以往的數據管理將收集和存儲作為重點,而在云計算模式下,大數據管理將更多地側重數據分析、挖掘及管理模式的創新。目前數據采集和統計技術已經較為成熟,利用云計算進一步豐富大數據的存儲和處理方式,實現更高層次的數據挖掘和可視化將是今后需要解決的問題之一。
參考文獻
[1]孟小峰,慈祥.大數據管理:概念,技術與挑戰[J].計算機研究與發展,2013,50(1):146+169.
[2]吳雪琴,基于云計算的大數據信息檢索技術研究[J].電腦知識與技術,2014,10(10):38-41.
[3]迪莉婭.基于云計算的電子政務大數據管理研究[J].信息管理與信息學,2013(12):50-51.
關鍵詞:云計算;信息化;應用
眾所周知,云計算技術早已應用到了社會生活的諸多方面,為人們的生活帶來了許多便利,同時也在改變著人們的生活方式和工作方式。云計算技術作為一種新型的信息化技術,代表著未來信息化應用的發展方向。在行業信息化進程中,云計算技術已成為一種新型的技術資源和基礎設施資源,被眾多企業或組織利用,成為掌握行業主動權的重要砝碼。隨著業界對云計算技術研究的深入,云計算技術將成為各行各業轉型升級和創新發展的關鍵技術,成為整個社會發展的基礎設施和人們生活的一部分。
1 云計算技術的內涵和技術優勢
1.1 云計算技術的內涵
簡單地講,云計算其實就是一種新型的資源利用和整合的形式,通過云計算技術能夠讓信息或者資源在最短的時間內投放給需求方,完成最精確的信息傳遞[1]。在互聯網時代,信息或者資源的存量是極其巨大的,同時,每時每刻產生的新資源更是對用戶的行為產生著重要的影響。這些海量的數據或者資源可以認為是一個資源池,云計算通過不同的算法以及大數據處理技術對各項信息資源進行清洗、處理、整合,可實現用戶即時獲取有效信息的目的。
1.2 云計算的技術優勢
云計算技術作為未來信息化技術的發展方向,理應具備現有解決方案無法比擬的優勢,“云”概念的提出,涵蓋了新型計算技術的諸多方面,比如搭建云服務的基礎設施、資源分配的機制和處理算法等。云計算技術具有以下幾大優勢。
(1)極強的安全性。鑒于云計算技術的重要功能之一是數據的存儲和分配,那么云計算的安全性就成為其最重要的技術優勢。傳統的信息處理模式過度依靠于硬件存儲,與之相比,云計算技術的數據儲存以及安全性級別都是極為可靠的。在“云”的概念中,加入了容錯機制、動態計算機制、實時數據遷移等多種機制來應對數據出現異常的情況。
(2)即時虛擬化。云計算很清晰地指出了即時性,就像白云一樣一直伴隨在用戶周圍,隨時可以被喚起。正是由于這種即時性,也說明了其虛擬化程度是非常高的[2]。在現代信息化中,用戶對信息或者資源的調取是有時效性要求的,隨著移動互聯網的發展,這種趨勢還會加強。
(3)拓展性強。以前,資源的規模拓展受限于空間,但在“云”的概念里,這種情況是不存在的,這是因為云計算在底層設計的時候已經實現了動態伸縮,可以滿足未來不可預期的規模拓展。特別是對于互聯網巨頭企業而言,用戶的數據在每個發展時期都不一樣,這種變化可能是不同量級的,利用云計算就能滿足企業不同時期的需求。
2 云計算技術在不同行業的應用進展
幾乎每一項前沿技術都會對人們的生活與工作產生巨大的影響,甚至對行業的發展起到非常重要的導向作用。云計算技術也是如此,在互聯網高度發達的今天,網絡化、信息化已經成為行業發展的標配,現代信息技術驅動行業發展已成為社會信息化的明顯特征。現代信息化v求的是全行業的信息化,當然每個行業由于自身的特殊性,實現信息化的程度和進度都有所不同,但其信息化的本質是不會改變的。
2.1 企業信息化
企業作為市場經濟活動的主體,對市場動向總是保持著較高的敏感度,在傳統的信息傳播方式下,企業獲取信息的形式比較單一,甚至是較為滯后的,這很不利于企業自身的管理和業務的發展,所以對于企業而言,引入云計算來加強企業信息化是加快企業信息流動,參與市場競爭,提升企業管理水平的重要途徑。建立云計算平臺對于企業信息化的影響主要集中在業務和管理方面。在管理層面,云計算能夠把每一位職員都按不同維度進行劃分,形成數據庫,方便即時調用。在業務方面,與業務相關的各項資源以及數據都存儲在了云里,當業務管理者需要對數據進行調取和分析時,能夠隨時隨地對數據進行實時分析,提升了數據處理的效率。
2.2 教育信息化
教育信息化可以認為是發展較為迅速的一個領域。中國作為教育大國,一直以來都在向教育強國的發展方向努力,實現教育強國,不但是資金的投入,更需要的是教育資源的投入。我國地域遼闊,教育發展的不平衡與經濟發展狀況相類似,如何縮小教育水平的差距是擺在人們面前的一個重要課題。云計算技術的出現發展,為解決這一難題提供了一個思路。以往,師資力量的流通較為不便,教師授課在空間上受到了嚴格的限制。但是在互聯網環境下,教師的授課不再受空間限制,而是變成了一種具有分享性質的授課。依托于強大的云計算教育平臺,現代化教育已打破了時間、空間的限制,教師可在任何時間、任何地點開展授課,并且可通過基于云計算技術的教育平臺與學生進行實時、延時的互動與交流,實現跨越時空的無障礙、高品質教育。
2.3 農業生產信息化
云計算技術另一大應用領域就是農業生產信息化。現階段,我國農業發展穩中向好,但是隨著國家深化供給側改革的推進,農業發展中出現了新的狀況,就是農業供需的嚴重失衡。例如,本地的特色農業常年無法推向市場,導致轉化率極其低下。究其原因,市場信息不對稱是導致出現這一問題的一個重要因素,這嚴重影響了農業生產的快速發展。在不少地區,電子商務開始走進村民家中,農業信息化已經走出了重要的第一步。在云計算技術的帶動下,農村的消費需求和產品供給將會得到最大限度的釋放,同時能夠通過各種云計算平臺實現農業生產各個環節的信息化,并對不同地域的農業生產發展情況及生產需求進行分析,得出較為可靠的結論。
2.4 交通領域信息化
近年來我國的交通運輸行業有了長足的進步。全國各地都在大規模興建高鐵,改善本地區的交通狀況,高鐵的信息化程度非常高,可以為乘客提供智能化的服務。此外,隨著配套的智能交通基礎設施的完善,交通條件逐漸改善,同時由于云計算以及大數據的運用,交通違法行為得到了有效遏制。例如在一些重點管控的商圈路口,會有高清攝像抓拍系統,利用云計算平臺,能夠準確地識別各種違法行為,例如違法并線、違法停車等等,這為建立良好的交通秩序起到了重要作用。
2.5 醫療衛生服務信息化
掛號難是醫院,特別是知名公立醫院面臨的窘境。掛號渠道單一,掛號速度慢是被人們廣為詬病的問題之一。這幾年隨著互聯網技術以及云計算技術的發展,各大醫院都在大力推進醫療事業的信息化,例如微信掛號、網上預約掛號,網上問診等新型醫療衛生服務已在較多醫院得到應用,大大方便了病患,特別是病歷的電子化、網絡化,能夠讓病人在家就能查看自己的身體狀況[3],極大地提高了醫療衛生服務水平。
中圖分類號:TP393文獻標識碼:A文章編號:1009-3044(2012)16-3803-03
Data Computation and Data Storage in Cloud Computing
DONG Yu , GUAN Qun
(College of Computer Science, Sichuan University, Chengdu 610065, China)
Abstract: With the continuous growth of the network bandwidth, the conditions are more mature that access non-local computing servic? es through the network, so there is a technology what we call "cloud computing".The cloud computing is a new application model for de? centralized computing which can provide reliable, customized and maximum number of users with minimum resource.With the constantly expanding and deepening of the cloud computing applications, it asks for higher demand, therefore, many researchers also strive to improve the cloud computing performance. The article explains the basic concepts of cloud computing. and on this basis, it also introduced the technology of data computation and data storage, it has a detailed description to the multi-user isolation mechanism, and finally to predict the development of cloud computing and its future.
Key words: cloud computing; data computation; data storage; isolation mechanism
云計算[1]是I T基礎設施的交付和使用模式,它指的是通過網絡以按需、易擴展的方式獲得所需的資源(硬件、平臺、軟件)。提供資源的網絡被稱為“云”。“云”中的資源在使用者看來是可以無限擴展的,并且可以隨時獲取,按需使用,隨時擴展,按使用付費。這種特性經常被稱為像水電一樣使用I T基礎設施。近年來,云計算的研究和應用發展非常快,主要原因是云計算具有如下優點:超大規模、虛擬化、高可靠性、通用性、高可擴展性、按需服務、極其廉價、安全、方便。
[1]朱近之.智慧的云計算[M].北京:電子工業出版社,2010.
[2] Dean J,Ghemawat S.MapReduce: Simplified Data Processing on Large Clusters[J].Communications of the ACM, 2008,51(1):107-113.
[3]李遠方,賈時銀,鄧世昆,等.基于樹結構的MapReduce模型[J].計算機技術與發展,2011,21(8 ):149-152.
[4]韓燕波,王桂玲,等.互聯網計算的原理與實踐[M].北京:科學出版社,2010.
[5] Sacha K. Middleware architecture with patterns and frameworks[Z].2007.
[6]王鵬.走進云計算[M].北京:人民郵電出版社,2009.
[7]趙培,陸平,羅圣美.云計算技術及其應用[J].中興通訊技術,2010(8).