空間基礎(chǔ)信息平臺(tái)分布式數(shù)據(jù)庫設(shè)計(jì)

前言：本站為你精心整理了空間基礎(chǔ)信息平臺(tái)分布式數(shù)據(jù)庫設(shè)計(jì)范文，希望能為你的創(chuàng)作提供參考價(jià)值，我們的客服老師可以幫助你提供個(gè)性化的參考范文，歡迎咨詢。

摘要：國家級(jí)國土空間基礎(chǔ)信息平臺(tái)采用“1個(gè)主中心+N個(gè)分中心”的分布式架構(gòu)。為實(shí)現(xiàn)多數(shù)據(jù)中心數(shù)據(jù)深度融合計(jì)算，本文開展了國家級(jí)國土空間基礎(chǔ)信息平臺(tái)分布式空間數(shù)據(jù)庫建設(shè)前期研究，提出了基于HBase的分布式空間數(shù)據(jù)庫存儲(chǔ)架構(gòu)，開發(fā)了系統(tǒng)原型并進(jìn)行了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果顯示，分布式空間數(shù)據(jù)庫HBase在地域分布的情況下，可以穩(wěn)定高效地完成計(jì)算分析任務(wù)，網(wǎng)絡(luò)環(huán)境如果達(dá)到4.5Gbit/s（4.5千兆）以上，則不影響數(shù)據(jù)庫集群的查詢性能和計(jì)算集群的計(jì)算性能。該技術(shù)框架可有力支撐國家級(jí)國土空間基礎(chǔ)信息平臺(tái)的分布式建設(shè)模式。

關(guān)鍵詞：國土空間基礎(chǔ)平臺(tái)；分布式；數(shù)據(jù)庫；海量數(shù)據(jù)；HBase

0引言

國土空間基礎(chǔ)信息平臺(tái)按照“共建、共用、互聯(lián)、共享”的原則，集成整合并統(tǒng)一管理各級(jí)各類國土空間數(shù)據(jù)信息，為統(tǒng)一行使全民所有自然資源資產(chǎn)所有者職責(zé)、統(tǒng)一行使所有國土空間用途管制和生態(tài)保護(hù)修復(fù)職責(zé)，提升國土空間治理體系和治理能力現(xiàn)代化水平，提供基礎(chǔ)服務(wù)、數(shù)據(jù)服務(wù)、專題服務(wù)和業(yè)務(wù)應(yīng)用服務(wù)，是國家重要的空間基礎(chǔ)設(shè)施[1]。國家級(jí)國土空間基礎(chǔ)信息平臺(tái)采用“1個(gè)主中心+N個(gè)分中心”的分布式建設(shè)模式，如圖1所示，數(shù)據(jù)物理分散、邏輯一體，通過平臺(tái)集中展現(xiàn)、調(diào)度。當(dāng)前，主中心和部分分中心主要通過數(shù)據(jù)服務(wù)集成的方式實(shí)現(xiàn)數(shù)據(jù)集成和共享，該種方式可以滿足大多用戶的日常空間數(shù)據(jù)瀏覽、查詢、統(tǒng)計(jì)等基本需求，由于數(shù)據(jù)異構(gòu)存儲(chǔ)及數(shù)據(jù)服務(wù)方式本身的局限性，難以實(shí)現(xiàn)跨數(shù)據(jù)中心的數(shù)據(jù)深度融合計(jì)算。涉及多數(shù)據(jù)中心數(shù)據(jù)的全國國土空間規(guī)劃綱要編制前期研究、執(zhí)法督察、全國“三區(qū)三線”（指城鎮(zhèn)空間、農(nóng)業(yè)空間、生態(tài)空間三種類型空間所對(duì)應(yīng)的區(qū)域，以及分別對(duì)應(yīng)劃定的城鎮(zhèn)開發(fā)邊界、耕地和永久基本田保護(hù)紅線、生態(tài)保護(hù)紅線三條控制線）劃定成果的比對(duì)分析等復(fù)雜空間計(jì)算分析，目前，仍采用數(shù)據(jù)分中心數(shù)據(jù)庫整庫物理遷移到主數(shù)據(jù)中心統(tǒng)一集中計(jì)算分析的方式。為維護(hù)數(shù)據(jù)的現(xiàn)勢性，該方式數(shù)據(jù)庫遷移成本較高，因此，開展分布式數(shù)據(jù)庫建設(shè)十分必要，通過對(duì)各數(shù)據(jù)中心數(shù)據(jù)進(jìn)行統(tǒng)一的分布式存儲(chǔ)管理，實(shí)現(xiàn)數(shù)據(jù)可以跨數(shù)據(jù)中心進(jìn)行任何形式的高效融合計(jì)算。面向國家級(jí)海量空間數(shù)據(jù)的分布式存儲(chǔ)、管理、計(jì)算的實(shí)際應(yīng)用需求，本文提出了基于HBase分布式數(shù)據(jù)庫存儲(chǔ)架構(gòu)。

1基于HBase的分布式存儲(chǔ)和管理現(xiàn)狀

近年來，分布式海量空間數(shù)據(jù)的存儲(chǔ)和管理成為研究熱點(diǎn)[2-3]，HBase擁有高可靠性、高性能、可伸縮、實(shí)時(shí)讀寫的空間數(shù)據(jù)管理能力，成為分布式空間數(shù)據(jù)存儲(chǔ)和管理的主流技術(shù)之一。HBase既支持多種數(shù)據(jù)格式存儲(chǔ)，又具有較強(qiáng)的數(shù)據(jù)查詢、讀寫與擴(kuò)展能力，適用于需要實(shí)時(shí)讀寫、隨機(jī)訪問超大規(guī)模數(shù)據(jù)的場景[4]。已有的研究基于HBase開展了分布式空間數(shù)據(jù)的存儲(chǔ)管理、計(jì)算等[5-9]，相關(guān)的云企業(yè)和GIS企業(yè)也提出和研發(fā)了基于HBase的產(chǎn)品。華為云CloudTable提供基于HBase的分布式、可伸縮、全托管的NoSQL數(shù)據(jù)存儲(chǔ)服務(wù)，集成OpenTSDB和GeoMesa并提供時(shí)序數(shù)據(jù)庫和時(shí)空數(shù)據(jù)庫功能，提供了毫秒級(jí)的隨機(jī)讀寫能力，適用于海量結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、時(shí)序數(shù)據(jù)和時(shí)空位置數(shù)據(jù)的存儲(chǔ)和查詢應(yīng)用，已廣泛應(yīng)用于物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、金融、智慧城市、氣象等海量數(shù)據(jù)存儲(chǔ)和在線查詢的場景[10]。阿里云推出的HBaseGanos是支持空間、時(shí)空、柵格、影像一體化管理的時(shí)空大數(shù)據(jù)引擎系統(tǒng)，系統(tǒng)集成GeoMesa和GeoServer，提供海量時(shí)空數(shù)據(jù)查詢、分析、共享功能，已廣泛應(yīng)用于互聯(lián)網(wǎng)出行、實(shí)時(shí)GIS、IoT等海量時(shí)空大數(shù)據(jù)存儲(chǔ)、查詢、分析與數(shù)據(jù)挖掘[11]。SuperMap發(fā)布SDX+引擎，該引擎主要支持UDBX、HBase、PostGIS、HDFS、MongoDB、Elasticsearch等存儲(chǔ)數(shù)據(jù)庫，其中，HBase數(shù)據(jù)庫引擎支持多種數(shù)據(jù)格式和坐標(biāo)，提供海量數(shù)據(jù)高并發(fā)、高效查詢功能，具有高性能、可彈性伸縮及分布式特性，支持PB級(jí)大數(shù)據(jù)存儲(chǔ)，同時(shí)滿足千萬級(jí)QPS并發(fā)，是分布式空間數(shù)據(jù)存儲(chǔ)和管理的首選[12]。本文針對(duì)國家級(jí)國土空間基礎(chǔ)信息平臺(tái)“1個(gè)主中心+N個(gè)分中心”的分布式架構(gòu)，提出基于HBase+GeoMesa的分布式數(shù)據(jù)庫存儲(chǔ)架構(gòu)。HBase作為分布式數(shù)據(jù)庫管理系統(tǒng)，負(fù)責(zé)數(shù)據(jù)庫管理，GeoMesa作為空間數(shù)據(jù)庫引擎，實(shí)現(xiàn)空間數(shù)據(jù)解析和空間索引。本文開發(fā)了系統(tǒng)原型，實(shí)現(xiàn)了ArcSDE數(shù)據(jù)庫遷移和分布式數(shù)據(jù)庫權(quán)限管理，并對(duì)關(guān)鍵技術(shù)進(jìn)行驗(yàn)證。結(jié)果表明，利用該技術(shù)路線可實(shí)現(xiàn)跨數(shù)據(jù)中心的數(shù)據(jù)高效融合計(jì)算。

2總體設(shè)計(jì)

2.1數(shù)據(jù)庫存儲(chǔ)策略設(shè)計(jì)

2.1.1數(shù)據(jù)中心數(shù)據(jù)庫設(shè)計(jì)考慮到數(shù)據(jù)中心之間的數(shù)據(jù)共享需求，本文按照“誰生產(chǎn)、誰負(fù)責(zé)”的原則，將各個(gè)數(shù)據(jù)中心數(shù)據(jù)庫設(shè)計(jì)為聯(lián)合的數(shù)據(jù)庫集群，這有利于提升基于跨數(shù)據(jù)中心的空間大數(shù)據(jù)分析計(jì)算性能。聯(lián)合的數(shù)據(jù)庫集群設(shè)計(jì)前提是在國家級(jí)數(shù)據(jù)中心之間建立千兆甚至萬兆級(jí)光纖網(wǎng)絡(luò)，為分布式數(shù)據(jù)庫提供數(shù)據(jù)傳輸支撐。2.1.2數(shù)據(jù)存儲(chǔ)現(xiàn)勢數(shù)據(jù)是指當(dāng)前或近幾年經(jīng)常訪問的空間數(shù)據(jù)，歷史數(shù)據(jù)是指訪問頻次較低、年代久遠(yuǎn)的數(shù)據(jù)。現(xiàn)勢數(shù)據(jù)和歷史數(shù)據(jù)分開存儲(chǔ)在不同的數(shù)據(jù)庫集群中，有利于將優(yōu)勢的計(jì)算機(jī)資源（硬盤I/O、內(nèi)存和CPU）分配給訪問頻次高、性能要求高的現(xiàn)勢數(shù)據(jù)。為提供更高效的數(shù)據(jù)服務(wù)，相比歷史數(shù)據(jù)，現(xiàn)勢數(shù)據(jù)存儲(chǔ)較多的副本。2.1.3計(jì)算機(jī)資源共用空間大數(shù)據(jù)的查詢和計(jì)算等任務(wù)的性能瓶頸主要存在空間查詢方面，純粹的計(jì)算需求相對(duì)較少，但在很多場景下，仍然需要借助并行計(jì)算框架提高任務(wù)并行度。因此，本文采取數(shù)據(jù)庫集群與計(jì)算集群共用計(jì)算機(jī)資源的設(shè)計(jì)策略，這樣既可以滿足任務(wù)并行計(jì)算需求和分布式數(shù)據(jù)庫查詢需求，又不會(huì)造成CPU等計(jì)算資源爭用沖突。

2.2數(shù)據(jù)庫邏輯架構(gòu)設(shè)計(jì)

分布式數(shù)據(jù)庫邏輯架構(gòu)設(shè)計(jì)如圖2所示，包括HDFS、HBase、ZooKeeper和數(shù)據(jù)客戶端四個(gè)組成部分。HDFS負(fù)責(zé)存儲(chǔ)數(shù)據(jù)實(shí)體文件；HBase負(fù)責(zé)分布式數(shù)據(jù)庫管理；ZooKeeper作為分布式協(xié)調(diào)組件，協(xié)助HBase做分布式管理；數(shù)據(jù)客戶端通過ZooKeeper連接HBase。2.2.1HBase客戶端接口HBase客戶端接口包括NativeJavaAPI、HBaseShell、Thrift、REST、Pig、Hive等。本設(shè)計(jì)方案采用GeoMesa作為空間數(shù)據(jù)庫引擎，GeoMesa是基于NativeJavaAPI封裝的HBase客戶端，能夠?qū)崿F(xiàn)對(duì)HBase空間數(shù)據(jù)的訪問。2.2.2ZooKeeperApacheZooKeeper是HBase集群的一個(gè)關(guān)鍵組件，主要作用是保證HBase集群只有一個(gè)HMaster節(jié)點(diǎn)，存儲(chǔ)HBase數(shù)據(jù)庫模式和數(shù)據(jù)庫表的元數(shù)據(jù)，實(shí)時(shí)監(jiān)控RegionServer的上線和下線信息，并實(shí)時(shí)通知給HMaster存儲(chǔ)所有的Region尋址入口。2.2.3HBaseHBase服務(wù)端包括1個(gè)主服務(wù)器HMaster和多個(gè)Region服務(wù)器RegionServer。主服務(wù)器HMaster負(fù)責(zé)管理和維護(hù)HBase表的分區(qū)信息，維護(hù)Region服務(wù)器列表，分配Region，實(shí)現(xiàn)負(fù)載均衡。Region服務(wù)器RegionServer負(fù)責(zé)存儲(chǔ)和維護(hù)分配的Region，處理客戶端的讀寫請(qǐng)求。2.2.4HDFSHDFS包括NameNode、DataNode和SecondaryNameNode。NameNode主要用于協(xié)調(diào)集群中的數(shù)據(jù)存儲(chǔ)，管理HDFS的名稱空間和數(shù)據(jù)塊映射的信息，配置文件副本策略和處理客戶端的請(qǐng)求。DataNode用于存放具體數(shù)據(jù)塊的節(jié)點(diǎn)，主要負(fù)責(zé)數(shù)據(jù)讀寫，定期向NameNode發(fā)送心跳。SecondaryNameNode輔助NameNode收集文件系統(tǒng)運(yùn)行的狀態(tài)信息，分擔(dān)工作量。

2.3關(guān)鍵技術(shù)

2.3.1空間數(shù)據(jù)索引空間數(shù)據(jù)索引是空間數(shù)據(jù)庫性能的關(guān)鍵。空間數(shù)據(jù)索引主要包括網(wǎng)格索引、四叉樹索引、R樹索引、Z索引等模型。本文采用Z索引技術(shù)通過GeoMesa構(gòu)建空間數(shù)據(jù)庫。Z索引以一條二維或三維空間填充曲線的點(diǎn)值作為關(guān)鍵字，表達(dá)經(jīng)度、緯度和時(shí)間，并將數(shù)據(jù)記錄存儲(chǔ)在Key-Value數(shù)據(jù)庫。二維Z索引的二階曲線如3所示。對(duì)于二階曲線，16個(gè)網(wǎng)格單元的地理編碼可以用4個(gè)比特（xyxy）表達(dá)。以左上角的網(wǎng)格單元為例，x值是00，y值是11，Geohash值就是0101。在HBase數(shù)據(jù)庫中，GeoMesa空間數(shù)據(jù)的Key-Value存儲(chǔ)結(jié)構(gòu)如圖4所示。在圖4中，Z3(x，y，t)利用8個(gè)字節(jié)存儲(chǔ)空間數(shù)據(jù)索引，即Z索引；VALUE是存儲(chǔ)空間數(shù)據(jù)實(shí)體數(shù)據(jù)的部分。2.3.2負(fù)載均衡HBase通過Region數(shù)量實(shí)現(xiàn)負(fù)載均衡。HBase提供全局計(jì)劃、隨機(jī)分配計(jì)劃和批量啟動(dòng)分配計(jì)劃三種負(fù)載均衡技術(shù)。全局計(jì)劃是最常見的負(fù)載均衡，貫穿于整個(gè)集群的平衡運(yùn)行期，以特定時(shí)間間隔執(zhí)行負(fù)載均衡。隨機(jī)分配計(jì)劃適用于為新加入的RegionServer隨機(jī)分配Region。批量啟動(dòng)分配計(jì)劃應(yīng)用于集群啟動(dòng)時(shí)，決定將Region分配到哪臺(tái)機(jī)器。2.3.3讀寫分離通過以下兩種方法提高數(shù)據(jù)庫查詢響應(yīng)性能。（1）通過設(shè)置hbase.ipc.server.callqueue.read.ratio參數(shù)，為數(shù)據(jù)庫讀取設(shè)置較多的響應(yīng)線程，優(yōu)先處理讀請(qǐng)求。（2）通過合理設(shè)置Key，使得Hbase把當(dāng)前讀取和寫入的數(shù)據(jù)分配到不同的region，實(shí)現(xiàn)讀寫分離。

3系統(tǒng)部署

按照“1個(gè)主中心+N個(gè)分中心”的設(shè)計(jì)要求，數(shù)據(jù)庫物理部署設(shè)計(jì)分為1個(gè)主中心和N個(gè)國家級(jí)分中心。數(shù)據(jù)庫物理部署設(shè)計(jì)如圖5所示。主中心部署HDFS集群和HBase集群，其中集群主節(jié)點(diǎn)1部署HDFS的NameNode、HBase的HMaster、ZooKeeper集群節(jié)點(diǎn)ZooKeeper1，以及HDFS的DataNode和HBase的RegionServer。N個(gè)分中心主要部署HDFS的DataNode和HBase的RegionServer。需要強(qiáng)調(diào)的是，1個(gè)分中心需要設(shè)立主節(jié)點(diǎn)2，部署ZooKeeper2和HDFS的SecondaryNameNode。另外1個(gè)分中心需要在1個(gè)節(jié)點(diǎn)上部署ZooKeeper3（圖5已省略）。主中心和各個(gè)國家級(jí)分中心都可以通過ZooKeeper集群找到分布式數(shù)據(jù)庫地址，將各自的數(shù)據(jù)存儲(chǔ)到分布式數(shù)據(jù)庫。每個(gè)數(shù)據(jù)保留多個(gè)副本，副本可存儲(chǔ)在本中心的節(jié)點(diǎn)，也可存儲(chǔ)在其他中心的節(jié)點(diǎn)。ZooKeeper集群的3個(gè)節(jié)點(diǎn)分別部署在主中心和2個(gè)分中心的服務(wù)器，HDFS的NameNode和SecondaryNameNode也部署在主中心和1個(gè)分中心的服務(wù)器，集群存儲(chǔ)每個(gè)數(shù)據(jù)的多個(gè)副本。這樣的多項(xiàng)設(shè)計(jì)策略可最大限度地保障數(shù)據(jù)庫集群的魯棒性，在1個(gè)中心失聯(lián)或多個(gè)數(shù)據(jù)庫集群節(jié)點(diǎn)宕機(jī)的情況下，仍然能保證數(shù)據(jù)庫集群的正常運(yùn)行和服務(wù)。根據(jù)現(xiàn)勢數(shù)據(jù)和歷史數(shù)據(jù)分開存儲(chǔ)的存儲(chǔ)策略，分布式數(shù)據(jù)庫集群分為現(xiàn)勢數(shù)據(jù)數(shù)據(jù)庫集群和歷史數(shù)據(jù)數(shù)據(jù)庫集群，2個(gè)集群均采用圖5的物理部署設(shè)計(jì)。其中，歷史數(shù)據(jù)數(shù)據(jù)庫集群分配的集群節(jié)點(diǎn)較少，現(xiàn)勢數(shù)據(jù)數(shù)據(jù)庫集群分配的集群節(jié)點(diǎn)較多，歷史數(shù)據(jù)數(shù)據(jù)庫集群節(jié)點(diǎn)同時(shí)作為現(xiàn)勢數(shù)據(jù)數(shù)據(jù)庫集群節(jié)點(diǎn)，這樣可以最大限度地利用集群資源。為了避免集群互相干擾，歷史數(shù)據(jù)數(shù)據(jù)庫集群可采用Docker容器部署。

4實(shí)驗(yàn)測試

本文為驗(yàn)證基于HBase的分布式數(shù)據(jù)庫存儲(chǔ)架構(gòu)的可行性，利用不同可用區(qū)的華為云服務(wù)器建立分布式存儲(chǔ)環(huán)境，進(jìn)行矢量數(shù)據(jù)的分布式空間運(yùn)算應(yīng)用案例測試。

4.1測試環(huán)境

測試環(huán)境基于華為云搭建，由1個(gè)主節(jié)點(diǎn)、2個(gè)分節(jié)點(diǎn)組成，HBase版本為2.0。主節(jié)點(diǎn)和分節(jié)點(diǎn)均配置8核、16GB內(nèi)存、500G硬盤，網(wǎng)絡(luò)為4.5千兆網(wǎng)。

4.2測試結(jié)果分析

該測試采用永久基本農(nóng)田數(shù)據(jù)和土地利用數(shù)據(jù)，相關(guān)測試數(shù)據(jù)通過GeoMesaAPI、GeoToolsAPI實(shí)現(xiàn)從OracleArcSDE到Hbase的遷移。永久基本農(nóng)田數(shù)據(jù)和土地利用數(shù)據(jù)均為面狀數(shù)據(jù)，永久基本農(nóng)田數(shù)據(jù)約包括1200萬條記錄，土地利用數(shù)據(jù)約包括1030萬條記錄。為驗(yàn)證地域?qū)臻g運(yùn)算的影響，該實(shí)驗(yàn)分別利用華為云相同可用區(qū)和不同可用區(qū)模擬1個(gè)數(shù)據(jù)中心部署分布式數(shù)據(jù)庫和多中心部署分布式數(shù)據(jù)庫的情形，并在兩種條件下執(zhí)行基本農(nóng)田數(shù)據(jù)和土地利用數(shù)據(jù)的求交分析，記錄分析計(jì)算的完成耗時(shí)。實(shí)驗(yàn)結(jié)果顯示，兩個(gè)圖層的相交結(jié)果約為1460萬條記錄。相同可用區(qū)求交耗時(shí)51分鐘，不同可用區(qū)耗時(shí)52分鐘，差異幾乎可以忽略。該結(jié)果表明，基于HBase的分布式數(shù)據(jù)庫集群節(jié)點(diǎn)在地域分布條件下，可以準(zhǔn)確高效地完成分析計(jì)算任務(wù)，網(wǎng)絡(luò)環(huán)境如果達(dá)到4.5Gbit/s（4.5千兆）以上，則不影響數(shù)據(jù)庫集群的查詢性能和計(jì)算集群的計(jì)算性能。考慮未來分布式國土空間基礎(chǔ)信息平臺(tái)運(yùn)行的高效穩(wěn)定，本文建議各中心采用萬兆網(wǎng)相連。

5結(jié)束語

面向國家級(jí)海量空間數(shù)據(jù)分布式存儲(chǔ)、管理、計(jì)算的實(shí)際應(yīng)用需求，本文提出基于HBase+GeoMesa的分布式數(shù)據(jù)庫存儲(chǔ)架構(gòu)，并通過系統(tǒng)原型進(jìn)行了實(shí)驗(yàn)，結(jié)果驗(yàn)證了本文提出的技術(shù)框架可行性。該技術(shù)路線可以解決國家級(jí)國土空間基礎(chǔ)信息平臺(tái)“1個(gè)主中心+N個(gè)分中心”數(shù)據(jù)跨中心難以深度融合計(jì)算的問題，實(shí)現(xiàn)統(tǒng)一的海量空間數(shù)據(jù)的高效存儲(chǔ)、計(jì)算、管理，為全國各級(jí)國土空間基礎(chǔ)信息平臺(tái)分布式存儲(chǔ)和計(jì)算設(shè)提供技術(shù)實(shí)現(xiàn)途徑。未來研究考慮進(jìn)一步優(yōu)化空間數(shù)據(jù)庫索引，采用更高效的空間索引提升查詢性能，并將分布式數(shù)據(jù)庫與并行計(jì)算框架Spark進(jìn)行對(duì)接，進(jìn)一步提升空間分析計(jì)算的效率。

作者:李治君 周俊杰 范延平 鄧頌平 單位: 自然資源部國土空間大數(shù)據(jù)工程技術(shù)創(chuàng)新中心 自然資源部信息中心