商品信息：
序號(hào)商品名稱目錄名稱數(shù)量/單位單價(jià)(元))總價(jià)(元))
1省應(yīng)急管理綜合應(yīng)用平臺(tái)（一期）數(shù)據(jù)治理系統(tǒng)其他網(wǎng)絡(luò)控制設(shè)備1/項(xiàng)--
資格要求：
序號(hào)狀態(tài)評(píng)審內(nèi)容投標(biāo)要求
1新增資格評(píng)審1、符合《中華人民共和國(guó)政府采購(gòu)法》第二十二條的規(guī)定。 2、經(jīng)檢察機(jī)關(guān)查詢近三年內(nèi)無行賄犯罪記錄。 3、具有同類項(xiàng)目的經(jīng)營(yíng)資質(zhì)和服務(wù)能力。 4、擬參加本項(xiàng)目投標(biāo)的潛在投標(biāo)人須在黑龍江省政府采購(gòu)網(wǎng)上注冊(cè)登記并備案。 5、在黑龍江省設(shè)有辦事處或分支機(jī)構(gòu)并提供辦事處或分支機(jī)構(gòu)的有效證明材料。 6、投標(biāo)單位本次必須獨(dú)立投標(biāo)，不得聯(lián)合投標(biāo)。 7、中標(biāo)單位不得轉(zhuǎn)包給其他第三方。 8、必須是具有軟件開發(fā)類（包括技術(shù)開發(fā)、基礎(chǔ)軟件服務(wù)、應(yīng)用軟件服務(wù)等）經(jīng)營(yíng)范圍的企業(yè)法人。
商務(wù)要求：
序號(hào)狀態(tài)分值招標(biāo)文件商務(wù)要求評(píng)審標(biāo)準(zhǔn)評(píng)審選項(xiàng)
1新增30文件編制 開發(fā)團(tuán)隊(duì) 企業(yè)業(yè)績(jī) 本地化服務(wù) 質(zhì)保要求 駐場(chǎng)人員 通用管理能力文件編制 開發(fā)團(tuán)隊(duì) 企業(yè)業(yè)績(jī) 本地化服務(wù) 質(zhì)保要求 駐場(chǎng)人員投標(biāo)文件編制質(zhì)量3分，投標(biāo)文件編制完整、有目錄（目錄對(duì)應(yīng)頁(yè)碼）、總體編排有序，格式規(guī)范、裝訂整齊、頁(yè)碼連續(xù)清晰，得3分；每有一項(xiàng)不符合扣1分，最多扣3分；投標(biāo)文件有關(guān)內(nèi)容前后矛盾，與招標(biāo)文件不一致，該項(xiàng)不得分。(3分)?
開發(fā)團(tuán)隊(duì)不少于4人具有高級(jí)職稱（或同等級(jí)別），得5分，不少于4人具有中級(jí)職稱（或同等級(jí)別），得2分，不滿足得0分。提供團(tuán)隊(duì)人員社保繳納證明。(5分)?
投標(biāo)人最近三年內(nèi)成功實(shí)施的同類項(xiàng)目的業(yè)績(jī)：每提供一個(gè)同類項(xiàng)目單個(gè)合同金額不小于本項(xiàng)目金額的，得5分，滿分10分；投標(biāo)人提供的同類項(xiàng)目多個(gè)合同累計(jì)金額大于本項(xiàng)目金額的，得3分；投標(biāo)人提供的同類項(xiàng)目累計(jì)合同金額未達(dá)到本項(xiàng)目金額的，得1分；沒有項(xiàng)目業(yè)績(jī)的不得分；(須提供合同復(fù)印件及相應(yīng)的驗(yàn)收合格和資金結(jié)算證明,原件備查)(10分)?
（1）投標(biāo)人提供“ISO 9001”質(zhì)量管理體系認(rèn)證證書的，得0.5分；(2分)?
投標(biāo)人在黑龍江省內(nèi)設(shè)有辦事處或分支機(jī)構(gòu)，且成立時(shí)間不晚于2019年1月1日的，機(jī)構(gòu)人員規(guī)模不少于10人（含10人）得 4 分，少于10大于5人（含5人）人得2分，少于5人得0分。 （注：提供有效的營(yíng)業(yè)執(zhí)照復(fù)印件和不少于3個(gè)月的人員社保繳納證明文件并加蓋投標(biāo)人公章）(5分)?
承諾質(zhì)保期至少5年，并提供系統(tǒng)功能需求定制修改服務(wù)，額外增加1年得1分，最多得2分。未承諾或未滿足要求不得分。(滿分2分)；(2分)?
要求在應(yīng)急管理廳有駐場(chǎng)工程師4名，需提供近六個(gè)月社保證明，證明函和社保證明均提供得3分，提供一份得1分。(3分)?
技術(shù)要求 ：
品目序號(hào)狀態(tài)配置招標(biāo)文件技術(shù)參數(shù)要求加減分標(biāo)準(zhǔn)評(píng)審選項(xiàng)
省應(yīng)急管理綜合應(yīng)用平臺(tái)（一期）數(shù)據(jù)治理系統(tǒng)1新增5.1 信息資源規(guī)劃 地方應(yīng)急管理部門應(yīng)在應(yīng)急管理部編制的信息資源目錄的基礎(chǔ)上，補(bǔ)充梳理本省應(yīng)急管理信息資源，并按照相關(guān)規(guī)范要求進(jìn)行編目，為應(yīng)急管理業(yè)務(wù)系統(tǒng)和政務(wù)服務(wù)提供數(shù)據(jù)資源清單，并定期與部級(jí)數(shù)據(jù)治理系統(tǒng)的資源目錄實(shí)現(xiàn)同步，為數(shù)據(jù)接入、數(shù)據(jù)匯聚、數(shù)據(jù)存儲(chǔ)、、數(shù)據(jù)交換、數(shù)據(jù)應(yīng)用提供技術(shù)約束，確保數(shù)據(jù)治理工作規(guī)范、統(tǒng)一、有據(jù)。 5.1.1 信息資源 應(yīng)急管理數(shù)據(jù)治理系統(tǒng)建設(shè)是一項(xiàng)長(zhǎng)期的工作，數(shù)據(jù)資源池中存儲(chǔ)和接入的信息資源類型不斷豐富、數(shù)據(jù)量不斷增長(zhǎng)數(shù)據(jù)來源單位范圍逐步擴(kuò)大。本期信息資源的采集范圍主要包括以下單位：應(yīng)急管理各轉(zhuǎn)錄部門以及林業(yè)、交通運(yùn)輸、國(guó)土資源、地震、城管、消防、民政、氣象等單位。采集數(shù)據(jù)類型主要包括： 1、各單位應(yīng)急相關(guān)基礎(chǔ)數(shù)據(jù)，危險(xiǎn)源、防護(hù)目標(biāo)數(shù)據(jù)等，地理信息等。 2、各單位應(yīng)急資源數(shù)據(jù)，包括救援隊(duì)伍信息、應(yīng)急專家、應(yīng)急救援物資裝備信息等。 3、各單位實(shí)時(shí)監(jiān)測(cè)監(jiān)控?cái)?shù)據(jù)，如氣象信息、輿情信息等。 4、各單位應(yīng)急相關(guān)業(yè)務(wù)數(shù)據(jù)，包括預(yù)案、案例、法律法規(guī)信息、安全生產(chǎn)監(jiān)管的相關(guān)信息等。 5、各單位專業(yè)預(yù)測(cè)信息，如氣象預(yù)測(cè)信息、地震預(yù)測(cè)預(yù)警信息等。 5.1.2 信息要素規(guī)劃 根據(jù)應(yīng)急管理業(yè)務(wù)的數(shù)據(jù)特征，以相關(guān)要素為基礎(chǔ)，將應(yīng)急管理業(yè)務(wù)中可以進(jìn)行信息化處理的數(shù)據(jù)進(jìn)行分類。 5.1.3 信息資源目錄編制 本項(xiàng)目將依照《政務(wù)信息資源目錄編制指南（試行）》、GB/T21063.1-2007及GB/T21063.3-2007等相關(guān)指南和標(biāo)準(zhǔn)的要求，結(jié)合應(yīng)急管理部的管理需要，梳理應(yīng)急管理信息資源，規(guī)劃應(yīng)急管理元數(shù)據(jù)范圍，編制完成標(biāo)準(zhǔn)《應(yīng)急管理信息資源資源目錄》。 基于應(yīng)急管理信息要素，將應(yīng)急管理信息資源進(jìn)行匯總?cè)诤?，可形成包括最小的一?jí)分類?；谝患?jí)分類，將關(guān)聯(lián)于同一信息要素的不同職能或不同對(duì)象進(jìn)行子類劃分，形成信息資源二級(jí)分類。對(duì)二級(jí)分類下的業(yè)務(wù)流程或業(yè)務(wù)處理對(duì)象進(jìn)行信息資源再劃分，形成信息資源三級(jí)分類。 5.1.4 分類管理 按類別管理。 5.1.5 綜合查詢 綜合查詢。 5.1.6 定期更新 形成完備的更新機(jī)制。 5.1.7 績(jī)效考核 根據(jù)資源規(guī)劃情況進(jìn)行考核。 5.2 數(shù)據(jù)接入 數(shù)據(jù)接入主要提供統(tǒng)一的數(shù)據(jù)匯聚功能，將紛繁復(fù)雜、格式各樣的外部關(guān)聯(lián)部門業(yè)務(wù)系統(tǒng)、應(yīng)急管理內(nèi)部業(yè)務(wù)系統(tǒng)、互聯(lián)網(wǎng)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)接入到數(shù)據(jù)治理平臺(tái)中，方便和外部系統(tǒng)進(jìn)行數(shù)據(jù)交換，為上層大數(shù)據(jù)應(yīng)用支撐平臺(tái)的業(yè)務(wù)分析工作提供數(shù)據(jù)源。 5.2.1 數(shù)據(jù)接入方式 從數(shù)據(jù)來源分布來看，本次項(xiàng)目建設(shè)接入數(shù)據(jù)包括外部關(guān)聯(lián)部門數(shù)據(jù)、應(yīng)急管理廳內(nèi)部業(yè)務(wù)部門數(shù)據(jù)、互聯(lián)網(wǎng)公開數(shù)據(jù)、感知數(shù)據(jù)等。針對(duì)不同來源數(shù)據(jù)采用不同的數(shù)據(jù)接入方式。 5.2.1.1 外部關(guān)聯(lián)部門數(shù)據(jù)接入方式 對(duì)于林業(yè)、交通運(yùn)輸、國(guó)土資源、地震、城管、消防、民政、氣象等外部相關(guān)部門業(yè)務(wù)系統(tǒng)數(shù)據(jù)可通過數(shù)據(jù)交換平臺(tái)獲取，引接方式遵從平臺(tái)規(guī)定方式進(jìn)行，目前主要提供庫(kù)表交換、服務(wù)接口調(diào)用、文件上傳方式。 5.2.1.2 應(yīng)急管理廳內(nèi)部業(yè)務(wù)部門數(shù)據(jù)接入方式 對(duì)于黑龍江應(yīng)急管理廳等應(yīng)急管理廳內(nèi)部業(yè)務(wù)部門的數(shù)據(jù)，可通過前置系統(tǒng)采用數(shù)據(jù)抽取、接口調(diào)用、消息服務(wù)的方式進(jìn)行數(shù)據(jù)接入。 5.2.1.3 互聯(lián)網(wǎng)公開數(shù)據(jù)接入方式 對(duì)于來自互聯(lián)網(wǎng)以及社會(huì)企業(yè)的輿情數(shù)據(jù)可通過互聯(lián)網(wǎng)單向傳輸設(shè)備接入到數(shù)據(jù)資源池。 5.2.1.4 感知數(shù)據(jù)接入方式 對(duì)于來源于GPS與北斗定位及速度、方向等實(shí)時(shí)定位設(shè)備、各單位實(shí)時(shí)監(jiān)測(cè)監(jiān)控?cái)?shù)據(jù)，可通過接口實(shí)時(shí)接入或定點(diǎn)接收的方式實(shí)現(xiàn)數(shù)據(jù)接入。 5.2.1.5 其他數(shù)據(jù) 對(duì)于沒有IT系統(tǒng)支撐的業(yè)務(wù)數(shù)據(jù)，還可采用人工填報(bào)，XLS表格導(dǎo)入的方式實(shí)現(xiàn)數(shù)據(jù)接入。 5.2.2 系統(tǒng)功能 數(shù)據(jù)接入子系統(tǒng)提供數(shù)據(jù)探查、數(shù)據(jù)讀取、數(shù)據(jù)對(duì)賬等功能模塊。 5.2.2.1 數(shù)據(jù)探查 數(shù)據(jù)探查是指通過對(duì)來源數(shù)據(jù)存儲(chǔ)位置、提供方式、總量和更新情況、業(yè)務(wù)含義、字段格式語義和取值分布、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)質(zhì)量等進(jìn)行多維度探查，以達(dá)到認(rèn)識(shí)數(shù)據(jù)的目的，為數(shù)據(jù)定義提供依據(jù)。 5.2.2.2 數(shù)據(jù)讀取 數(shù)據(jù)讀取是指從源系統(tǒng)抽取數(shù)據(jù)或從指定位置讀取數(shù)據(jù)，檢查數(shù)據(jù)是否與數(shù)據(jù)定義一致：不一致的停止接入，并重新進(jìn)行數(shù)據(jù)的探查和定義；一致的執(zhí)行進(jìn)一步接入，對(duì)數(shù)據(jù)進(jìn)行必要的解密、解壓操作，生成作用于數(shù)據(jù)全生命周期的記錄ID，并對(duì)數(shù)據(jù)進(jìn)行字符集轉(zhuǎn)換等，將其轉(zhuǎn)成符合數(shù)據(jù)處理要求的格式。 5.2.2.3 數(shù)據(jù)對(duì)賬 數(shù)據(jù)對(duì)賬是針對(duì)數(shù)據(jù)接入環(huán)節(jié)，對(duì)數(shù)據(jù)提供方和數(shù)據(jù)接入方在某一對(duì)賬節(jié)點(diǎn)的完整性、一致性、正確性進(jìn)行核對(duì)和檢驗(yàn)的過程。如果在某一對(duì)賬時(shí)間點(diǎn)數(shù)據(jù)提供方和數(shù)據(jù)接入方分別對(duì)應(yīng)的數(shù)據(jù)條數(shù)不一致，說明對(duì)賬出現(xiàn)異常，記錄異常，在必要時(shí)需告警。 5.2.2.4 斷點(diǎn)續(xù)傳 系統(tǒng)應(yīng)該提供基于消息的數(shù)據(jù)傳輸服務(wù)，從一個(gè)應(yīng)用系統(tǒng)傳輸數(shù)據(jù)實(shí)體和數(shù)據(jù)格式到另一個(gè)應(yīng)用系統(tǒng)，每個(gè)傳輸服務(wù)可以運(yùn)行多個(gè)傳輸實(shí)體。另外系統(tǒng)也提供斷點(diǎn)處理功能，用戶可以通過流程診斷工具查看流程發(fā)生錯(cuò)誤的斷點(diǎn)，用戶可以只修改發(fā)生錯(cuò)誤的斷點(diǎn)處的消息，然后把該消息重新發(fā)送，而不是回退和重新發(fā)送整個(gè)流程。 5.2.2.5 任務(wù)管理 主要實(shí)現(xiàn)對(duì)數(shù)據(jù)接入任務(wù)的管理，支持?jǐn)?shù)據(jù)接入任務(wù)的創(chuàng)建、查詢、刪除等功能，并可指定接入任務(wù)所使用的抽取方法、轉(zhuǎn)換規(guī)則和加載方式，并根據(jù)指定類型進(jìn)行任務(wù)的調(diào)度執(zhí)行。 5.2.2.6 數(shù)據(jù)分發(fā) 將預(yù)處理后的數(shù)據(jù)按需分發(fā)到資源庫(kù)、主題庫(kù)、業(yè)務(wù)庫(kù)，更新維護(hù)原始庫(kù)，以及向請(qǐng)求方反饋數(shù)據(jù)。 5.3 數(shù)據(jù)處理 數(shù)據(jù)處理主要是針對(duì)數(shù)據(jù)接入系統(tǒng)匯聚的結(jié)構(gòu)化數(shù)據(jù)記錄、半結(jié)構(gòu)化文本等具體數(shù)據(jù)內(nèi)容建立標(biāo)準(zhǔn)化的數(shù)據(jù)處理模式，經(jīng)過處理后的數(shù)據(jù)存儲(chǔ)在應(yīng)急管理數(shù)據(jù)資源池中。數(shù)據(jù)處理子系統(tǒng)提供數(shù)據(jù)探查、提取、清洗、轉(zhuǎn)換、關(guān)聯(lián)、比對(duì)、標(biāo)識(shí)、融合等功能模塊。 5.3.1 數(shù)據(jù)處理場(chǎng)景 5.3.1.1 從前置庫(kù)到原始庫(kù) 數(shù)據(jù)處理系統(tǒng)通過數(shù)據(jù)接入系統(tǒng)接入到前置庫(kù)中的數(shù)據(jù)，這些數(shù)據(jù)包括各業(yè)務(wù)系統(tǒng)中的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，通過數(shù)據(jù)探查和數(shù)據(jù)提取等手段，對(duì)前置庫(kù)的數(shù)據(jù)進(jìn)行探查分析，提取出數(shù)據(jù)源信息，并將非結(jié)構(gòu)化數(shù)據(jù)的關(guān)鍵文字信息如森林草原林火視頻監(jiān)控?cái)?shù)據(jù)中的時(shí)間等提取出來，整個(gè)數(shù)據(jù)處理過程處理后的數(shù)據(jù)會(huì)落入原始庫(kù)中。 5.3.1.2 從原始庫(kù)到資源庫(kù) 原始庫(kù)的數(shù)據(jù)經(jīng)過數(shù)據(jù)比對(duì)、數(shù)據(jù)提取、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)清洗等處理過程，將數(shù)據(jù)加工成符合標(biāo)準(zhǔn)規(guī)范的數(shù)據(jù)。例如人員傷亡表的數(shù)據(jù)處理工作，經(jīng)過比對(duì)人員傷亡表中的各個(gè)字段和標(biāo)準(zhǔn)數(shù)據(jù)元的差異，將標(biāo)準(zhǔn)數(shù)據(jù)元與原始表進(jìn)行關(guān)聯(lián)，如身份證號(hào)，然后進(jìn)行轉(zhuǎn)換和清洗。 5.3.1.3 從資源庫(kù)到主題庫(kù) 資源庫(kù)的數(shù)據(jù)經(jīng)過數(shù)據(jù)比對(duì)、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)融合、數(shù)據(jù)標(biāo)識(shí)的處理過程，將資源庫(kù)的數(shù)據(jù)映射到災(zāi)害事故、管理對(duì)象、應(yīng)急環(huán)境、救援資源、動(dòng)態(tài)感知五大信息分類中，并詳細(xì)對(duì)應(yīng)到各信息分類中與森林防火相關(guān)的二級(jí)、三級(jí)主題庫(kù)中。例如“地”主題中的關(guān)鍵基礎(chǔ)設(shè)施主題，需要比對(duì)關(guān)鍵基礎(chǔ)設(shè)施表與資源庫(kù)中表的數(shù)據(jù)結(jié)構(gòu)差異，選擇有效的字段關(guān)聯(lián)、融合數(shù)據(jù)到關(guān)鍵基礎(chǔ)設(shè)施主題中。 5.3.1.4 從主題庫(kù)到專題庫(kù) 主題庫(kù)的數(shù)據(jù)經(jīng)過數(shù)據(jù)比對(duì)、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)融合、數(shù)據(jù)表示的處理過程，將災(zāi)害事故、管理對(duì)象、應(yīng)急環(huán)境、救援資源、動(dòng)態(tài)感知五大信息分類中的數(shù)據(jù)提取出來，按照森林防火專題庫(kù)所需要的方式進(jìn)行組織。 5.3.2 系統(tǒng)功能 5.3.2.1 數(shù)據(jù)探查 數(shù)據(jù)探查功能組件主要對(duì)業(yè)務(wù)緩沖庫(kù)和原始庫(kù)中的數(shù)據(jù)進(jìn)行探查分析，以便對(duì)待匯聚整合的數(shù)據(jù)有一個(gè)清晰的了解，進(jìn)而提取出數(shù)據(jù)源頭的元數(shù)據(jù)信息，為后續(xù)的數(shù)據(jù)處理過程提供管理、業(yè)務(wù)、技術(shù)等方面的支撐。 數(shù)據(jù)探查組件功能框圖 業(yè)務(wù)探查：對(duì)來源表的業(yè)務(wù)含義進(jìn)行探查，以便能準(zhǔn)確地理解和描述數(shù)據(jù)。 接入方式探查：對(duì)來源表的存儲(chǔ)位置、提供方式進(jìn)行探查，為數(shù)據(jù)接入規(guī)則定義和數(shù)據(jù)處理、組織提供依據(jù)。 字段探查：對(duì)具體字段的數(shù)據(jù)內(nèi)容進(jìn)行探查，識(shí)別其代表的含義和統(tǒng)計(jì)分布情況。具體的功能主要包括： 空值率探查：統(tǒng)計(jì)字段空值占比情況，一方面可重點(diǎn)關(guān)注空值率高的重要字段，另一方面可通過與歷史情況比較及時(shí)發(fā)現(xiàn)數(shù)據(jù)質(zhì)量的動(dòng)態(tài)變化。 值域及分布探查：對(duì)字段的值域范圍以及分布情況進(jìn)行探查。 命名實(shí)體探查：根據(jù)數(shù)據(jù)內(nèi)容識(shí)別人名、地名、機(jī)構(gòu)名、手機(jī)號(hào)等命名實(shí)體，幫助理解字段語義。 數(shù)據(jù)元探查：根據(jù)字段名字及內(nèi)容，探查字段的確切語義，并與數(shù)據(jù)元標(biāo)準(zhǔn)進(jìn)行映射。 類型及格式探查：探查字段的類型及格式是否符合規(guī)范。 數(shù)據(jù)集探查：對(duì)來源數(shù)據(jù)集表名、引用數(shù)據(jù)元等進(jìn)行探查，確定數(shù)據(jù)集是否是標(biāo)準(zhǔn)數(shù)據(jù)集。探查數(shù)據(jù)總量、增量及更新情況，為數(shù)據(jù)接入、處理和組織提供依據(jù)。 問題數(shù)據(jù)探查：探查字段中不符合規(guī)范的數(shù)據(jù)，為后續(xù)數(shù)據(jù)清洗規(guī)則的制定提供依據(jù)。 數(shù)據(jù)推送：把數(shù)據(jù)探查的結(jié)果信息推送到數(shù)據(jù)清洗組件、數(shù)據(jù)轉(zhuǎn)換組件以及元數(shù)據(jù)庫(kù)中，為相關(guān)組件的規(guī)則制定，流程分發(fā)等提供必要的信息。 5.3.2.2 數(shù)據(jù)提取 數(shù)據(jù)提取是原始數(shù)據(jù)進(jìn)行規(guī)范化處理的過程，主要針對(duì)半結(jié)構(gòu)化數(shù)據(jù)，通過數(shù)據(jù)提取過程，從這些半結(jié)構(gòu)化數(shù)據(jù)中提取出人員、機(jī)構(gòu)、應(yīng)急物資、事件等相關(guān)信息，并將提取的信息以結(jié)構(gòu)化形式進(jìn)行存儲(chǔ)。 5.3.2.2.1 半結(jié)構(gòu)化文件內(nèi)容提取 主要針對(duì)存在于原始庫(kù)中的半結(jié)構(gòu)化數(shù)據(jù)，根據(jù)文件中的內(nèi)容，提取出業(yè)務(wù)需要的數(shù)據(jù)內(nèi)容。常見的半結(jié)構(gòu)化數(shù)據(jù)類型包括：XML、CSV、TXT、Word、Excel等文件。 數(shù)據(jù)緩存：對(duì)XML、CSV、TXT、Word、Excel文件解析出來的結(jié)構(gòu)化信息緩存的功能。 數(shù)據(jù)封裝：對(duì)解析出來的數(shù)據(jù)進(jìn)行數(shù)據(jù)封裝，形成標(biāo)準(zhǔn)化的數(shù)據(jù)結(jié)構(gòu)。 數(shù)據(jù)推送：推送封裝好的結(jié)構(gòu)化數(shù)據(jù)到資源庫(kù)、主題庫(kù)。 源數(shù)據(jù)索引：需實(shí)現(xiàn)對(duì)原始半結(jié)構(gòu)化數(shù)據(jù)的索引能力，便于對(duì)提取后的結(jié)果進(jìn)行溯源追蹤。 5.3.2.2.2 非結(jié)構(gòu)化文件內(nèi)容提取 多媒體信息提?。簭膱D片、語音、視頻等多媒體數(shù)據(jù)中提取文字、圖片等信息。如從相關(guān)圖片中提取文本信息，從視頻信息中提取關(guān)鍵幀信息，對(duì)圖片中出現(xiàn)的二維碼進(jìn)行解析識(shí)別，提取包含的文字信息、鏈接信息等。 生物特征提?。簭暮Ａ繄D像、視頻、音頻信息中提取人臉、人聲等信息，為應(yīng)急救援提供數(shù)據(jù)支撐。如從人事管理系統(tǒng)中的人員照片信息提取人臉特征信息、從各類視頻信息中提取人臉信息，識(shí)別出涉及的領(lǐng)導(dǎo)人員信息等。 全文信息提?。褐饕菑暮Ａ课谋緮?shù)據(jù)中提取姓名、身份證號(hào)、電話號(hào)碼、車牌號(hào)碼、社會(huì)統(tǒng)一信用代碼、企業(yè)名稱、地址、時(shí)間等信息。如從安全生產(chǎn)誠(chéng)信管理系統(tǒng)的黑白紅名單中提取企業(yè)名稱、社會(huì)統(tǒng)一信用代碼等企業(yè)組織要素信息，從評(píng)估報(bào)告信息中提取災(zāi)害事故的發(fā)生時(shí)間、地點(diǎn)、傷亡情況等結(jié)構(gòu)化要素信息。如從業(yè)務(wù)信息系統(tǒng)中對(duì)接的Word格式的文獻(xiàn)文件內(nèi)容中提取單位名稱、姓名等要素信息。 5.3.2.3 數(shù)據(jù)清洗 數(shù)據(jù)清洗是對(duì)業(yè)務(wù)數(shù)據(jù)中不符合標(biāo)準(zhǔn)規(guī)范或者無效的數(shù)據(jù)進(jìn)行相關(guān)操作。在進(jìn)行數(shù)據(jù)整合之前先定義數(shù)據(jù)的清洗規(guī)則，并對(duì)符合清洗規(guī)則的數(shù)據(jù)設(shè)置數(shù)據(jù)的錯(cuò)誤級(jí)別。當(dāng)進(jìn)行數(shù)據(jù)整合過程中遇到符合清洗規(guī)則的數(shù)據(jù)時(shí)，系統(tǒng)將把這些業(yè)務(wù)數(shù)據(jù)置為問題數(shù)據(jù)，并根據(jù)錯(cuò)誤的嚴(yán)重程度進(jìn)行歸類。對(duì)出現(xiàn)的問題數(shù)據(jù)進(jìn)行標(biāo)記后存入問題數(shù)據(jù)庫(kù)中，經(jīng)確認(rèn)后再?zèng)Q定是通過清洗轉(zhuǎn)換后入庫(kù)，還是直接放棄，抑或其他方式處理。對(duì)于清洗前后的數(shù)據(jù)還需進(jìn)行一致性檢查，以保證清洗結(jié)果集的質(zhì)量。 數(shù)據(jù)清洗流程 5.3.2.4 數(shù)據(jù)轉(zhuǎn)換 本次數(shù)據(jù)治理項(xiàng)目涉及多個(gè)部門、多個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)。不同系統(tǒng)有不同的數(shù)據(jù)結(jié)構(gòu)定義，數(shù)據(jù)匯聚在一起后就會(huì)產(chǎn)生數(shù)據(jù)格式不規(guī)范統(tǒng)一、數(shù)據(jù)命名不規(guī)范統(tǒng)一、數(shù)據(jù)編碼不規(guī)范統(tǒng)一、數(shù)據(jù)標(biāo)識(shí)不規(guī)范統(tǒng)一。這樣的數(shù)據(jù)是無法支撐業(yè)務(wù)應(yīng)用需要的，因此需要對(duì)匯集的數(shù)據(jù)進(jìn)行數(shù)據(jù)格式規(guī)范統(tǒng)一、數(shù)據(jù)命名規(guī)范統(tǒng)一、數(shù)據(jù)編碼規(guī)范統(tǒng)一、數(shù)據(jù)標(biāo)識(shí)不規(guī)范統(tǒng)一等數(shù)據(jù)轉(zhuǎn)換處理。具體數(shù)據(jù)轉(zhuǎn)換組件包括一下功能： 數(shù)據(jù)轉(zhuǎn)換流程示意 數(shù)據(jù)命名轉(zhuǎn)換：通過比對(duì)標(biāo)準(zhǔn)數(shù)據(jù)元和實(shí)際數(shù)據(jù)表中的數(shù)據(jù)項(xiàng)，如果比對(duì)結(jié)果一致，則不需要轉(zhuǎn)換處理，如果比對(duì)結(jié)果不一致，要按照標(biāo)準(zhǔn)數(shù)據(jù)元中規(guī)定的命名進(jìn)行轉(zhuǎn)換。 數(shù)據(jù)類型轉(zhuǎn)換：通過比對(duì)標(biāo)準(zhǔn)數(shù)據(jù)元和實(shí)際數(shù)據(jù)表中的數(shù)據(jù)項(xiàng)，如果比對(duì)結(jié)果一致，則不需要轉(zhuǎn)換處理，如果比對(duì)結(jié)果不一致，要按照標(biāo)準(zhǔn)數(shù)據(jù)元中規(guī)定的數(shù)據(jù)類型進(jìn)行轉(zhuǎn)換。按照標(biāo)準(zhǔn)規(guī)范將不同來源、不同格式的數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一的標(biāo)準(zhǔn)化數(shù)據(jù)格式。平臺(tái)將建立一系列的數(shù)據(jù)標(biāo)準(zhǔn)，進(jìn)入平臺(tái)的數(shù)據(jù)都必須遵循這些標(biāo)準(zhǔn)，只有這樣才能保證平臺(tái)上層應(yīng)用的調(diào)用數(shù)據(jù)的通用性和應(yīng)用之間充分的信息共享。需要做的格式統(tǒng)一有以下幾種：全角轉(zhuǎn)半角、電話號(hào)碼轉(zhuǎn)換、URL形式轉(zhuǎn)換、身份證件號(hào)碼轉(zhuǎn)換、社會(huì)統(tǒng)一信用代碼轉(zhuǎn)換、時(shí)間格式轉(zhuǎn)換、經(jīng)緯度等數(shù)據(jù)標(biāo)準(zhǔn)化類型。身份證號(hào)碼和社會(huì)統(tǒng)一信用代碼標(biāo)準(zhǔn)化是將身份證位數(shù)統(tǒng)一為18位半角字符，字母字符轉(zhuǎn)為大寫字符，電話號(hào)碼標(biāo)準(zhǔn)化主要是保留源數(shù)據(jù)的數(shù)字字符部分，去除加減號(hào)、空格等特殊字符，僅保留有效的數(shù)字字符內(nèi)容。特定字段全角轉(zhuǎn)半角（URL、賬號(hào)等信息）。時(shí)間標(biāo)準(zhǔn)化即將“yyyy-MM-dd HH:mm:ss”、“yyyyMMddHHmmss”等各種時(shí)間格式值，這些格式也統(tǒng)一轉(zhuǎn)成平臺(tái)定義的標(biāo)準(zhǔn)時(shí)間格式。經(jīng)緯度標(biāo)準(zhǔn)化主要將各種經(jīng)緯度坐標(biāo)系統(tǒng)一轉(zhuǎn)換為2000國(guó)家大地坐標(biāo)系，經(jīng)緯度數(shù)值統(tǒng)一為十進(jìn)制數(shù)值格式。所有數(shù)據(jù)格式標(biāo)準(zhǔn)化后的字段單獨(dú)存儲(chǔ)，原字段予以保留。 數(shù)據(jù)編碼轉(zhuǎn)換：比對(duì)標(biāo)準(zhǔn)數(shù)據(jù)元和實(shí)際數(shù)據(jù)表中的數(shù)據(jù)項(xiàng)，如果比對(duì)結(jié)果一致，則不需要轉(zhuǎn)換處理，如果比對(duì)結(jié)果不一致，需要按照標(biāo)準(zhǔn)數(shù)據(jù)元中規(guī)定的標(biāo)準(zhǔn)編碼進(jìn)行轉(zhuǎn)換。將來源于不同系統(tǒng)的不同數(shù)據(jù)字典轉(zhuǎn)化為標(biāo)準(zhǔn)數(shù)據(jù)字典。 視頻轉(zhuǎn)碼：由于應(yīng)急管理數(shù)據(jù)治理工程中的視頻信息來源于不同終端設(shè)備，且多經(jīng)由異構(gòu)通信網(wǎng)絡(luò)進(jìn)行傳輸，因此需要進(jìn)行視頻轉(zhuǎn)碼，將已經(jīng)壓縮編碼的視頻碼流轉(zhuǎn)換成另一個(gè)視頻碼流，以適應(yīng)不同的網(wǎng)絡(luò)帶寬、不同的終端處理能力和不同的用戶需求，并保證服務(wù)質(zhì)量。 數(shù)據(jù)標(biāo)識(shí)轉(zhuǎn)換：通過數(shù)據(jù)元和數(shù)據(jù)表字段的關(guān)聯(lián)，根據(jù)關(guān)聯(lián)關(guān)系自動(dòng)生成可執(zhí)行的轉(zhuǎn)換規(guī)則，進(jìn)行數(shù)據(jù)標(biāo)識(shí)的轉(zhuǎn)換。 標(biāo)準(zhǔn)地址轉(zhuǎn)換：對(duì)地址要素不完整、文字表達(dá)不一致的地址信息進(jìn)行標(biāo)準(zhǔn)化處理。依托民政的標(biāo)準(zhǔn)化地址庫(kù)及互聯(lián)網(wǎng)公開的POI地址信息庫(kù)，形成應(yīng)急相關(guān)的地址標(biāo)準(zhǔn)基礎(chǔ)庫(kù)，對(duì)應(yīng)急采集的地址信息進(jìn)行標(biāo)準(zhǔn)化處理。 為保障數(shù)據(jù)轉(zhuǎn)換處理過程不會(huì)造成數(shù)據(jù)丟失，數(shù)據(jù)轉(zhuǎn)換模塊需要支持?jǐn)帱c(diǎn)功能。 5.3.2.5 數(shù)據(jù)關(guān)聯(lián) 數(shù)據(jù)關(guān)聯(lián)組件需要完成在不同數(shù)據(jù)集之間的關(guān)聯(lián)，實(shí)現(xiàn)在不同數(shù)據(jù)集的聯(lián)動(dòng)，為數(shù)據(jù)治理、業(yè)務(wù)應(yīng)用的需求提供支撐。根據(jù)數(shù)據(jù)處理流程設(shè)計(jì)的要求，數(shù)據(jù)關(guān)聯(lián)組件的功能包括：標(biāo)準(zhǔn)關(guān)聯(lián)、字典關(guān)聯(lián)、半結(jié)構(gòu)化關(guān)聯(lián)、關(guān)聯(lián)回填。 標(biāo)準(zhǔn)關(guān)聯(lián)：在資源庫(kù)中設(shè)計(jì)了標(biāo)準(zhǔn)的數(shù)據(jù)元體系，作為數(shù)據(jù)資源中心的數(shù)據(jù)規(guī)范基礎(chǔ)。數(shù)據(jù)元是最小的數(shù)據(jù)單位。在數(shù)據(jù)關(guān)聯(lián)系統(tǒng)中，需要通過手工或更智能的方式實(shí)現(xiàn)各種不同編碼的原始數(shù)據(jù)和標(biāo)準(zhǔn)數(shù)據(jù)元的關(guān)聯(lián)。 數(shù)據(jù)字典、屬性及相關(guān)含義的關(guān)聯(lián)：如災(zāi)害等級(jí)與災(zāi)害類別關(guān)聯(lián)、自然災(zāi)害和災(zāi)害地點(diǎn)關(guān)聯(lián)、單位代碼和單位名稱關(guān)聯(lián)、救援物資與物資類別關(guān)聯(lián)等。 半結(jié)構(gòu)化與結(jié)構(gòu)化的關(guān)聯(lián)：對(duì)半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行提取結(jié)構(gòu)化信息后，按照關(guān)鍵字（如災(zāi)害地點(diǎn)相同、災(zāi)害時(shí)間相同、災(zāi)害誘因相同）等進(jìn)行關(guān)聯(lián)，構(gòu)建數(shù)據(jù)關(guān)聯(lián)關(guān)系。如從業(yè)務(wù)信息系統(tǒng)中對(duì)接的Word格式的文獻(xiàn)文件，通過提取出的文獻(xiàn)內(nèi)容，通過事件的時(shí)間、地點(diǎn)查詢相應(yīng)火災(zāi)災(zāi)情庫(kù)中的災(zāi)情信息進(jìn)行關(guān)聯(lián)。 關(guān)聯(lián)回填：兩個(gè)或兩個(gè)以上數(shù)據(jù)集之間通過某種信息建立關(guān)聯(lián)關(guān)系之后，根據(jù)實(shí)際業(yè)務(wù)的需要，可以對(duì)這兩個(gè)數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行相互補(bǔ)充。 5.3.2.6 數(shù)據(jù)比對(duì) 通過數(shù)據(jù)比對(duì)功能實(shí)現(xiàn)對(duì)兩個(gè)數(shù)據(jù)集中的數(shù)據(jù)內(nèi)容、數(shù)據(jù)格式的比較核查，找出相同的數(shù)據(jù)或不同的數(shù)據(jù)。在業(yè)務(wù)應(yīng)用場(chǎng)景上主要實(shí)現(xiàn)以下數(shù)據(jù)比對(duì)功能。 數(shù)據(jù)項(xiàng)與標(biāo)準(zhǔn)數(shù)據(jù)元比對(duì)：實(shí)現(xiàn)原始數(shù)據(jù)表中的數(shù)據(jù)與標(biāo)準(zhǔn)數(shù)據(jù)元數(shù)據(jù)的比對(duì)，比對(duì)的內(nèi)容包括數(shù)據(jù)命名、數(shù)據(jù)標(biāo)識(shí)、數(shù)據(jù)格式、數(shù)據(jù)值域、數(shù)據(jù)編碼、數(shù)據(jù)類型等數(shù)據(jù)的比對(duì)，數(shù)據(jù)比對(duì)的結(jié)果為一致或不一致。 不同數(shù)據(jù)項(xiàng)集比對(duì)：實(shí)現(xiàn)兩個(gè)數(shù)據(jù)項(xiàng)集的交集、補(bǔ)集，以滿足數(shù)據(jù)檢索的需求。 5.3.2.7 數(shù)據(jù)標(biāo)識(shí) 數(shù)據(jù)標(biāo)識(shí)模塊依托標(biāo)簽引擎結(jié)合應(yīng)急業(yè)務(wù)知識(shí)庫(kù)、標(biāo)簽規(guī)則庫(kù)對(duì)數(shù)據(jù)進(jìn)行標(biāo)識(shí)。標(biāo)簽規(guī)則庫(kù)提供標(biāo)簽的定義、內(nèi)容、版本、關(guān)聯(lián)等，通過讀取標(biāo)簽規(guī)則庫(kù)的內(nèi)容，對(duì)數(shù)據(jù)進(jìn)行映射，通過人工或智能的方式實(shí)現(xiàn)對(duì)數(shù)據(jù)打標(biāo)，以便提升數(shù)據(jù)的價(jià)值密度，并為上層應(yīng)用提供支撐。 根據(jù)標(biāo)簽規(guī)則庫(kù)提供的規(guī)則接口，數(shù)據(jù)標(biāo)識(shí)過程分為以下三類： 基礎(chǔ)標(biāo)簽標(biāo)識(shí)：根據(jù)基礎(chǔ)標(biāo)簽定義的規(guī)則，對(duì)數(shù)據(jù)進(jìn)行規(guī)則篩選，符合規(guī)則的數(shù)據(jù)增添一列基礎(chǔ)標(biāo)簽。 業(yè)務(wù)標(biāo)簽標(biāo)識(shí)：按照業(yè)務(wù)數(shù)據(jù)模型管理數(shù)據(jù)，根據(jù)標(biāo)簽規(guī)則庫(kù)提供的標(biāo)簽元數(shù)據(jù)信息，在資源庫(kù)中找到標(biāo)簽所需的相關(guān)聯(lián)的數(shù)據(jù)，根據(jù)規(guī)則進(jìn)行合并、匯總等工作，得到的數(shù)據(jù)按照標(biāo)簽定義增加一列內(nèi)容到目標(biāo)數(shù)據(jù)中。 智能標(biāo)簽標(biāo)識(shí)：據(jù)標(biāo)簽規(guī)則庫(kù)提供的模型接口，將相應(yīng)的數(shù)據(jù)輸入模型進(jìn)行計(jì)算，將計(jì)算后的結(jié)果按照標(biāo)簽規(guī)則庫(kù)定義的標(biāo)簽內(nèi)容增加一列業(yè)務(wù)標(biāo)簽到目標(biāo)數(shù)據(jù)中。 5.3.2.8 數(shù)據(jù)融合 標(biāo)準(zhǔn)化去噪后的數(shù)據(jù)需要采取必要的數(shù)據(jù)融合手段，按照應(yīng)急管理的主題庫(kù)、專題庫(kù)以及數(shù)據(jù)應(yīng)用需要的方式組織，以支撐應(yīng)急管理單位的數(shù)據(jù)需求。在數(shù)據(jù)融合的過程中，應(yīng)該以合理的方式設(shè)計(jì)數(shù)據(jù)結(jié)構(gòu)，保障數(shù)據(jù)應(yīng)用對(duì)數(shù)據(jù)高效分析查詢的同時(shí)，盡可能的減少冗余。數(shù)據(jù)融合處理過程貫穿主題庫(kù)、專題庫(kù)和數(shù)據(jù)應(yīng)用的建設(shè)過程，詳細(xì)如下： 數(shù)據(jù)融合的關(guān)鍵功能模塊包括模型加工和匯總加工。各功能模塊的詳細(xì)描述如下： 數(shù)據(jù)融合功能模塊示意 模型加工：主要包含數(shù)據(jù)合并、數(shù)據(jù)覆蓋、數(shù)據(jù)切分功能，其中數(shù)據(jù)合并需要通過函數(shù)、分組或轉(zhuǎn)列的方式完成數(shù)據(jù)的表合并和列合并。數(shù)據(jù)覆蓋功能需要依賴數(shù)據(jù)比對(duì)的結(jié)果，將新增和修改的記錄覆蓋到目標(biāo)表中。數(shù)據(jù)切分需要通過行篩選、列提取或表提取等方式將相同數(shù)據(jù)對(duì)象的結(jié)果表進(jìn)行切分合并。 匯總加工：按照公共匯總的原則，明確哪些數(shù)據(jù)需要匯總合后，采用聚合函數(shù)或窗口函數(shù)等方式，完成對(duì)跨數(shù)據(jù)域且需要被頻繁公用的數(shù)據(jù)的匯總。 5.3.2.9 數(shù)據(jù)去重 對(duì)重復(fù)數(shù)據(jù)合并處理。 5.3.2.10 數(shù)據(jù)補(bǔ)全 對(duì)一條數(shù)據(jù)各個(gè)字段的缺失，通過技術(shù)手段進(jìn)行補(bǔ)全，例如：黑龍江省，需要補(bǔ)充機(jī)構(gòu)代碼23。 5.4 數(shù)據(jù)資源池 按照數(shù)據(jù)使用目的分級(jí)分類建庫(kù)的要求，統(tǒng)一規(guī)劃資源，通過對(duì)數(shù)據(jù)資源進(jìn)行標(biāo)準(zhǔn)統(tǒng)一、流程規(guī)范的組織與挖掘，形成包含原始庫(kù)、資源庫(kù)、主題庫(kù)、專題庫(kù)等的應(yīng)急管理數(shù)據(jù)資源池，以滿足應(yīng)急管理內(nèi)部各單位業(yè)務(wù)專題數(shù)據(jù)落地建庫(kù)需求，為綜合展示、數(shù)據(jù)服務(wù)、領(lǐng)導(dǎo)決策提供數(shù)據(jù)支持。 5.4.1 應(yīng)急管理數(shù)據(jù)庫(kù) 5.4.1.1 原始庫(kù) 大數(shù)據(jù)資源中心的原始庫(kù)應(yīng)該包含應(yīng)急管理單位內(nèi)部、外部所有需要組織的數(shù)據(jù)。在數(shù)據(jù)來源上，包括外部委數(shù)據(jù)（如公共安全數(shù)據(jù)、交通運(yùn)輸數(shù)據(jù)等），應(yīng)急管理單位內(nèi)部數(shù)據(jù)（如省市重大安全風(fēng)險(xiǎn)監(jiān)測(cè)預(yù)警數(shù)據(jù)、部級(jí)安全生產(chǎn)行政執(zhí)法數(shù)據(jù)等），社會(huì)及互聯(lián)網(wǎng)數(shù)據(jù)（如微信、微博及其他輿情數(shù)據(jù)等）。在數(shù)據(jù)類型上，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。 原始庫(kù)的合理設(shè)計(jì)可以在業(yè)務(wù)系統(tǒng)和數(shù)據(jù)資源中心之間形成一個(gè)良好的過渡，既保障了數(shù)據(jù)資源中心數(shù)據(jù)的穩(wěn)定性，不會(huì)受源業(yè)務(wù)系統(tǒng)數(shù)據(jù)頻繁變化的影響，又可減輕前置系統(tǒng)被反復(fù)抽取的壓力，數(shù)據(jù)資源中心的數(shù)據(jù)需求統(tǒng)一由原始庫(kù)為基礎(chǔ)來抽取和分發(fā)。 由于數(shù)據(jù)來源多、種類豐富，原始庫(kù)的數(shù)據(jù)應(yīng)該采取清晰、合理的方式去組織。對(duì)于不同來源的數(shù)據(jù)，應(yīng)該按照其數(shù)據(jù)來源進(jìn)行清晰的標(biāo)識(shí)，包括表名標(biāo)識(shí)、表元數(shù)據(jù)標(biāo)識(shí)等。對(duì)于不同種類的數(shù)據(jù)，應(yīng)該采取不同的存儲(chǔ)機(jī)制進(jìn)行存取。存儲(chǔ)域分為結(jié)構(gòu)化域、半結(jié)構(gòu)化域和非結(jié)構(gòu)化域，其中半結(jié)構(gòu)化域和非結(jié)構(gòu)化域的數(shù)據(jù)應(yīng)該采用相應(yīng)的數(shù)據(jù)提取手段提取關(guān)鍵信息保存至結(jié)構(gòu)化域，便于數(shù)據(jù)的溯源和使用。 原始庫(kù)的數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)原則上和業(yè)務(wù)生產(chǎn)庫(kù)的表結(jié)構(gòu)一致，并在業(yè)務(wù)生產(chǎn)庫(kù)基礎(chǔ)上增添數(shù)據(jù)接入過程中的操作字段，表示數(shù)據(jù)的更新和刪除等狀態(tài)。以此向大數(shù)據(jù)資源中心提供原始、準(zhǔn)確的數(shù)據(jù)，便于后續(xù)的分析和使用。 原始庫(kù)中的數(shù)據(jù)是大數(shù)據(jù)資源中心最基礎(chǔ)的數(shù)據(jù)，需要對(duì)數(shù)據(jù)設(shè)置不同的生命周期和質(zhì)量監(jiān)控標(biāo)準(zhǔn)，從而保障數(shù)據(jù)的鮮活性和準(zhǔn)確性。 原始庫(kù)的結(jié)構(gòu)按數(shù)據(jù)的類別分為結(jié)構(gòu)化數(shù)據(jù)域、半結(jié)構(gòu)化數(shù)據(jù)域和非結(jié)構(gòu)化數(shù)據(jù)域三個(gè)邏輯的數(shù)據(jù)域。 （1）結(jié)構(gòu)化數(shù)據(jù)域用于保存由各業(yè)務(wù)系統(tǒng)抽取的關(guān)系型數(shù)據(jù)，如火災(zāi)檔案表等，這部分?jǐn)?shù)據(jù)需基于云計(jì)算平臺(tái)所提供的關(guān)系型數(shù)據(jù)庫(kù)組件來組織。 （2）半結(jié)構(gòu)化數(shù)據(jù)域用于保存從各業(yè)務(wù)系統(tǒng)或各部門抽取的半結(jié)構(gòu)化數(shù)據(jù)，如互聯(lián)網(wǎng)輿情數(shù)據(jù)等XML格式、XLS格式數(shù)據(jù)或文件，該類型數(shù)據(jù)需基于云計(jì)算平臺(tái)所提供的NoSQL數(shù)據(jù)庫(kù)組件來組織。 （3）非結(jié)構(gòu)化數(shù)據(jù)域用于保存從各業(yè)務(wù)系統(tǒng)或各部門抽取的非結(jié)構(gòu)化數(shù)據(jù)，包括圖片、音視頻、文本等類型數(shù)據(jù)，如衛(wèi)星遙感數(shù)據(jù)、火災(zāi)圖傳錄像、救援總結(jié)報(bào)告等，該類型數(shù)據(jù)需基于云計(jì)算平臺(tái)所提供的分布式文件系統(tǒng)進(jìn)行存儲(chǔ)。 非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)需在原始庫(kù)中建立索引表來記錄該數(shù)據(jù)的來源和存儲(chǔ)路徑等。索引表主要以關(guān)系型數(shù)據(jù)形式存儲(chǔ)在結(jié)構(gòu)化數(shù)據(jù)域中。 5.4.1.2 資源庫(kù) 資源庫(kù)的數(shù)據(jù)是由原始庫(kù)的數(shù)據(jù)經(jīng)過清洗、轉(zhuǎn)換、關(guān)聯(lián)、比對(duì)等數(shù)據(jù)處理過程后形成的標(biāo)準(zhǔn)數(shù)據(jù)。 資源庫(kù)的設(shè)計(jì)包括數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)、數(shù)據(jù)表結(jié)構(gòu)設(shè)計(jì)和加工過程設(shè)計(jì)。在資源庫(kù)的數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)上，以原始庫(kù)數(shù)據(jù)結(jié)構(gòu)為基礎(chǔ)，補(bǔ)充必要的數(shù)據(jù)字段。在數(shù)據(jù)表設(shè)計(jì)上，將相同表結(jié)構(gòu)的數(shù)據(jù)表進(jìn)行適當(dāng)?shù)暮喜ⅲ⒈Ａ粼紟?kù)的表名以方便進(jìn)行溯源。數(shù)據(jù)加工過程設(shè)計(jì)是資源庫(kù)設(shè)計(jì)中最核心的部分，這部分要進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)元的設(shè)計(jì)，以及原始數(shù)據(jù)和標(biāo)準(zhǔn)數(shù)據(jù)元的關(guān)聯(lián)設(shè)計(jì)，從而將資源庫(kù)的數(shù)據(jù)處理成符合標(biāo)準(zhǔn)的數(shù)據(jù)。 5.4.1.3 主題庫(kù) 主題庫(kù)是按照應(yīng)急管理信息要素將應(yīng)急數(shù)據(jù)按災(zāi)害事故、救援物資與裝備、組織機(jī)構(gòu)、危險(xiǎn)源等進(jìn)行分類，為數(shù)據(jù)應(yīng)用和產(chǎn)品提供公共數(shù)據(jù)服務(wù)，降低用戶理解和獲取數(shù)據(jù)的難度，降低數(shù)據(jù)加工的深度和復(fù)雜度，提升數(shù)據(jù)應(yīng)用和產(chǎn)品獲取數(shù)據(jù)的效率，保持系統(tǒng)內(nèi)各個(gè)軟件模塊和應(yīng)用服務(wù)間數(shù)據(jù)的一致性。 主題庫(kù)的設(shè)計(jì)需遵循下述規(guī)則： 1、提供統(tǒng)一的數(shù)據(jù)出口 主題庫(kù)中包含了主題相關(guān)的實(shí)體表和實(shí)體間的關(guān)聯(lián)表，以及實(shí)體表的來源表信息。通過關(guān)聯(lián)表以及來源表信息，用戶能快速清晰地了解實(shí)體的數(shù)據(jù)來源，減少了去數(shù)據(jù)庫(kù)中尋找實(shí)體相關(guān)表的時(shí)間，并且由于各個(gè)用戶統(tǒng)一從主題庫(kù)獲取數(shù)據(jù)，數(shù)據(jù)口徑的一致性得到了有效保障。 2、保證實(shí)體的一致性 主題庫(kù)包含主題庫(kù)是按照應(yīng)急管理單位信息要素將應(yīng)急數(shù)據(jù)按災(zāi)害事故、救援物資與裝備、組織機(jī)構(gòu)、危險(xiǎn)源等進(jìn)行分類，為數(shù)據(jù)應(yīng)用和產(chǎn)品提供公共數(shù)據(jù)服務(wù)，降低用戶理解和獲取數(shù)據(jù)的難度，降低數(shù)據(jù)加工的深度和復(fù)雜度，提升數(shù)據(jù)應(yīng)用和產(chǎn)品獲取數(shù)據(jù)的效率，保持系統(tǒng)內(nèi)各個(gè)軟件模塊和應(yīng)用服務(wù)間數(shù)據(jù)的一致性。 主題庫(kù)的設(shè)計(jì)需遵循下述規(guī)則： 1、提供統(tǒng)一的數(shù)據(jù)出口 主題庫(kù)中包含了主題相關(guān)的實(shí)體表和實(shí)體間的關(guān)聯(lián)表，以及實(shí)體表的來源表信息。通過關(guān)聯(lián)表以及來源表信息，用戶能快速清晰地了解實(shí)體的數(shù)據(jù)來源，減少了去數(shù)據(jù)庫(kù)中尋找實(shí)體相關(guān)表的時(shí)間，并且由于各個(gè)用戶統(tǒng)一從主題庫(kù)獲取數(shù)據(jù)，數(shù)據(jù)口徑的一致性得到了有效保障。 2、保證實(shí)體的一致性 主題庫(kù)包含災(zāi)害事故、救援物資與裝備、組織機(jī)構(gòu)、危險(xiǎn)源等實(shí)體，每個(gè)實(shí)體都會(huì)在主題庫(kù)中有唯一的ID，通過這個(gè)唯一的ID，可以獲取實(shí)體在主題庫(kù)中的所有信息，從而保證了實(shí)體的一致性。 3、提供匯總的業(yè)務(wù)數(shù)據(jù)，滿足查詢、統(tǒng)計(jì)、分析等多類應(yīng)用產(chǎn)品的數(shù)據(jù)需求 主題庫(kù)會(huì)根據(jù)業(yè)務(wù)類別，將數(shù)據(jù)從各個(gè)業(yè)務(wù)表中匯聚起來變成匯總后的實(shí)體表和關(guān)聯(lián)表，并且在實(shí)體表和關(guān)聯(lián)表中還會(huì)包含常用的業(yè)務(wù)字段，使得用戶可以方便得從較少的表中獲取所需數(shù)據(jù)，降低了數(shù)據(jù)獲取成本。 主題庫(kù)在數(shù)據(jù)治理體系中位于DWD明細(xì)數(shù)據(jù)層（資源庫(kù)）和DM專題層（專題庫(kù)）中間，對(duì)上游的明細(xì)數(shù)據(jù)打散重構(gòu)形成主題表，對(duì)下游的專題層提供了標(biāo)準(zhǔn)化、一致性的數(shù)據(jù)。上游的明細(xì)數(shù)據(jù)里面包含了不同系統(tǒng)、不同部門的數(shù)據(jù)，數(shù)據(jù)之間存在關(guān)聯(lián)，但是由于沒有進(jìn)行一致性處理，無法達(dá)到數(shù)據(jù)準(zhǔn)確的互通，因此主題庫(kù)將不同系統(tǒng)間的數(shù)據(jù)通過信息要素等實(shí)體進(jìn)行有效的關(guān)聯(lián)，打通了不同系統(tǒng)間的數(shù)據(jù)。主題層完成后，專題層就能根據(jù)特定應(yīng)用需求，快速選取有效數(shù)據(jù)形成專題數(shù)據(jù)。 主題庫(kù)邏輯模型的設(shè)計(jì)應(yīng)采用自頂而下的方法，首先將需求涉及范圍內(nèi)的業(yè)務(wù)對(duì)象從高度概括的信息要素概念層次歸類，即劃分主題域，再針對(duì)各個(gè)主題設(shè)計(jì)實(shí)體關(guān)系圖。 5.4.1.4 專題庫(kù) 專題庫(kù)是主題庫(kù)的數(shù)據(jù)按照專題應(yīng)用的需要重新整合形成的數(shù)據(jù)庫(kù)。專題庫(kù)的建庫(kù)按照專題應(yīng)用業(yè)務(wù)模型，通過二次抽取裝載的方法重新組織數(shù)據(jù)，建立形成滿足應(yīng)急管理專題業(yè)務(wù)應(yīng)用需要的數(shù)據(jù)庫(kù)。 根據(jù)應(yīng)急管理業(yè)務(wù)需求，專題庫(kù)包括包括預(yù)案、案例、應(yīng)急資源、專家等數(shù)據(jù)的收集、整理、清洗、入庫(kù)。 預(yù)案主要包括突發(fā)事件總體應(yīng)急預(yù)案、專項(xiàng)預(yù)案、部門預(yù)案、下級(jí)政府應(yīng)急預(yù)案、大型活動(dòng)應(yīng)急預(yù)案和企事業(yè)單位應(yīng)急預(yù)案等。應(yīng)急預(yù)案按內(nèi)容和形式分為兩種：文本預(yù)案和數(shù)字預(yù)案。文本預(yù)案主要以文本方式組織存儲(chǔ)各級(jí)政府或機(jī)構(gòu)編制好的應(yīng)急預(yù)案。數(shù)字預(yù)案是對(duì)文本預(yù)案中的救援組織、救援隊(duì)伍、程序步驟、措施、職責(zé)、協(xié)調(diào)等內(nèi)容進(jìn)行結(jié)構(gòu)化處理后形成的可程序化執(zhí)行的預(yù)案，包括預(yù)案手冊(cè)中所記錄的所有信息。 案例庫(kù)主要存儲(chǔ)處置突發(fā)事件的歷史案例數(shù)據(jù)、各部門收集的與其專業(yè)領(lǐng)域相關(guān)的專業(yè)案例數(shù)據(jù)及國(guó)內(nèi)外突發(fā)事件典型案例等相關(guān)信息。包括案例基本信息和案例要素。案例包括自然災(zāi)害、事故災(zāi)難、公共衛(wèi)生、社會(huì)安全四大類。 應(yīng)急資源庫(kù)主要存儲(chǔ)應(yīng)急救援物資儲(chǔ)備場(chǎng)所、數(shù)量、內(nèi)容及應(yīng)急救援物資生產(chǎn)企業(yè)，以及救援隊(duì)伍數(shù)據(jù)等數(shù)據(jù)。應(yīng)急資源數(shù)據(jù)實(shí)體包括應(yīng)急物資儲(chǔ)備庫(kù)、應(yīng)急物資、應(yīng)急裝備、應(yīng)急物資生產(chǎn)企業(yè)、救援隊(duì)伍等。應(yīng)急物資儲(chǔ)備庫(kù)數(shù)據(jù)描述應(yīng)急物資儲(chǔ)備庫(kù)的基本情況，包括名稱、類型、級(jí)別、地址、負(fù)責(zé)人、聯(lián)系人、周邊交通狀況、儲(chǔ)備物資等信息。應(yīng)急物資數(shù)據(jù)描述應(yīng)急物資的基本情況，包括名稱、類型、級(jí)別、存放地點(diǎn)、數(shù)量、保質(zhì)期等信息。應(yīng)急裝備包括個(gè)人防護(hù)裝備、通信設(shè)備、探測(cè)設(shè)備、洗消設(shè)備、醫(yī)療設(shè)備、能源設(shè)備、應(yīng)急運(yùn)輸工具等。應(yīng)急裝備數(shù)據(jù)描述各類應(yīng)急裝備的基本情況，包括名稱、類型、級(jí)別、負(fù)責(zé)人、聯(lián)系人、裝備數(shù)量、運(yùn)輸方式等。應(yīng)急物資生產(chǎn)企業(yè)數(shù)據(jù)描述應(yīng)急物資生產(chǎn)企業(yè)的基本情況，包括名稱、類型、級(jí)別、地址、負(fù)責(zé)人、聯(lián)系人、生產(chǎn)物資、生產(chǎn)能力等信息。救援隊(duì)伍數(shù)據(jù)庫(kù)存儲(chǔ)全市綜合性、專業(yè)性應(yīng)急救援機(jī)構(gòu)、隊(duì)伍信息，主要包括：本市區(qū)縣級(jí)以上人民政府建立或確定的綜合性應(yīng)急救援隊(duì)伍信息。各市級(jí)部門、各專業(yè)領(lǐng)域建立的專業(yè)應(yīng)急救援隊(duì)伍信息。應(yīng)急志愿者隊(duì)伍信息。。 專家?guī)齑鎯?chǔ)市政府和市有關(guān)單位、區(qū)縣、企業(yè)的各類應(yīng)急管理專家信息。包括自然災(zāi)害專家、公共衛(wèi)生專家、事故災(zāi)難專家、社會(huì)安全專家、綜合類專家。專家組數(shù)據(jù)描述專家組（庫(kù)）的基本情況，包括專家組名稱、類型、負(fù)責(zé)人、聯(lián)系人、組建單位、人數(shù)、專家組介紹等。專家數(shù)據(jù)描述專家的基本情況，包括姓名、專家類型、性別、出生日期、工作單位、專業(yè)特長(zhǎng)、應(yīng)急工作經(jīng)歷等信息。 5.4.2 應(yīng)急管理配置庫(kù) 5.4.2.1 標(biāo)簽規(guī)則庫(kù) 標(biāo)簽規(guī)則庫(kù)是按照標(biāo)簽?zāi)夸涍M(jìn)行組織的標(biāo)簽規(guī)則集合，每一個(gè)標(biāo)簽規(guī)則由標(biāo)簽名稱、標(biāo)簽加工源數(shù)據(jù)信息、轉(zhuǎn)換規(guī)則信息、統(tǒng)計(jì)周期等信息組成。根據(jù)規(guī)則的定義方式，標(biāo)簽規(guī)則庫(kù)可分為基礎(chǔ)規(guī)則庫(kù)、業(yè)務(wù)規(guī)則庫(kù)、智能標(biāo)簽規(guī)則庫(kù)。 5.4.2.1.1 基礎(chǔ)標(biāo)簽規(guī)則庫(kù) 基礎(chǔ)標(biāo)簽規(guī)則是對(duì)數(shù)據(jù)的某一屬性字段信息進(jìn)行計(jì)算的處理規(guī)則，主要用于生成刻畫災(zāi)害事故、管理對(duì)象、應(yīng)急環(huán)境、救援資源等應(yīng)急管理要素的基礎(chǔ)特征的標(biāo)簽。 5.4.2.1.2 業(yè)務(wù)標(biāo)簽規(guī)則庫(kù) 業(yè)務(wù)標(biāo)簽規(guī)則是基于應(yīng)急管理人員的業(yè)務(wù)經(jīng)驗(yàn)，對(duì)基礎(chǔ)標(biāo)簽規(guī)則進(jìn)行模型關(guān)聯(lián)和邏輯計(jì)算，形成的固化知識(shí)標(biāo)簽生成規(guī)則。 5.4.2.1.3 智能標(biāo)簽庫(kù) 智能標(biāo)簽規(guī)則庫(kù)是基于特征工程、機(jī)器學(xué)習(xí)算法，建立的智能標(biāo)簽?zāi)Ｐ图稀Ｖ悄軜?biāo)簽?zāi)Ｐ涂捎糜趶幕ヂ?lián)網(wǎng)信息、文檔等大量信息中提取可直觀展現(xiàn)對(duì)業(yè)務(wù)主觀認(rèn)識(shí)的標(biāo)簽。 5.4.2.2 知識(shí)庫(kù) 知識(shí)庫(kù)是結(jié)構(gòu)化、易操作、易利用、全面的、有組織的、互相聯(lián)系的知識(shí)集合，是相關(guān)部門在應(yīng)急管理過程中與該領(lǐng)域相關(guān)的基本概念、理論知識(shí)、事實(shí)數(shù)據(jù)，以及所獲得的規(guī)律、常識(shí)性認(rèn)識(shí)、啟發(fā)式規(guī)則和經(jīng)驗(yàn)教訓(xùn)的集合。 本項(xiàng)目針對(duì)常用森林火災(zāi)、地震、危險(xiǎn)化學(xué)品泄漏、臺(tái)風(fēng)暴雨等事故災(zāi)害現(xiàn)場(chǎng)救援必須掌握的知識(shí)，整合森林消防、減災(zāi)中心等部門的應(yīng)急管理知識(shí)，構(gòu)建應(yīng)急管理知識(shí)庫(kù)，為應(yīng)急指揮中的前期處置、物資調(diào)用提供支撐。知識(shí)庫(kù)建設(shè)內(nèi)容包括應(yīng)急基本信息、應(yīng)急速查手冊(cè)、應(yīng)急處置流程、應(yīng)急案例信息、應(yīng)急專家信息與應(yīng)急法規(guī)政策信息。 5.4.2.2.1 應(yīng)急基本信息 應(yīng)急基本信息包括應(yīng)急資源、場(chǎng)景、情況定義和詳細(xì)描述，不同要素的分類，等級(jí)和標(biāo)準(zhǔn)。 5.4.2.2.2 應(yīng)急速查手冊(cè) 應(yīng)急速查手冊(cè)包括災(zāi)害事故的名稱及詳細(xì)描述、應(yīng)急救援過程中應(yīng)急指揮和處置人員應(yīng)特別注意的問題、危險(xiǎn)性類別、作業(yè)人應(yīng)采取的防護(hù)措施以及應(yīng)采取的緊急措施等。 5.4.2.2.3 應(yīng)急處置流程 應(yīng)急處置流程信息包括處置的基本原則、應(yīng)急處置流程圖、處置的基本流程及詳細(xì)描述和各類事故處置的詳細(xì)流程。 5.4.2.2.4 應(yīng)急案例信息 應(yīng)急案例信息主要包括處置突發(fā)事件的歷史案例數(shù)據(jù)、各部門收集的與應(yīng)急專業(yè)領(lǐng)域相關(guān)的專業(yè)案例數(shù)據(jù)及國(guó)內(nèi)外突發(fā)事件典型案例等相關(guān)信息。包括案例基本信息和案例要素。 5.4.2.2.5 應(yīng)急專家信息 應(yīng)急專家信息應(yīng)急管理單位以及有關(guān)單位、區(qū)縣、企業(yè)的各類事件響應(yīng)處置專家信息，包括自然災(zāi)害專家、事故災(zāi)難專家、綜合類專家。專家信息又分為專家組與專家個(gè)人數(shù)據(jù)。其中，專家組數(shù)據(jù)描述專家組（庫(kù)）的基本情況，包括專家組名稱、類型、負(fù)責(zé)人、聯(lián)系人、組建單位、人數(shù)、專家組介紹等。專家數(shù)據(jù)描述專家的基本情況，包括姓名、專家類型、性別、出生日期、工作單位、專業(yè)特長(zhǎng)、城市聯(lián)動(dòng)指揮工作經(jīng)歷等信息。 5.4.2.2.6 應(yīng)急法規(guī)政策 匯集國(guó)內(nèi)外應(yīng)對(duì)突發(fā)事件制定的法規(guī)、政策、應(yīng)對(duì)措施等規(guī)范性文件。可以全方位的了解世界上各個(gè)國(guó)家、地區(qū)，國(guó)內(nèi)各級(jí)政府為應(yīng)對(duì)突發(fā)事件所采取的措施。 5.4.2.3 索引庫(kù) 為應(yīng)用查詢、業(yè)務(wù)搭建提供數(shù)據(jù)索引。 5.4.2.4 日志庫(kù) 軟件全流程、全方位日志記錄。 5.5 數(shù)據(jù)支撐 基于Hadoop架構(gòu)采用分布式數(shù)據(jù)處理技術(shù)，對(duì)外提供海量數(shù)據(jù)的存儲(chǔ)、分析查詢和實(shí)時(shí)流式數(shù)據(jù)處理分析能力。提供數(shù)據(jù)集成、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、數(shù)據(jù)安全管理以及統(tǒng)一資源調(diào)度能力，用于承載數(shù)據(jù)資源池建設(shè)，包括原始庫(kù)、資源庫(kù)、主題庫(kù)、專題庫(kù)、配置庫(kù)、共享庫(kù)等。 安全 架構(gòu)安全：大數(shù)據(jù)支撐平臺(tái)基于開源組件實(shí)現(xiàn)功能增強(qiáng)，保持100%的開放性，不使用私有架構(gòu)和組件。 認(rèn)證安全：基于用戶和角色的認(rèn)證統(tǒng)一體系，遵從帳戶/角色RBAC（Role-Based Access Control）模型，實(shí)現(xiàn)通過角色進(jìn)行權(quán)限管理，對(duì)用戶進(jìn)行批量授權(quán)管理。提供單點(diǎn)登錄，統(tǒng)一了Manager系統(tǒng)用戶和組件用戶的管理及認(rèn)證。對(duì)登錄管理平臺(tái)的用戶進(jìn)行審計(jì)。 文件系統(tǒng)層加密：Hive、HBase可以對(duì)表、字段加密，集群內(nèi)部用戶信息禁止明文存儲(chǔ)。加密靈活：加密算法插件化，可進(jìn)行擴(kuò)充，亦可自行開發(fā)。非敏感數(shù)據(jù)可不加密，不影響性能（加密約有5%性能開銷）。業(yè)務(wù)透明：上層業(yè)務(wù)只需指定敏感數(shù)據(jù)（Hive表級(jí)、HBase列族級(jí)加密），加解密過程業(yè)務(wù)完全不感知。 可靠 NameNode、Hive Server、HMaster、Resources Manager等所有管理節(jié)點(diǎn)組件均實(shí)現(xiàn)HA（High Availability）部署，確保數(shù)據(jù)的可靠性、一致性。 數(shù)據(jù)備份恢復(fù)，支持表級(jí)別全量備份、增量備份，數(shù)據(jù)恢復(fù)（對(duì)本地存儲(chǔ)的業(yè)務(wù)數(shù)據(jù)進(jìn)行完整性校驗(yàn)，在發(fā)現(xiàn)數(shù)據(jù)遭破壞或丟失時(shí)進(jìn)行自恢復(fù)）。 易用 統(tǒng)一運(yùn)維管理，提供界面化的統(tǒng)一安裝、告警、監(jiān)控和集群管理。 易集成，提供北向接口，實(shí)現(xiàn)與企業(yè)現(xiàn)有網(wǎng)管系統(tǒng)集成；當(dāng)前支持Syslog接口，接口消息可通過配置適配現(xiàn)有系統(tǒng)；整個(gè)集群采用統(tǒng)一的集中管理，未來北向接口可根據(jù)需求靈活擴(kuò)展。 易開發(fā)，提供自動(dòng)化的二次開發(fā)助手和開發(fā)樣例，幫助軟件開發(fā)人員快速上手。 5.5.1 數(shù)據(jù)集成 數(shù)據(jù)集成服務(wù)是一個(gè)以設(shè)計(jì)、調(diào)度、監(jiān)控和管理ETL過程為核心功能的服務(wù)。提供同構(gòu)/異構(gòu)數(shù)據(jù)源之間批量數(shù)據(jù)遷移服務(wù)，幫助客戶實(shí)現(xiàn)數(shù)據(jù)自由流動(dòng)。支持客戶各種類型數(shù)據(jù)源之間的數(shù)據(jù)遷移，支持的類型包括：文件系統(tǒng)，關(guān)系數(shù)據(jù)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)，NoSQL，大數(shù)據(jù)服務(wù)等數(shù)據(jù)源。 平臺(tái)提供批量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)、流式數(shù)據(jù)的集成能力，具備接入和遷移各種類型海量數(shù)據(jù)的能力。數(shù)據(jù)接入來源多樣，既有內(nèi)部數(shù)據(jù)也有其他部門數(shù)據(jù)，還有互聯(lián)網(wǎng)數(shù)據(jù)，各數(shù)據(jù)來源的數(shù)據(jù)格式也不一致，在收集的過程中需對(duì)數(shù)據(jù)進(jìn)行規(guī)范化處理，以便于管理使用。 大數(shù)據(jù)基礎(chǔ)平臺(tái)軟件要完成從傳統(tǒng)數(shù)據(jù)庫(kù)到大數(shù)據(jù)平臺(tái)的數(shù)據(jù)采集，包含批量采集和基于流處理的實(shí)時(shí)采集，主要提供如下組件能力： 支持從傳統(tǒng)數(shù)據(jù)庫(kù)到大數(shù)據(jù)平臺(tái)的雙向數(shù)據(jù)傳輸，可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)（例如：MySQL ,Oracle ,SQLServer等）中的數(shù)據(jù)導(dǎo)入到大數(shù)據(jù)分布式文件系統(tǒng)中，也可以將分布式文件系統(tǒng)的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫(kù)中。 提供高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。 提供實(shí)時(shí)的、分布式以及具備高容錯(cuò)的流處理系統(tǒng)，能夠與實(shí)時(shí)消息系統(tǒng)交互，完成實(shí)時(shí)數(shù)據(jù)的采集。 提供高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，通過消息的封裝完成實(shí)時(shí)數(shù)據(jù)的傳遞。 5.5.1.1 批量數(shù)據(jù)集成 實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)與關(guān)系型數(shù)據(jù)庫(kù)、文件系統(tǒng)之間交換“數(shù)據(jù)”、“文件”，既可以將數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫(kù)或者文件服務(wù)器導(dǎo)入到HDFS/HBase中，同時(shí)也支持反過來從HDFS/HBase導(dǎo)出到關(guān)系型數(shù)據(jù)庫(kù)或者文件服務(wù)器中。Loader是在開源Sqoop組件的基礎(chǔ)上進(jìn)行了一些擴(kuò)展，實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)與關(guān)系型數(shù)據(jù)庫(kù)、文件系統(tǒng)之間交換“數(shù)據(jù)”、“文件”，既可以將數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫(kù)或者文件服務(wù)器導(dǎo)入到HDFS/HBase中，同時(shí)也支持反過來從HDFS/HBase導(dǎo)出到關(guān)系型數(shù)據(jù)庫(kù)或者文件服務(wù)器中。 Loader功能包括： 1.通過MapReduce實(shí)現(xiàn)并行執(zhí)行和容錯(cuò) Loader通過MapReduce作業(yè)實(shí)現(xiàn)并行的導(dǎo)入或者導(dǎo)出作業(yè)任務(wù)，不同類型的導(dǎo)入導(dǎo)出作業(yè)可能只包含Map階段或者同時(shí)Map和Reduce階段。 Loader同時(shí)利用MapReduce實(shí)現(xiàn)容錯(cuò)，在作業(yè)任務(wù)執(zhí)行失敗時(shí)，可以重新調(diào)度。 2.數(shù)據(jù)導(dǎo)入到HBase 在MapReduce作業(yè)的Map階段中從外部數(shù)據(jù)源抽取數(shù)據(jù)。在Reduce階段中，按Region的個(gè)數(shù)啟動(dòng)同樣個(gè)數(shù)的Reduce Task，Reduce Task從Map接收數(shù)據(jù)，然后按Region生成HFile，存放在HDFS臨時(shí)目錄中。在MapReduce作業(yè)的提交階段，將HFile從臨時(shí)目錄遷移到HBase目錄中。 3.數(shù)據(jù)導(dǎo)入HDFS 在MapReduce作業(yè)的Map階段中從外部數(shù)據(jù)源抽取數(shù)據(jù)，并將數(shù)據(jù)輸出到HDFS臨時(shí)目錄下。在MapReduce作業(yè)的提交階段，將文件從臨時(shí)目錄遷移到輸出目錄中。 4.數(shù)據(jù)導(dǎo)出到關(guān)系型數(shù)據(jù)庫(kù) 在MapReduce作業(yè)的Map階段，從HDFS或者HBase中抽取數(shù)據(jù)，然后將數(shù)據(jù)通過JDBC接口插入到臨時(shí)表（Staging Table）中。在MapReduce作業(yè)的提交階段，將數(shù)據(jù)從臨時(shí)表遷移到正式表中。 5.數(shù)據(jù)導(dǎo)出到文件系統(tǒng) 在MapReduce作業(yè)的Map階段，從HDFS或者HBase中抽取數(shù)據(jù)，然后將數(shù)據(jù)寫入到文件服務(wù)器臨時(shí)目錄中。在MapReduce作業(yè)的提交階段，將文件從臨時(shí)目錄遷移到正式目錄中。 5.5.1.2 實(shí)時(shí)數(shù)據(jù)集成 Apache Flume是一個(gè)廣泛使用的大規(guī)模分布式數(shù)據(jù)收集工具，它可以監(jiān)聽特定的端口（UDP、RPC端口），從而獲得流過端口的數(shù)據(jù)，并且支持多樣化的插件體系，在收集端對(duì)數(shù)據(jù)進(jìn)行過濾等處理，在匯聚端則允許將數(shù)據(jù)直接輸入到大數(shù)據(jù)分布式存儲(chǔ)HDFS。 Flume作為一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。其中Flume-NG是Flume 的一個(gè)分支，其目的是要明顯簡(jiǎn)單，體積更小，更容易部署。 5.5.1.3 分布式消息隊(duì)列 Kafka是一個(gè)分布式的、分區(qū)的、多副本的消息發(fā)布-訂閱系統(tǒng)，它提供了類似于JMS的特性，但在設(shè)計(jì)上完全不同，它具有消息持久化、高吞吐、分布式、多客戶端支持、實(shí)時(shí)等特性，適用于離線和在線的消息消費(fèi)，如常規(guī)的消息收集、網(wǎng)站活性跟蹤、聚合統(tǒng)計(jì)系統(tǒng)運(yùn)營(yíng)數(shù)據(jù)（監(jiān)控?cái)?shù)據(jù)）、日志收集等大量數(shù)據(jù)的互聯(lián)網(wǎng)服務(wù)的數(shù)據(jù)收集場(chǎng)景。 5.5.2 數(shù)據(jù)存儲(chǔ) 應(yīng)急管理接入的數(shù)據(jù)類型包含數(shù)據(jù)庫(kù)表等結(jié)構(gòu)化數(shù)據(jù)、視頻圖片等非結(jié)構(gòu)化數(shù)據(jù)，要求大數(shù)據(jù)基礎(chǔ)平臺(tái)采用分布式文件系統(tǒng)實(shí)現(xiàn)對(duì)匯聚的多類型海量數(shù)據(jù)的存儲(chǔ)，要求提供如下組件及能力： 提供高度容錯(cuò)性的分布式文件系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。它能提供高吞吐量的數(shù)據(jù)訪問，適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。 提供高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，以鍵值對(duì)的形式承載海量結(jié)構(gòu)化、半結(jié)構(gòu)化以及非結(jié)構(gòu)化數(shù)據(jù)。 支持大數(shù)據(jù)計(jì)算與存儲(chǔ)分離技術(shù)，解決應(yīng)急數(shù)據(jù)治理系統(tǒng)中存儲(chǔ)架構(gòu)適配性，提供大數(shù)據(jù)多集群的統(tǒng)一數(shù)據(jù)存儲(chǔ)底座，解決計(jì)算、存儲(chǔ)非等比擴(kuò)容需求，提高大數(shù)據(jù)存儲(chǔ)資源利用率。CPU資源不足時(shí)，擴(kuò)容計(jì)算型服務(wù)節(jié)點(diǎn)，存儲(chǔ)資源不足時(shí)，擴(kuò)容存儲(chǔ)型服務(wù)節(jié)點(diǎn)。 5.5.2.1 分布式文件存儲(chǔ) HDFS是Hadoop的分布式文件系統(tǒng)，實(shí)現(xiàn)大規(guī)模數(shù)據(jù)可靠的分布式讀寫。HDFS針對(duì)的使用場(chǎng)景是數(shù)據(jù)讀寫具有“一次寫，多次讀”的特征，而數(shù)據(jù)“寫”操作是順序?qū)?，也就是在文件?chuàng)建時(shí)的寫入或者在現(xiàn)有文件之后的添加操作。HDFS保證一個(gè)文件在一個(gè)時(shí)刻只被一個(gè)調(diào)用者執(zhí)行寫操作，而可以被多個(gè)調(diào)用者執(zhí)行讀操作。 HDFS分布式文件存儲(chǔ)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，提供了海量數(shù)據(jù)的分布式存儲(chǔ)。對(duì)于以文件方式存儲(chǔ)的數(shù)據(jù)，比較適合該類存儲(chǔ)方式。但采集的數(shù)據(jù)存在著不同大小文件并存的情況，按大小可大致劃分為小文件（1MB以下）、中文件（1MB到500MB）、大文件（500MB以上），且文件數(shù)量非常多，為保證存儲(chǔ)這些文件的同時(shí)能夠提供快速讀取的能力，分布式存儲(chǔ)要能夠滿足該目標(biāo)而提供相應(yīng)小文件、中文件和大文件的存儲(chǔ)檢索方案，對(duì)外能提供統(tǒng)一接口進(jìn)行訪問，客戶端在訪問分布式存儲(chǔ)時(shí)不需了解底層存儲(chǔ)方式，由分布式存儲(chǔ)統(tǒng)一調(diào)配相應(yīng)優(yōu)化方式實(shí)現(xiàn)文件快速存儲(chǔ)和檢索。分布式文件系統(tǒng)要支持6億以上文件存儲(chǔ)能力。 HDFS支持?jǐn)?shù)據(jù)分級(jí)存儲(chǔ)，把不同熱度的數(shù)據(jù)存儲(chǔ)于不同的介質(zhì)（SSD/SAS/SATA）。同時(shí)針對(duì)冷數(shù)據(jù)，可采用HDFS-EC通過Erasured Code機(jī)制來降低副本數(shù)量的同時(shí)確保HDFS數(shù)據(jù)的可用性沒有下降。 分布式文件存儲(chǔ)能夠提供FTP/SFTP接口，以便傳統(tǒng)應(yīng)用可以不修改代碼訪問HDFS。 5.5.2.2 分布式列數(shù)據(jù)庫(kù) HBase是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)。 HBase適合于存儲(chǔ)大表數(shù)據(jù)（表的規(guī)模可以達(dá)到數(shù)十億行以及數(shù)百萬列），并且對(duì)大表數(shù)據(jù)的讀、寫訪問可以達(dá)到實(shí)時(shí)級(jí)別。利用Hadoop HDFS作為其文件存儲(chǔ)系統(tǒng)，提供高可靠性、高性能、列存儲(chǔ)、可伸縮、實(shí)時(shí)讀寫的數(shù)據(jù)庫(kù)系統(tǒng)。 為Spark和Hadoop MapReduce提供海量數(shù)據(jù)實(shí)時(shí)處理能力。 以HBase為代表的NoSQL數(shù)據(jù)庫(kù)適合于存儲(chǔ)較簡(jiǎn)單的數(shù)據(jù)模型，并且可以不受模式的約束。因而其可存儲(chǔ)管理的數(shù)據(jù)類型更豐富；大數(shù)據(jù)技術(shù)同時(shí)適合進(jìn)行一致性與事務(wù)性要求不高的計(jì)算（主要是指NoSQL的查詢操作），以及對(duì)超大規(guī)模海量數(shù)據(jù)的、批量的分布式并行計(jì)算。需要注意的是，NoSQL數(shù)據(jù)庫(kù)由于擺脫了繁瑣的SQL體系約束，其查詢與插入的效率比傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)要更高。 NoSQL數(shù)據(jù)存儲(chǔ)一般采用面向列的存儲(chǔ)方式，其存儲(chǔ)結(jié)構(gòu)保證了數(shù)據(jù)表的列可擴(kuò)展性和讀寫I/O的高吞吐性。Key-Value方式存儲(chǔ)，Rowkey用戶自由定制，用戶可根據(jù)應(yīng)用的具體需要將相關(guān)的一些查詢邏輯封裝在Rowkey生成規(guī)則中，從而提高系統(tǒng)查詢效率。 在大數(shù)據(jù)應(yīng)用中，經(jīng)常遇到結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)共同組成一個(gè)完整的數(shù)據(jù)，并且兩個(gè)數(shù)據(jù)加起來都不大的情況。比如銀行辦理業(yè)務(wù)時(shí)產(chǎn)生的交易數(shù)據(jù)和高拍儀拍攝的圖像數(shù)據(jù)，交警卡口產(chǎn)生的過車識(shí)別結(jié)構(gòu)化數(shù)據(jù)和車相關(guān)的視頻關(guān)鍵幀數(shù)據(jù)等。伴隨結(jié)構(gòu)化數(shù)據(jù)的是一些大小為幾百K字節(jié)、幾兆字節(jié)大小的非結(jié)構(gòu)化文件，也有少部分幾十兆或者更大的文件。 HBase具有能夠存儲(chǔ)海量結(jié)構(gòu)化數(shù)據(jù)的優(yōu)勢(shì)，HDFS具有存儲(chǔ)海量大小的超大文件的優(yōu)勢(shì)，本次大數(shù)據(jù)中心建設(shè)將結(jié)合二者合，基于兩個(gè)部件的接口封裝，提供超混合存儲(chǔ)HFS（HBase File Stream），封裝后的接口允許應(yīng)用能夠自由的進(jìn)行大小文件的讀寫，HFS將會(huì)自動(dòng)的把結(jié)構(gòu)化數(shù)據(jù)信息存儲(chǔ)到HBase，將與之對(duì)應(yīng)的非結(jié)構(gòu)化文件進(jìn)行打包，確保HDFS文件系統(tǒng)看到的是遠(yuǎn)大于單個(gè)塊（Block）大小的大文件，降低對(duì)Name Nodede元數(shù)據(jù)容量沖擊。 5.5.2.3 數(shù)據(jù)倉(cāng)庫(kù) Hive是建立在Hadoop上的數(shù)據(jù)倉(cāng)庫(kù)框架，提供大數(shù)據(jù)平臺(tái)批處理計(jì)算能力，能夠?qū)Y(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行批量分析匯總完成數(shù)據(jù)計(jì)算。提供類似SQL的Hive Query Language語言操作結(jié)構(gòu)化數(shù)據(jù)，其基本原理是將HQL語言自動(dòng)轉(zhuǎn)換成MapReduce任務(wù)，從而完成對(duì)Hadoop集群中存儲(chǔ)的海量數(shù)據(jù)進(jìn)行查詢和分析。 Hive支持對(duì)表的某一列或者多列進(jìn)行加密。在創(chuàng)建Hive表時(shí)，可以指定要加密的列和加密算法。當(dāng)使用insert語句向表中插入數(shù)據(jù)時(shí)，即可將對(duì)應(yīng)的列進(jìn)行加密。 由于底層存儲(chǔ)系統(tǒng)的原因， Hive并不能支持對(duì)單條表數(shù)據(jù)進(jìn)行刪除操作，但在Hive on HBase功能中，提供了對(duì)HBase表的單條數(shù)據(jù)的刪除功能，通過特定的語法， Hive可以將自己的HBase表中符合條件的一條或者多條數(shù)據(jù)清除。 5.5.2.4 分布式關(guān)系型數(shù)據(jù)倉(cāng)庫(kù) 適合于存儲(chǔ)關(guān)系復(fù)雜的數(shù)據(jù)模型，并且需要限制為基于二維表的關(guān)系模型；同時(shí)適合進(jìn)行一致性與事務(wù)性要求高的計(jì)算，因此元數(shù)據(jù)、統(tǒng)計(jì)值等結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在分布式關(guān)系數(shù)據(jù)庫(kù)中。在查詢時(shí)調(diào)度多節(jié)點(diǎn)并發(fā)執(zhí)行提升響應(yīng)性能，采用基于代價(jià)模型的查詢優(yōu)化能力，結(jié)合數(shù)據(jù)分布情況選擇最優(yōu)的查詢和處理方案，支持復(fù)雜多維分析查詢。同時(shí)，在數(shù)據(jù)庫(kù)組織結(jié)構(gòu)、訪問接口（JDBC等）、SQL語法、存儲(chǔ)過程、權(quán)限管理等多方面高度兼容關(guān)系型數(shù)據(jù)庫(kù)。 支持通過開放標(biāo)準(zhǔn)SQL接口實(shí)現(xiàn)復(fù)雜查詢。通過分布列散列算法和分區(qū)路由算法避免數(shù)據(jù)偏斜導(dǎo)致單節(jié)點(diǎn)計(jì)算或存儲(chǔ)性能瓶頸，提供整集群近似線性擴(kuò)展能力。 支持標(biāo)準(zhǔn)的SQL92/SQL2003規(guī)范，支持GBK和UTF-8字符集，支持SQL標(biāo)準(zhǔn)函數(shù)與分析函數(shù)，支持存儲(chǔ)過程。支持表空間，支持在線擴(kuò)容功能。提供組件管理和數(shù)據(jù)節(jié)點(diǎn)HA。支持?jǐn)?shù)據(jù)庫(kù)事務(wù)ACID特性（即原子性Atomicity、一致性Consistency、隔離性Isolation和持久性Durability），支持單節(jié)點(diǎn)故障恢復(fù)，支持負(fù)載均衡等。支持標(biāo)準(zhǔn)JDBC 4.0的特性和ODBC 3.5特性。 支持SSL安全網(wǎng)絡(luò)連接、用戶權(quán)限管理、密碼管理、安全審計(jì)等功能，保證數(shù)據(jù)庫(kù)在管理層、應(yīng)用層、系統(tǒng)層和網(wǎng)絡(luò)層的安全性。 基于海量數(shù)據(jù)查詢統(tǒng)計(jì)分析能力與事務(wù)處理能力，行列混存技術(shù)同時(shí)滿足聯(lián)機(jī)事務(wù)處理OLTP（On-Line Transaction Processing）與聯(lián)機(jī)分析處理OLAP（Online Analytical Processing）混合負(fù)載場(chǎng)景。 支持分布式x86架構(gòu)、與ARM架構(gòu)，客戶硬件投資成本低。 支持標(biāo)準(zhǔn)的SQL92/SQL2003規(guī)范，支持客戶應(yīng)用系統(tǒng)平滑遷移。 支持集群最大可擴(kuò)展至1000個(gè)節(jié)點(diǎn)，滿足PB級(jí)大數(shù)據(jù)分析能力。 5.5.2.5 內(nèi)存數(shù)據(jù)庫(kù) Redis是一個(gè)開源的，基于網(wǎng)絡(luò)的，高性能的key-value數(shù)據(jù)庫(kù)，彌補(bǔ)了memcached這類key-value存儲(chǔ)的不足，在部分場(chǎng)合可以對(duì)關(guān)系數(shù)據(jù)庫(kù)起到很好的補(bǔ)充作用，滿足實(shí)時(shí)的高并發(fā)需求。 Redis跟memcached類似，不過數(shù)據(jù)可以持久化，而且支持的數(shù)據(jù)類型很豐富。支持在服務(wù)器端計(jì)算集合的并、交和補(bǔ)集(difference)等，還支持多種排序功能。 支持一主一從模式的Redis集群，系統(tǒng)自動(dòng)計(jì)算節(jié)點(diǎn)上可安裝的Redis實(shí)例個(gè)數(shù)并分配主從關(guān)系。 當(dāng)集群需要提供大規(guī)模的處理能力時(shí)，可以一鍵式擴(kuò)容一對(duì)或多對(duì)主從實(shí)例。在此過程中，系統(tǒng)會(huì)自動(dòng)完成數(shù)據(jù)遷移和數(shù)據(jù)平衡，用戶無需關(guān)注。 出現(xiàn)擴(kuò)容異常、部分實(shí)例掉線等異常場(chǎng)景時(shí)， Redis集群中的數(shù)據(jù)可能會(huì)分布不均勻，此時(shí)可以通過管理界面上提供的Balance功能，讓系統(tǒng)自動(dòng)對(duì)集群數(shù)據(jù)進(jìn)行平衡，保證集群的健康運(yùn)行。 系統(tǒng)提供Redis集群的性能監(jiān)控功能，可以通過直觀的曲線圖方式，了解當(dāng)前Redis集群、實(shí)例的TPS吞吐量情況。 系統(tǒng)為Redis集群提供了多種告警，例如集群下線告警、持久化失敗告警、槽位分布不均告警、主備倒換事件、集群高可靠性受損告警等，甚至主從實(shí)例內(nèi)存大小不一致都可以自動(dòng)上報(bào)告警。豐富的告警幫助用戶更加輕松的進(jìn)行Redis集群的監(jiān)控和管理。 5.5.2.6 全文檢索庫(kù) ElasticSearch是一個(gè)基于Lucene的搜索服務(wù)器。它提供了一個(gè)分布式多用戶能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java開發(fā)的，并作為Apache許可條款下的開放源碼發(fā)布，是當(dāng)前流行的企業(yè)級(jí)搜索引擎。Elasticsearch通過API提供豐富訪問接口，使用集群發(fā)現(xiàn)機(jī)制，支持腳本語言，支持豐富的插件。底層基于Lucene，保持Lucene絕對(duì)的獨(dú)立性，通過本地文件、共享文件、 HDFS完成索引存儲(chǔ)。 實(shí)現(xiàn)Elasticsearch實(shí)例的內(nèi)存、 CPU和磁盤IO的監(jiān)控，以及index、 shard狀態(tài)監(jiān)控和告警。 提供基于用戶/角色劃分的index權(quán)限控制功能。提供Kerberos認(rèn)證，保障了索引數(shù)據(jù)的安全性。 Solr是一個(gè)高性能，基于Lucene的全文檢索服務(wù)器。Solr對(duì)Lucene進(jìn)行了擴(kuò)展，提供了比Lucene更為豐富的查詢語言，同時(shí)實(shí)現(xiàn)了可配置、可擴(kuò)展，并對(duì)查詢性能進(jìn)行了優(yōu)化，并且提供了一個(gè)完善的功能管理界面，是一款非常優(yōu)秀的全文檢索引擎。SolrCloud是從Solr 4.0版本開始開發(fā)出的具有開創(chuàng)意義的分布式索引和搜索方案，基于Solr和Zookeeper進(jìn)行開發(fā)的；Solr可以以多種方式部署，例如單機(jī)方式，多機(jī)Master-Slaver方式，但這些方式部署的Solr不具有SolrCloud的特色功能： 利用ZooKeeper作為協(xié)同服務(wù)，啟動(dòng)時(shí)可以指定把Solr的相關(guān)配置文件上傳Zookeeper，多機(jī)器共用。這些Zookeeper中的配置不會(huì)再拿到本地緩存，Solr直接讀取Zookeeper中的配置信息。配置文件的變動(dòng)，所有機(jī)器都可以感知到。 自動(dòng)容錯(cuò)，SolrCloud對(duì)索引（collection）進(jìn)行分片（shard），并對(duì)每個(gè)分片創(chuàng)建多個(gè)Replica。每個(gè)Replica都可以獨(dú)立對(duì)外提供服務(wù)。一個(gè)Replica掛掉不會(huì)影響整個(gè)索引搜索服務(wù)；更強(qiáng)大的是，它還能自動(dòng)的在其它機(jī)器上把失敗機(jī)器上的索引Replica重建并投入使用。 索引和查詢時(shí)的自動(dòng)負(fù)載均衡，SolrCloud索引（collection）的多個(gè)Replica可以分布在多臺(tái)機(jī)器上，均衡索引和查詢壓力。如果索引和查詢壓力大，可以通過擴(kuò)展機(jī)器，增加Replica來減緩壓力。因此，下面的介紹主要是圍繞SolrCloud展開描述的。 Solr索引數(shù)據(jù)存放到本地磁盤，提供了更加快速的索引和查詢速度；SolrCloud可以多實(shí)例部署，可以實(shí)現(xiàn)并發(fā)寫與讀，提高索引與查詢性能。 5.5.3 數(shù)據(jù)計(jì)算 大數(shù)據(jù)基礎(chǔ)平臺(tái)軟件提供對(duì)海量數(shù)據(jù)匯總后的多種數(shù)據(jù)并行處理框架，大數(shù)據(jù)分析的處理速度、準(zhǔn)確度對(duì)實(shí)戰(zhàn)的及時(shí)性、高效性都有至關(guān)重要的影響。大數(shù)據(jù)資源池提供分布式計(jì)算、流式計(jì)算、內(nèi)存計(jì)算多種數(shù)據(jù)計(jì)算引擎，能夠針對(duì)不同的場(chǎng)景采用不同的計(jì)算模型，對(duì)數(shù)據(jù)進(jìn)行大規(guī)模批量處理或者實(shí)時(shí)處理，大大提升大數(shù)據(jù)管理中心的實(shí)戰(zhàn)能力。同時(shí)面向領(lǐng)域的分析語言（DSL），包括面向數(shù)倉(cāng)的Hive，面向數(shù)據(jù)挖掘的SpakrSQL 和面向流處理的CQL（Continuous Query Language），具備對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的進(jìn)行多層次處理的能力，具備離線計(jì)算、流式計(jì)算、實(shí)時(shí)分析、機(jī)器學(xué)習(xí)等能力。 計(jì)算框架本身，也是在快速的發(fā)展中，幾年前MarpReduce是唯一，目前已經(jīng)快速出現(xiàn)并開始廣泛流行的是Spark/Storm，同時(shí)包括Tez、Flink等計(jì)算框架也在借助自己的優(yōu)勢(shì)在推動(dòng)中。 不同計(jì)算框架具有各自獨(dú)特的優(yōu)勢(shì)，選擇時(shí)的考慮點(diǎn)如下： MapReduce具有超大數(shù)據(jù)量處理非常穩(wěn)定的優(yōu)勢(shì)，其追求在穩(wěn)定，Tez在性能方面有很大提升，同時(shí)借助支持Hive，構(gòu)成了基于Hive運(yùn)算的鐵三角，對(duì)于大容量表的碰撞，可以考慮使用Hive（基于MapReduce或者Tez）的技術(shù)。 Spark由于專門針對(duì)大內(nèi)容和迭代計(jì)算進(jìn)行了優(yōu)化，在進(jìn)行機(jī)器學(xué)習(xí)等算法運(yùn)行的時(shí)候具有優(yōu)勢(shì)，一些最新的機(jī)器學(xué)習(xí)庫(kù)（Spark MLlib等）也構(gòu)筑在Spark之上，所以進(jìn)行機(jī)器學(xué)習(xí)時(shí)Spark是首選。同時(shí)目前行業(yè)中也在進(jìn)行將Hive遷移到Spark的實(shí)踐，希望在具有對(duì)應(yīng)用接口不變（為Hive）的同時(shí)，獲取到Spark的高性能優(yōu)勢(shì)，目前這塊還在發(fā)展中，對(duì)于大容量數(shù)據(jù)集的計(jì)算（比如多個(gè)超大表的碰撞）有時(shí)還不夠穩(wěn)定。 Flink是一個(gè)批處理和流處理結(jié)合的統(tǒng)一計(jì)算框架，其核心是一個(gè)提供了數(shù)據(jù)分發(fā)以及并行化計(jì)算的流數(shù)據(jù)處理引擎。它的最大亮點(diǎn)是流處理，是業(yè)界最頂級(jí)的開源流處理引擎。Flink最適合的應(yīng)用場(chǎng)景是低時(shí)延的數(shù)據(jù)處理（Data Processing）場(chǎng)景：高并發(fā)pipeline處理數(shù)據(jù)，時(shí)延毫秒級(jí)，且兼具可靠性。 綜合以上討論，建議計(jì)算引擎的選擇考慮以下幾個(gè)基本準(zhǔn)則： 1.需要進(jìn)行超大容量的多表碰撞的，選擇Hive 2.需要進(jìn)行機(jī)器學(xué)習(xí)等迭代計(jì)算為主要特征的，選擇Spark 3.需要與傳統(tǒng)的數(shù)據(jù)分析、展示系統(tǒng)對(duì)接，數(shù)據(jù)為結(jié)構(gòu)化，要求高性能的數(shù)據(jù)，采用SQL引擎作為計(jì)算引擎（MPPDB） 4.實(shí)時(shí)流處理采用Flink 5.5.3.1 離線計(jì)算能力 離線處理，通常是指對(duì)海量數(shù)據(jù)進(jìn)分析和處理，形成結(jié)果數(shù)據(jù)，供下一步數(shù)據(jù)應(yīng)用使用的場(chǎng)景。離線處理對(duì)處理時(shí)間要求不高，但是所處理數(shù)據(jù)量較大，占用計(jì)算存儲(chǔ)資源較多，通常通過MR或者Spark作業(yè)或者SQL作業(yè)實(shí)現(xiàn)。 離線處理場(chǎng)景的典型特點(diǎn)和核心能力是： 1.集群規(guī)模最大能力——數(shù)據(jù)量大，用戶數(shù)據(jù)量最大超過5PB，大于1000節(jié)點(diǎn) 2.數(shù)據(jù)權(quán)限和資源隔離（多租戶）——多種離線處理作業(yè)同時(shí)運(yùn)行，需要不同的數(shù)據(jù)權(quán)限和資源調(diào)度，避免越權(quán)訪問和搶占資源 3.接口與開源兼容——客戶通常存在存量離線處理應(yīng)用，需要遷移到數(shù)據(jù)治理系統(tǒng) 4.支持多數(shù)據(jù)源，多種數(shù)據(jù)加載方式——數(shù)據(jù)源存放在多種類型來源，存在多種類型數(shù)據(jù)，存在多種數(shù)據(jù)格式 5.滾動(dòng)升級(jí)——離線處理是客戶大數(shù)據(jù)系統(tǒng)的基礎(chǔ)，停機(jī)升級(jí)無法忍受 6.支持作業(yè)調(diào)度管理——多種離線作業(yè)存在不同的優(yōu)先級(jí)，不同的運(yùn)行時(shí)間，需要多種調(diào)度策略管理，對(duì)異常、失敗作業(yè)進(jìn)行監(jiān)控 7.支持異構(gòu)設(shè)備——支持異構(gòu)設(shè)備，客戶擴(kuò)容時(shí)支持配置升級(jí)的設(shè)備，并且支持新舊設(shè)備區(qū)分使用 8.支持冷熱數(shù)據(jù)分級(jí)存儲(chǔ)——用戶數(shù)據(jù)熱度不同，希望有分級(jí)存儲(chǔ)策略，達(dá)到性能和成本的平衡 9. 支持與第三方軟件對(duì)接（可視化、分析挖掘、報(bào)表、元數(shù)據(jù)等）——對(duì)接多種第三方工具，方便進(jìn)行數(shù)據(jù)進(jìn)一步的分析和管理 5.5.3.2 實(shí)時(shí)流處理能力 實(shí)時(shí)流處理，通常是指對(duì)實(shí)時(shí)數(shù)據(jù)源進(jìn)行快速分析，迅速觸發(fā)下一步動(dòng)作的場(chǎng)景。實(shí)時(shí)數(shù)據(jù)對(duì)分析處理速度要求極高，數(shù)據(jù)處理規(guī)模巨大，對(duì)CPU和內(nèi)存要求很高，但是通常數(shù)據(jù)不落地，對(duì)存儲(chǔ)量要求不高。實(shí)時(shí)處理，通常通過Spark Streaming或者Flink任務(wù)實(shí)現(xiàn)。 實(shí)時(shí)流處理場(chǎng)景的典型特點(diǎn)和核心能力是： 1.處理速度快：端到端處理需要達(dá)到秒級(jí)，流處理平臺(tái)負(fù)責(zé)的數(shù)據(jù)采集和數(shù)據(jù)處理要在1秒內(nèi)完成。如風(fēng)控項(xiàng)目要求單條數(shù)據(jù)處理時(shí)間達(dá)到秒級(jí)，單節(jié)點(diǎn)TPS大于2000。 2.吞吐量高：需在短時(shí)內(nèi)接收并處理大量數(shù)據(jù)記錄，吞吐量需要達(dá)到數(shù)十兆/秒/節(jié)點(diǎn)。 3.抗震性強(qiáng)：為應(yīng)對(duì)數(shù)據(jù)源端業(yè)務(wù)數(shù)據(jù)產(chǎn)生速度會(huì)突然出現(xiàn)峰值的情形，需提供數(shù)據(jù)緩存機(jī)制。 4.可靠性高：網(wǎng)絡(luò)、軟件等故障發(fā)生時(shí)，需保證每條數(shù)據(jù)不丟失，數(shù)據(jù)處理不遺漏、不重復(fù)。 5.水平擴(kuò)展：當(dāng)系統(tǒng)處理能力出現(xiàn)瓶頸后，可通過節(jié)點(diǎn)的水平擴(kuò)展提升處理性能。 6.多數(shù)據(jù)源支持：支持網(wǎng)絡(luò)流、文件、數(shù)據(jù)庫(kù)表、IOT等格式的數(shù)據(jù)源。對(duì)于文件數(shù)據(jù)源，可以處理增量數(shù)據(jù)的加載。 7.數(shù)據(jù)權(quán)限和資源隔離：消息處理、流處理需要有數(shù)據(jù)權(quán)限控制，不同的作業(yè)、用戶可以訪問、處理不同的消息和數(shù)據(jù)。多種流處理應(yīng)用之間要進(jìn)行資源控制和隔離，防止發(fā)生資源爭(zhēng)搶。 8.第三方工具對(duì)接：支持與第三方規(guī)則引擎、決策系統(tǒng)、實(shí)時(shí)推薦系統(tǒng)等對(duì)接。 5.5.3.3 交互查詢能力 交互查詢平臺(tái)主要承載對(duì)數(shù)據(jù)進(jìn)行交互式的分析和查詢，查詢響應(yīng)要求較高，能夠?qū)崿F(xiàn)人機(jī)之間交互，查詢通常比較復(fù)雜。專題庫(kù)的數(shù)據(jù)通常已經(jīng)被預(yù)處理過，按照適合交互查詢的數(shù)據(jù)模型進(jìn)行組織。專題庫(kù)數(shù)據(jù)量巨大，對(duì)CPU和內(nèi)存要求很高，對(duì)于存儲(chǔ)要求也很高。交互查詢方式，以復(fù)雜SQL查詢最為常見，也有簡(jiǎn)單的快讀檢索，多維Cube分析也比較常見。 5.5.3.4 實(shí)時(shí)檢索能力 實(shí)時(shí)檢索，通常是指數(shù)據(jù)實(shí)時(shí)寫入，對(duì)海量數(shù)據(jù)基于索引主鍵實(shí)時(shí)查詢，查詢響應(yīng)要求較高，查詢條件相對(duì)比較簡(jiǎn)單。查詢條件復(fù)雜的可以根據(jù)關(guān)鍵詞在全域數(shù)據(jù)中通過索引搜索主鍵后，通過主鍵查詢。全域數(shù)據(jù)既包含了結(jié)構(gòu)化數(shù)據(jù)又包含了文本等非結(jié)構(gòu)化數(shù)據(jù)。 實(shí)時(shí)檢索處理場(chǎng)景的典型特點(diǎn)和核心能力是： 1.查詢速度快：查詢響應(yīng)時(shí)間要求較高，通常要求在1秒內(nèi)返回結(jié)果 2.高并發(fā)能力：需要同時(shí)支持多用戶查詢，如1秒千級(jí)并發(fā)查詢 3. 數(shù)據(jù)量大：處理數(shù)據(jù)量巨大，通常在PB級(jí)別 4.能夠同時(shí)處理結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù) 5.支持全文檢索功能 5.5.4 數(shù)據(jù)安全管理 應(yīng)急數(shù)據(jù)涉采集面廣，涉及政府單位涉密信息、企事業(yè)單位商業(yè)機(jī)密等，數(shù)據(jù)安全風(fēng)險(xiǎn)高。整體架構(gòu)應(yīng)遵循“零信任”的設(shè)計(jì)理念，建設(shè)數(shù)據(jù)安全防護(hù)系統(tǒng)，從數(shù)據(jù)的采集、交換、存儲(chǔ)、使用、分享等幾個(gè)方面進(jìn)行防護(hù)，確保數(shù)據(jù)在整個(gè)生命周期中的安全性和保密性。 5.5.4.1 用戶認(rèn)證與角色授權(quán) 5.5.4.1.1 用戶認(rèn)證 大數(shù)據(jù)平臺(tái)提供對(duì)外訪問時(shí)，用戶需通過安全認(rèn)證，提供：pki身份認(rèn)證、WebUI身份認(rèn)證、CLI命令行身份認(rèn)證、API身份認(rèn)證等三種方式。 5.5.4.1.1.1 單點(diǎn)登錄功能 用戶在任意Web界頁(yè)面登錄后，組件客戶端登錄，訪問其他各組件Web頁(yè)面，無需再次輸入用戶口令進(jìn)行認(rèn)證。大數(shù)據(jù)平臺(tái)需提供基于Kerberos的統(tǒng)一認(rèn)證，客戶端訪問組件服務(wù)時(shí)，需要經(jīng)過Kerberos機(jī)制認(rèn)證，認(rèn)證通過后才能訪問組件服務(wù)。 5.5.4.1.1.2 應(yīng)用組件API認(rèn)證 大數(shù)據(jù)平臺(tái)的應(yīng)用組件提供對(duì)外的API，用戶在使用這些API時(shí)，必須先進(jìn)行Kerberos認(rèn)證，認(rèn)證通過后才能使用對(duì)應(yīng)的API。 5.5.4.1.1.3 命令行方式訪問 大數(shù)據(jù)平臺(tái)的應(yīng)用組件支持命令行操作，當(dāng)用戶登錄到應(yīng)用組件的節(jié)點(diǎn)上使用應(yīng)用組件的命令之前，需要先進(jìn)行Kerberos認(rèn)證，認(rèn)證通過后，才能使用應(yīng)用組件提供的命令。 5.5.4.1.2 角色授權(quán) 大數(shù)據(jù)資源池提供可視化的多組件統(tǒng)一的集中用戶權(quán)限管理，簡(jiǎn)單易用。同時(shí)提供基于角色的訪問控制（RBAC），預(yù)定義權(quán)限集（角色）可重復(fù)使用，靈活。大數(shù)據(jù)資源池提供統(tǒng)一的用戶管理界面。通過這個(gè)界面，管理員可以進(jìn)行常規(guī)的添加、刪除用戶，以及重置密碼等操作，并可以對(duì)用戶訪問權(quán)限進(jìn)行設(shè)置。 支持對(duì)用戶進(jìn)行劃分，為不同的用戶賦予不同的訪問權(quán)限。對(duì)每個(gè)用戶群設(shè)定最大的訪問權(quán)限，再對(duì)用戶群中具體用戶進(jìn)行權(quán)限設(shè)置，實(shí)現(xiàn)細(xì)粒度劃分，不允許任何用戶超過為其設(shè)定的最大權(quán)限。依據(jù)數(shù)據(jù)敏感性規(guī)則，對(duì)數(shù)據(jù)查詢、數(shù)據(jù)管理、決策系統(tǒng)等功能功能設(shè)置不同的用戶角色，如數(shù)據(jù)查詢、數(shù)據(jù)訪問、數(shù)據(jù)調(diào)用、數(shù)據(jù)管理等。并根據(jù)部門提供的用戶清單設(shè)置不同的角色，分配不同的用戶權(quán)限。 5.5.4.2 數(shù)據(jù)加密 應(yīng)急數(shù)據(jù)基于HBase、Hive、MPP等組件進(jìn)行存儲(chǔ)，為了保證數(shù)據(jù)存儲(chǔ)的安全，數(shù)據(jù)應(yīng)以密文的形式存儲(chǔ)在硬盤上，不會(huì)因?yàn)橛脖P泄露、或底層OS被攻破導(dǎo)致數(shù)據(jù)泄露。 大數(shù)據(jù)平臺(tái)的HBase、Hive，以及MPPDB等組件均需支持透明加密。實(shí)現(xiàn)上層業(yè)務(wù)只需指定敏感數(shù)據(jù)，加解密過程業(yè)務(wù)完全不感知。同時(shí)大數(shù)據(jù)平臺(tái)各組件支持本地?cái)?shù)據(jù)目錄訪問權(quán)限設(shè)置，無權(quán)限用戶禁止訪問數(shù)據(jù)，同時(shí)所有集群內(nèi)部用戶信息禁止明文存儲(chǔ)。 加密算法支持AES128、SM4。 密鑰管理：密鑰由獨(dú)立部署、安全隔離的加密機(jī)生成，可通過角色和權(quán)限配置由專人管理，其他用戶僅可使用；每種加密算法均有各自的密鑰，所有密鑰在數(shù)據(jù)庫(kù)中均加密存儲(chǔ)，讀取的時(shí)候需要提供當(dāng)前用戶的登錄密碼；應(yīng)支持密鑰生命周期管理，且若密鑰已被引用，則不允許修改、刪除； 5.5.4.3 數(shù)據(jù)傳輸加密 5.5.4.3.1 大數(shù)據(jù)平臺(tái)傳輸加密 大數(shù)據(jù)平臺(tái)中的各個(gè)組件，如HDFS、Hive在進(jìn)行數(shù)據(jù)傳輸?shù)臅r(shí)候，應(yīng)通過各種加密手段對(duì)通信協(xié)議進(jìn)行保護(hù)。 HTTP：HDFS支持配置SSL，啟用HTTPS加密通道。 RPC: 組件間的RPC交互使用SASL（Java Simple Authentication and Security Layer）來完成，SASL可配置對(duì)稱密鑰加密的方式來傳輸。 DTP：HDFS Client和DataNode之間的數(shù)據(jù)傳輸是通過Hadoop的DTP（Data Transfer ）來進(jìn)行的。DTP支持3DES和RC4兩種加密方式。 5.5.4.3.2 共享交換傳輸加密 共享交換平臺(tái)負(fù)責(zé)從各參建部門采集信息（庫(kù)表、文件、接口），通常采用發(fā)布訂閱、點(diǎn)對(duì)點(diǎn)、路由轉(zhuǎn)發(fā)等幾種數(shù)據(jù)交換機(jī)制。通過在前置節(jié)點(diǎn)之間的通信應(yīng)采用128位的SSL技術(shù)，或者在各部門之間建設(shè)VPN通道，在共享單位間進(jìn)行可靠傳輸，確保連接的合法性、私有數(shù)據(jù)的保密性。 5.5.4.4 多租戶隔離 大數(shù)據(jù)平臺(tái)需提供可視化的多級(jí)租戶管理，與單位組織結(jié)構(gòu)和業(yè)務(wù)模式相匹配，簡(jiǎn)化系統(tǒng)資源分配與管理： 與單位組織結(jié)構(gòu)相匹配的多級(jí)的租戶模型，不同部門對(duì)應(yīng)不同的租戶，按需動(dòng)態(tài)增刪租戶； 一站式管理租戶資源管理：計(jì)算資源（CPU/內(nèi)存/IO）、存儲(chǔ)資源（HDFS）、服務(wù)資源（HBase…)； 基于linux cgroup容器機(jī)制的租戶資源隔離，為租戶SLA保駕護(hù)航； 租戶資源使用情況實(shí)時(shí)監(jiān)控。 5.5.4.5 安全審計(jì) 大數(shù)據(jù)平臺(tái)支持記錄審計(jì)日志，審計(jì)日志可用于安全事件中定位問題原因及劃分事故責(zé)任，大數(shù)據(jù)資源池審計(jì)日志中記錄了用戶操作信息，可以快速定位系統(tǒng)是否遭受惡意的操作和攻擊。 通過大數(shù)據(jù)審計(jì)系統(tǒng)，實(shí)現(xiàn)對(duì)大數(shù)據(jù)訪問的日志記錄與審計(jì)。 日志采集：在大數(shù)據(jù)資源池和數(shù)據(jù)庫(kù)主機(jī)上安裝代理，收集系統(tǒng)管理和數(shù)據(jù)訪問、計(jì)算等環(huán)節(jié)的日志信息；過濾、聚合和標(biāo)準(zhǔn)化為標(biāo)準(zhǔn)格式。 日志管理：集中收集大數(shù)據(jù)平臺(tái)各組件安全日志并高效長(zhǎng)期儲(chǔ)存，支持搜索、檢索和報(bào)告；實(shí)現(xiàn)合規(guī)和監(jiān)管要求。 事件關(guān)聯(lián)與分析：自動(dòng)分析安全日志以識(shí)別安全事件，威脅，違規(guī)行為和安全趨勢(shì)。 報(bào)告與告警：提供安全報(bào)告，SQL行為、風(fēng)險(xiǎn)行為，政策性（等級(jí)保護(hù)）報(bào)表； 大數(shù)據(jù)審計(jì)系統(tǒng)功能如下： 全面審計(jì)：通過主機(jī)流量探針來捕獲數(shù)據(jù)訪問全流量； 業(yè)務(wù)關(guān)聯(lián)：通過將數(shù)據(jù)訪問行為和業(yè)務(wù)訪問請(qǐng)求關(guān)聯(lián)，將數(shù)據(jù)庫(kù)訪問行為定位到用戶； 合規(guī)報(bào)表：數(shù)據(jù)訪問行為、風(fēng)險(xiǎn)行為，政策性（等級(jí)保護(hù)）報(bào)表； 安全事件追責(zé)：應(yīng)用層訪問審計(jì)、大數(shù)據(jù)平臺(tái)操作審計(jì)、業(yè)務(wù)關(guān)聯(lián)匹配、事后分析追責(zé)； 大數(shù)據(jù)平臺(tái)問題診斷：性能監(jiān)控、資源監(jiān)控、問題診斷； 5.5.5 統(tǒng)一調(diào)度管理 5.5.5.1 資源調(diào)度框架 分布式資源管理Yarn是離線計(jì)算能力、實(shí)時(shí)流處理能力提供支撐，尤其為計(jì)算能力提供計(jì)算資源并協(xié)調(diào)多種計(jì)算框架運(yùn)行在一個(gè)物理集群中。 Yarn的主要功能是對(duì)集群中各類資源進(jìn)行抽象，并根據(jù)各種應(yīng)用程序或者服務(wù)的要求，按照一定的調(diào)度策略，將資源分配給它們使用，同時(shí)需采用一定的資源隔離機(jī)制防止應(yīng)用程序或者服務(wù)之間因資源搶占而相互干擾。YARN調(diào)度器的ACL（訪問控制列表）功能，控制了只有合法身法的租戶，才能往響應(yīng)隊(duì)列提交計(jì)算任務(wù)的權(quán)利。 Yarn作為分布式資源調(diào)度引擎，是整個(gè)系統(tǒng)的調(diào)度核心，具體包括： 1）高性能的調(diào)度：采用容器重用以及專業(yè)的調(diào)度算法提升2倍以上的吞吐量 2）低時(shí)延的調(diào)度：采用異步通知和常駐會(huì)話等機(jī)制，把調(diào)度時(shí)延減低5倍以上 3）針對(duì)多樣化硬件的出現(xiàn)，比如GPU計(jì)算設(shè)施，以及多樣性軟件的出現(xiàn)，包括MapReduce這種短生命周期應(yīng)用，以及HBase、流處理這種超長(zhǎng)生命周期應(yīng)用如何共享資源調(diào)度，提供多維的調(diào)度算法 為了支持多部門共享大數(shù)據(jù)服務(wù)，在有充分安全保證的條件下，基于Yarn實(shí)現(xiàn)多租戶架構(gòu)。多租戶架構(gòu)允許按照組織架構(gòu)來分配集群的各種資源，建立各部門獨(dú)享的虛擬大數(shù)據(jù)集群，在虛擬集群管理員或者用戶控制下，虛擬大數(shù)據(jù)集群間可以共享數(shù)據(jù)等集群資源。租戶的數(shù)據(jù)既有隔離又有共享，相比于“一種計(jì)算框架一個(gè)集群”的模式，共享集群的模式存在多種好處： 資源利用率高 如果每個(gè)框架一個(gè)集群，則往往由于應(yīng)用程序數(shù)量和資源需求的不均衡性，使得在某段時(shí)間內(nèi)，有些計(jì)算框架的集群資源緊張，而另外一些集群資源空閑。共享集群模式則通過多種框架共享資源，使得集群中的資源得到更加充分的利用。 運(yùn)維成本低 如果采用“一個(gè)框架一個(gè)集群”的模式，則可能需要多個(gè)管理員管理這些集群，進(jìn)而增加運(yùn)維成本，而共享模式通常需要少數(shù)管理員即可完成多個(gè)框架的統(tǒng)一管理。 5.5.5.2 管理平臺(tái) 系統(tǒng)管理平臺(tái)提供可視化的運(yùn)管工具，運(yùn)行維護(hù)簡(jiǎn)便，用戶經(jīng)過簡(jiǎn)單培訓(xùn)應(yīng)能自主完成日常運(yùn)維和節(jié)點(diǎn)變更等操作。 系統(tǒng)管理平臺(tái)通過為數(shù)據(jù)支撐平臺(tái)的每一個(gè)部分提供細(xì)粒度的可視化以及管理控制，為Hadoop的企業(yè)級(jí)部署設(shè)定了標(biāo)準(zhǔn)，提高了服務(wù)質(zhì)量并且減少了管理成本。 系統(tǒng)管理平臺(tái)作為運(yùn)維系統(tǒng)，為大數(shù)據(jù)資源池提供高可靠、安全、容錯(cuò)、易用的集群管理能力，可解決在開局、日常維護(hù)、故障處理、業(yè)務(wù)開發(fā)場(chǎng)景下的相關(guān)問題。 系統(tǒng)管理平臺(tái)支持大規(guī)模集群的安裝部署、監(jiān)控、告警、用戶管理、權(quán)限管理、審計(jì)、服務(wù)管理、健康檢查、問題定位、升級(jí)和補(bǔ)丁等，提供如下功能： 一鍵式安裝，單點(diǎn)登錄，統(tǒng)一用戶管理，維護(hù)操作審計(jì)，故障定位，統(tǒng)一監(jiān)控告警，備份恢復(fù)，健康檢查。 5.6 數(shù)據(jù)服務(wù) 通過提供標(biāo)準(zhǔn)化、模板化的應(yīng)用服務(wù)接口來對(duì)外提供大數(shù)據(jù)資源的開放能力，主要包括數(shù)據(jù)基礎(chǔ)服務(wù)、工具引擎服務(wù)以及業(yè)務(wù)應(yīng)用服務(wù)。不同部門、不同單位可通過調(diào)用標(biāo)準(zhǔn)服務(wù)接口實(shí)現(xiàn)對(duì)數(shù)據(jù)資源、模型算法的數(shù)據(jù)服務(wù)訪問，以滿足實(shí)戰(zhàn)應(yīng)用和訂制化開發(fā)的需要。數(shù)據(jù)共享服務(wù)可面向應(yīng)急管理各級(jí)市大數(shù)據(jù)平臺(tái)以及面向外部相關(guān)單位的服務(wù)，所有的服務(wù)都能夠通過資源服務(wù)目錄對(duì)服務(wù)進(jìn)行注冊(cè)、發(fā)布和使用。 5.6.1 數(shù)據(jù)基礎(chǔ)訪問服務(wù) 數(shù)據(jù)基礎(chǔ)訪問服務(wù)是最低層的服務(wù)，應(yīng)能夠通過數(shù)據(jù)存儲(chǔ)訪問中間件，實(shí)現(xiàn)對(duì)平臺(tái)內(nèi)的源數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)等進(jìn)行底層訪問，包括文件系統(tǒng)以及針對(duì)數(shù)據(jù)庫(kù)的DDL和DML操作的表服務(wù)，并實(shí)現(xiàn)數(shù)據(jù)庫(kù)表的創(chuàng)建、查詢、插入、更新、刪除等透明操作。 5.6.2 數(shù)據(jù)索引服務(wù) 提供數(shù)據(jù)資源的位置檢索服務(wù)，通過統(tǒng)一的索引服務(wù)檢索接口，根據(jù)所請(qǐng)求的要素值通過索引服務(wù)可以快速定位到資源的所在中心、所在省市、所在系統(tǒng)、所在庫(kù)表信息等。 5.6.3 元數(shù)據(jù)訪問服務(wù) 提供數(shù)據(jù)資源、服務(wù)資源的元數(shù)據(jù)查詢?cè)L問能力，支持枚舉數(shù)據(jù)資源、獲取數(shù)據(jù)資源的元數(shù)據(jù)信息以及字段結(jié)構(gòu)信息，包括對(duì)應(yīng)的數(shù)據(jù)元信息等。 5.6.4 數(shù)據(jù)字典服務(wù) 提供數(shù)據(jù)字典的查詢、翻譯接口，返回字典類別、字典項(xiàng)值等相應(yīng)所需結(jié)果，實(shí)現(xiàn)數(shù)據(jù)字典查詢或翻譯。 5.6.5 數(shù)據(jù)授權(quán)服務(wù) 為用戶分配各類系統(tǒng)功能權(quán)限和數(shù)據(jù)資源訪問權(quán)限。在實(shí)際授權(quán)過程中，通過動(dòng)態(tài)授權(quán)、鑒權(quán)管理等驗(yàn)證角色是否擁有訪問數(shù)據(jù)的權(quán)限。 支持對(duì)分級(jí)分類的數(shù)據(jù)，按照用戶、角色進(jìn)行授權(quán)；支持按照業(yè)務(wù)流程中的角色或者業(yè)務(wù)辦理事項(xiàng)進(jìn)行授權(quán)。 在不同庫(kù)中，使用用戶權(quán)限進(jìn)行區(qū)分，對(duì)不同用戶使用數(shù)據(jù)情況進(jìn)行區(qū)分授權(quán)。 5.6.6 數(shù)據(jù)鑒權(quán)服務(wù) 對(duì)服務(wù)請(qǐng)求地向服務(wù)提供地發(fā)起各類服務(wù)請(qǐng)求時(shí)，服務(wù)提供地根據(jù)請(qǐng)求用戶地市、角色對(duì)服務(wù)請(qǐng)求地進(jìn)行身份鑒別、權(quán)限驗(yàn)證，對(duì)服務(wù)請(qǐng)求地用戶發(fā)起的服務(wù)請(qǐng)求和用戶（角色）權(quán)限進(jìn)行驗(yàn)證。所有服務(wù)發(fā)起時(shí)須先進(jìn)行鑒權(quán)。鑒權(quán)能力覆蓋本地及跨地的全部數(shù)據(jù)訪問行為。 5.6.7 數(shù)據(jù)接口服務(wù) 5.6.7.1 數(shù)據(jù)查詢類服務(wù) 以預(yù)設(shè)或自定義的數(shù)據(jù)項(xiàng)為單一查詢條件或組合查詢條件，通過標(biāo)準(zhǔn)化的查詢功能配置和服務(wù)接口調(diào)用，建立基于條件查詢的分類分目查詢功能和一鍵式查詢功能，實(shí)現(xiàn)按要素分類查詢或基于不確定關(guān)鍵字的一鍵式全網(wǎng)檢索。查詢類服務(wù)主要包含： 結(jié)構(gòu)化查詢服務(wù)：從數(shù)據(jù)庫(kù)中查詢出匹配的數(shù)據(jù)。 支持單表查詢和父子表聯(lián)查，支持前綴條件查詢、關(guān)鍵字條件查詢、完全匹配條件查詢、多種查詢條件組合查詢等多種查詢方式。 關(guān)聯(lián)查詢服務(wù)：關(guān)聯(lián)查詢服務(wù)提供多個(gè)數(shù)據(jù)資源項(xiàng)的關(guān)聯(lián)查詢，而對(duì)外表現(xiàn)為一個(gè)具有特定語義功能的查詢服務(wù)。 全文關(guān)鍵詞查詢服務(wù)：根據(jù)關(guān)鍵詞組合條件，查詢符合關(guān)鍵詞組合條件的全文數(shù)據(jù)。 全文相似文本查詢服務(wù)：根據(jù)輸入的文本塊條件，查詢與輸入文本塊相似的全文數(shù)據(jù)。 二進(jìn)制文件查詢服務(wù)：根據(jù)輸入MD5（必填）和文件體長(zhǎng)度（非必填），查詢與輸入文件相同的全文數(shù)據(jù)。 獲取文體服務(wù)：根據(jù)輸入的文件體路徑，返回相應(yīng)的文件體。 5.6.7.2 數(shù)據(jù)比對(duì)類服務(wù) 提供全量數(shù)據(jù)比對(duì)、增量數(shù)據(jù)比對(duì)等比對(duì)方式，實(shí)現(xiàn)比對(duì)時(shí)間和比對(duì)頻次的自定義功能。如根據(jù)業(yè)務(wù)條件，對(duì)災(zāi)害事故影響范圍內(nèi)的關(guān)鍵基礎(chǔ)設(shè)施、避難場(chǎng)所、救援物資等數(shù)據(jù)資源實(shí)現(xiàn)全量或增量的數(shù)據(jù)比對(duì)。 5.6.7.3 數(shù)據(jù)訂閱/推送類服務(wù) 主動(dòng)向外部系統(tǒng)推送加工好的數(shù)據(jù)或分析成果，以便應(yīng)用于實(shí)戰(zhàn)、體現(xiàn)大數(shù)據(jù)價(jià)值。如對(duì)災(zāi)害事故動(dòng)態(tài)信息、應(yīng)急知識(shí)、安全生產(chǎn)企業(yè)核查信息等提供數(shù)據(jù)訂閱服務(wù)，實(shí)現(xiàn)精準(zhǔn)推送。 5.6.7.4 數(shù)據(jù)分析類服務(wù) 依托平臺(tái)數(shù)據(jù)分析類工具，提供包括歷史事件分析、災(zāi)害事故發(fā)展態(tài)勢(shì)模擬推演、事故風(fēng)險(xiǎn)分析等綜合分析服務(wù)。 5.6.7.5 動(dòng)態(tài)數(shù)據(jù)獲取服務(wù) 協(xié)助用戶在線調(diào)取實(shí)時(shí)氣象、現(xiàn)場(chǎng)視頻等智能感知數(shù)據(jù)。 5.6.8 數(shù)據(jù)可視化服務(wù) 數(shù)據(jù)可視化分析引擎借助于圖形化分析手段，清晰有效地通過可視化方式表達(dá)數(shù)據(jù)分析邏輯，自助式構(gòu)建數(shù)據(jù)治理可視化分析和業(yè)務(wù)預(yù)警可視化分析，滿足數(shù)據(jù)治理分析簡(jiǎn)潔、高效、靈活及多元化的可視化展示要求。 5.6.8.1 可視化組件服務(wù) 多維透視圖組件主要提供各種常用可視化圖表組件，包括：標(biāo)準(zhǔn)柱狀圖、堆疊柱狀圖、多系列層疊圖、標(biāo)準(zhǔn)條形圖、圓點(diǎn)地圖世界、路徑地圖世界、標(biāo)準(zhǔn)漏斗圖、多漏斗圖、矩形樹圖、樹圖、字符云、關(guān)系圖等大屏可視化圖表類型。對(duì)于每一個(gè)組件均可提供豐富的大屏可視化參數(shù)設(shè)置，包括維度數(shù)量、配色、對(duì)比、版集切換等。 5.6.8.2 數(shù)據(jù)治理可視化 數(shù)據(jù)治理可視化主要用于分析展示數(shù)據(jù)治理全周期運(yùn)行情況，包括數(shù)據(jù)接入、數(shù)據(jù)處理、數(shù)據(jù)管控、資源庫(kù)、數(shù)據(jù)應(yīng)用等情況。通過聯(lián)動(dòng)、鉆取，地理信息可視化、跳轉(zhuǎn)、報(bào)告生成、多終端展示等分析功能及折線圖、條形圖、堆積圖、餅形圖、GIS地圖、詞云、表格、桑吉圖、漏斗圖、詞云等可視化圖形展現(xiàn)方式，展示數(shù)據(jù)治理的相關(guān)過程，并允許用戶以圖片、Excel、PDF、Word的形式將結(jié)果數(shù)據(jù)導(dǎo)出。包含但不限于以下內(nèi)容。 5.6.8.2.1 數(shù)據(jù)治理概況 從宏觀角度展示數(shù)據(jù)治理的成效與存在的問題，對(duì)數(shù)據(jù)治理總量、不同類型數(shù)據(jù)治理量、不同來源系統(tǒng)數(shù)據(jù)治理量、不同業(yè)務(wù)類型的數(shù)據(jù)治理量進(jìn)行分析展示。 5.6.8.2.2 數(shù)據(jù)質(zhì)量可視化 直觀掌握當(dāng)前數(shù)據(jù)的治理情況，對(duì)已接入數(shù)據(jù)總量、已完成治理數(shù)據(jù)量、未完成治理數(shù)據(jù)量、數(shù)據(jù)治理完成比、有問題數(shù)據(jù)數(shù)量、數(shù)據(jù)質(zhì)量問題原因統(tǒng)計(jì)等。 5.6.8.2.3 數(shù)據(jù)接入可視化 通過統(tǒng)計(jì)接入數(shù)據(jù)、接入系統(tǒng)信息，分析展示信息包括接入數(shù)據(jù)總條數(shù)、當(dāng)日數(shù)據(jù)增加條數(shù)、月度數(shù)據(jù)接入條數(shù)變化趨勢(shì)、接入數(shù)據(jù)總量、當(dāng)日數(shù)據(jù)增量、月度數(shù)據(jù)接入量變化趨勢(shì)、接入數(shù)據(jù)類型統(tǒng)計(jì)、接入數(shù)據(jù)網(wǎng)絡(luò)分布等，直觀展示數(shù)據(jù)接入情況。 可按接入系統(tǒng)分類包分類展示各系統(tǒng)的各項(xiàng)指標(biāo)。并通過環(huán)形圖展示各類系統(tǒng)接入數(shù)據(jù)的占比，每類系統(tǒng)可以通過鉆取查看細(xì)類數(shù)據(jù)指標(biāo)，例如點(diǎn)擊應(yīng)急管理業(yè)務(wù)系統(tǒng)的接入總數(shù)據(jù)量，可以鉆取查看各類系統(tǒng)的數(shù)據(jù)接入量等。 5.6.8.2.4 數(shù)據(jù)處理可視化 數(shù)據(jù)處理可視化分析主題統(tǒng)計(jì)已處理數(shù)據(jù)情況及數(shù)據(jù)處理的各個(gè)步驟情況，分析展示內(nèi)容包括數(shù)據(jù)提取、數(shù)據(jù)清洗、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)比對(duì)、數(shù)據(jù)融合、數(shù)據(jù)標(biāo)識(shí)等處理概況，統(tǒng)計(jì)信息包括：處理數(shù)據(jù)總量、當(dāng)日處理數(shù)據(jù)增量、處理數(shù)據(jù)量月度變化趨勢(shì)、處理數(shù)據(jù)類型統(tǒng)計(jì)，數(shù)據(jù)提取總量、數(shù)據(jù)提取增量、數(shù)據(jù)清洗總量、數(shù)據(jù)清洗增量、數(shù)據(jù)關(guān)聯(lián)總量、數(shù)據(jù)關(guān)聯(lián)增量、數(shù)據(jù)比對(duì)總量、數(shù)據(jù)比對(duì)增量、數(shù)據(jù)融合總量、數(shù)據(jù)融合增量、數(shù)據(jù)標(biāo)識(shí)總量、數(shù)據(jù)標(biāo)識(shí)增量等。 5.6.8.2.5 數(shù)據(jù)管控可視化 數(shù)據(jù)管控可視化分析包括數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)資源目錄、數(shù)據(jù)運(yùn)維等維度。 5.6.8.2.6 數(shù)據(jù)資源可視化 數(shù)據(jù)資源庫(kù)可視化分析按照自然災(zāi)害、安全生產(chǎn)事故、綜合防范類分類，包括地震災(zāi)害、森林火災(zāi)、草原火災(zāi)、火災(zāi)事故、非煤礦山事故、?；肥鹿?、煙花爆竹事故、工商貿(mào)事故、煤礦事故、生產(chǎn)經(jīng)營(yíng)單位、重大基礎(chǔ)設(shè)施、重大活動(dòng)保障等小類，分析相關(guān)應(yīng)急基礎(chǔ)信息、應(yīng)急裝備、救援物資、救援隊(duì)伍、事件信息、預(yù)案信息、經(jīng)濟(jì)損失等數(shù)據(jù)信息情況。 5.6.8.2.7 數(shù)據(jù)應(yīng)用情況可視化 數(shù)據(jù)應(yīng)用包括查詢檢索、數(shù)據(jù)獲取、數(shù)據(jù)訂閱、智能檔案、智能標(biāo)簽等，數(shù)據(jù)應(yīng)用情況可視化分析包括接口調(diào)用情況、應(yīng)用封裝情況、使用用戶情況、實(shí)際應(yīng)用效果等維度。 5.7 數(shù)據(jù)管控 數(shù)據(jù)管控主要是對(duì)數(shù)據(jù)資源進(jìn)行全生命周期的過程控制和質(zhì)量監(jiān)督，通過規(guī)范化的數(shù)據(jù)管控，可實(shí)現(xiàn)數(shù)據(jù)資源的透明、可管、可控，厘清數(shù)據(jù)資產(chǎn)、提升數(shù)據(jù)質(zhì)量、保障數(shù)據(jù)安全使用、促進(jìn)數(shù)據(jù)流通。數(shù)據(jù)管控子系統(tǒng)提供數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、資源目錄管理、數(shù)據(jù)鑒權(quán)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)運(yùn)維管理、數(shù)據(jù)血緣管理和數(shù)據(jù)分級(jí)分類等功能模塊。 5.7.1 數(shù)據(jù)標(biāo)準(zhǔn)管理 數(shù)據(jù)標(biāo)準(zhǔn)是為了消除相同屬性信息因定義和描述不一致而導(dǎo)致信息理解和使用出現(xiàn)偏差，是各信息業(yè)務(wù)系統(tǒng)建設(shè)、業(yè)務(wù)數(shù)據(jù)交互的重要參考。數(shù)據(jù)標(biāo)準(zhǔn)管理提供一整套標(biāo)準(zhǔn)的維護(hù)、查詢和落地功能，方便以最小的勞動(dòng)成本管理數(shù)據(jù)標(biāo)準(zhǔn)。 數(shù)據(jù)標(biāo)準(zhǔn)管理工作需要明確專門的組織與人員。數(shù)據(jù)標(biāo)準(zhǔn)是對(duì)數(shù)據(jù)進(jìn)行的統(tǒng)一定義，包括標(biāo)準(zhǔn)的業(yè)務(wù)屬性、技術(shù)屬性和管理屬性三部分。所以數(shù)據(jù)標(biāo)準(zhǔn)的管理組織應(yīng)該涵蓋各業(yè)務(wù)部門和技術(shù)部門的相關(guān)人員，并逐條標(biāo)準(zhǔn)定義責(zé)任人。具體的角色、職責(zé)和建議的責(zé)任部門需要建設(shè)單位參與制訂。 數(shù)據(jù)標(biāo)準(zhǔn)管理流程包括數(shù)據(jù)標(biāo)準(zhǔn)申請(qǐng)流程、數(shù)據(jù)標(biāo)準(zhǔn)制定審核流程、數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布流程、數(shù)據(jù)標(biāo)準(zhǔn)推廣流程和數(shù)據(jù)標(biāo)準(zhǔn)復(fù)審流程五部分，前三個(gè)流程組成數(shù)據(jù)標(biāo)準(zhǔn)制定與維護(hù)的全過程，后兩個(gè)流程組成數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行與驗(yàn)證的全過程，兩大過程形成數(shù)據(jù)標(biāo)準(zhǔn)管理的閉環(huán)，實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)的持續(xù)提升和落地實(shí)施模式。 數(shù)據(jù)標(biāo)準(zhǔn)管理平臺(tái)負(fù)責(zé)維護(hù)用戶統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)信息，是用戶各信息業(yè)務(wù)系統(tǒng)建設(shè)、業(yè)務(wù)數(shù)據(jù)交互的重要參考。該系統(tǒng)應(yīng)能夠支持對(duì)基礎(chǔ)主題數(shù)據(jù)標(biāo)準(zhǔn)、應(yīng)用專題數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)基礎(chǔ)指標(biāo)口徑的管理與維護(hù)，提供各項(xiàng)標(biāo)準(zhǔn)文件的查閱與修訂功能，及時(shí)跟蹤反映各項(xiàng)標(biāo)準(zhǔn)的執(zhí)行情況。 （1）標(biāo)準(zhǔn)瀏覽 該功能主要基于標(biāo)準(zhǔn)梳理結(jié)果，對(duì)數(shù)據(jù)標(biāo)準(zhǔn)和標(biāo)準(zhǔn)落地進(jìn)行全方位的信息展現(xiàn)，并可通過頁(yè)面超鏈接的方式，對(duì)標(biāo)準(zhǔn)主題和公共代碼之間的引用關(guān)系，以及標(biāo)準(zhǔn)到業(yè)務(wù)源系統(tǒng)落地情況進(jìn)行靈活導(dǎo)航，方便用戶快速地了解到標(biāo)準(zhǔn)間依賴關(guān)系、標(biāo)準(zhǔn)落地情況。 （2）基礎(chǔ)主題標(biāo)準(zhǔn)維護(hù) 系統(tǒng)提供對(duì)已梳理基礎(chǔ)主題數(shù)據(jù)標(biāo)準(zhǔn)的管理維護(hù)功能，包括修改、提交、審核、發(fā)布等基礎(chǔ)維護(hù)功能 （3）指標(biāo)標(biāo)準(zhǔn)維護(hù) ①數(shù)據(jù)標(biāo)準(zhǔn)定義的維護(hù)：包含納入指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)定義范疇的數(shù)據(jù)標(biāo)準(zhǔn)項(xiàng)。 ②維度定義的維護(hù)：包含了“數(shù)據(jù)標(biāo)準(zhǔn)定義”中涉及的維度名稱及定義描述。 ③維值代碼定義的維護(hù)：包含了“維度定義”中所需解釋的維值名稱、代碼取值及描述，是對(duì)維度的進(jìn)一步描述。 ④公共統(tǒng)計(jì)規(guī)則的維護(hù)：包含了“數(shù)據(jù)標(biāo)準(zhǔn)定義”中所用到的適用統(tǒng)計(jì)規(guī)則。 5.7.2 元數(shù)據(jù)管理 按照數(shù)據(jù)整合的層次結(jié)構(gòu)、主題域劃分，需要實(shí)現(xiàn)各層的各種對(duì)象，如表、存儲(chǔ)過程、索引、數(shù)據(jù)鏈、函數(shù)和包等的管理。清晰的表示各層次結(jié)構(gòu)之間的數(shù)據(jù)流程、各對(duì)象之間的關(guān)系，以及向外提供的各類數(shù)據(jù)服務(wù)的信息。 5.7.2.1 元數(shù)據(jù)分類 按照元數(shù)據(jù)的定義分類，綜合價(jià)值分析系統(tǒng)元數(shù)據(jù)管理分為業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)二類。其中： （1）業(yè)務(wù)元數(shù)據(jù) 使用者的業(yè)務(wù)術(shù)語所表達(dá)的數(shù)據(jù)模型、對(duì)象名和屬性名。 訪問數(shù)據(jù)的原則和數(shù)據(jù)來源。 系統(tǒng)所提供的分析方法及公式、報(bào)表信息。 對(duì)業(yè)務(wù)元數(shù)據(jù)來源的管理和差異性對(duì)比。 （2）技術(shù)元數(shù)據(jù) 系統(tǒng)結(jié)構(gòu)的描述（各個(gè)主題的定義，星型模式或雪花型模式的描述定義等）。 整合數(shù)據(jù)層的機(jī)構(gòu)單位的數(shù)據(jù)模型描述（以描述關(guān)系表及其關(guān)聯(lián)關(guān)系為形式）。 對(duì)數(shù)據(jù)稽核規(guī)則的定義、匯總數(shù)據(jù)層模型描述與裝載描述。 5.7.2.2 元數(shù)據(jù)管理 元數(shù)據(jù)管理包括元數(shù)據(jù)基礎(chǔ)數(shù)據(jù)管理和元數(shù)據(jù)應(yīng)用，由元數(shù)據(jù)自動(dòng)獲取、元數(shù)據(jù)檢索、數(shù)據(jù)模型管理、元數(shù)據(jù)管理、血緣關(guān)系等功能組成等。 1）元數(shù)據(jù)自動(dòng)獲取 對(duì)元數(shù)據(jù)獲取數(shù)據(jù)源以及這些數(shù)據(jù)源之間的關(guān)系進(jìn)行集中登記管理，并形成自動(dòng)獲取數(shù)據(jù)源的全局視圖，實(shí)現(xiàn)元數(shù)據(jù)自動(dòng)獲取數(shù)據(jù)信息。 要實(shí)現(xiàn)元數(shù)據(jù)的自動(dòng)獲取，需要在集成的元數(shù)據(jù)平臺(tái)中配置自動(dòng)獲取策略和調(diào)度時(shí)間等，使元數(shù)據(jù)能夠按預(yù)設(shè)的調(diào)度策略觸發(fā)相應(yīng)的元數(shù)據(jù)自動(dòng)獲取過程，滿足元數(shù)據(jù)自動(dòng)獲取的時(shí)效性。 調(diào)度策略包括時(shí)間周期觸發(fā)、事件觸發(fā)兩種方式。 2）元數(shù)據(jù)維護(hù) 包括元數(shù)據(jù)的定義、變更及版本管理，對(duì)主機(jī)信息、數(shù)據(jù)庫(kù)信息、用戶信息、數(shù)據(jù)對(duì)象信息、業(yè)務(wù)規(guī)則信息、加工邏輯等進(jìn)行維護(hù)和管控。 3）元數(shù)據(jù)掃描 支持以手動(dòng)或定時(shí)的方式掃描指定的數(shù)據(jù)庫(kù)資源，并提取和解析相關(guān)的信息在比較掃描數(shù)據(jù)和原有數(shù)據(jù)的差異后自動(dòng)將差異數(shù)據(jù)維護(hù)到指定的元數(shù)據(jù)目錄。 4）元數(shù)據(jù)檢索 在元數(shù)據(jù)管理首頁(yè)用戶通過輸入關(guān)鍵字后，系統(tǒng)采用全文檢索的方式迅速查找和關(guān)鍵字匹配的權(quán)限范圍內(nèi)的元數(shù)據(jù)信息，并將信息返回給用戶。用戶能夠通過展示的路徑信息快速定位到元數(shù)據(jù)組織樹上的節(jié)點(diǎn)。 5）元數(shù)據(jù)地圖 快速動(dòng)態(tài)生成全局元數(shù)據(jù)地圖，方便用戶快速全面查閱所有元數(shù)據(jù)平臺(tái)中各類信息，支持逐層鉆取查看下級(jí)數(shù)據(jù)資產(chǎn)詳情以及數(shù)據(jù)加工關(guān)系脈絡(luò)。 6）元數(shù)據(jù)版本 版本管理分為元數(shù)據(jù)對(duì)象版本管理與基線版本管理兩種類型。 元數(shù)據(jù)對(duì)象版本：對(duì)元數(shù)據(jù)的每次提交形成版本（上一版本形成歷史版本），提供歷史版本間，歷史版本與當(dāng)前版本對(duì)比功能。 基線版本，對(duì)某一階段產(chǎn)生的元數(shù)據(jù)對(duì)象形成數(shù)據(jù)集，提供不同階段產(chǎn)生的數(shù)據(jù)集的版本比較 7）權(quán)限管理及查詢 統(tǒng)一實(shí)現(xiàn)數(shù)據(jù)庫(kù)的訪問和操作管控，對(duì)用戶進(jìn)行角色權(quán)限、對(duì)象權(quán)限、數(shù)據(jù)權(quán)限等方面的管控和查詢。 8）元數(shù)據(jù)的導(dǎo)入/導(dǎo)出 在系統(tǒng)層面實(shí)現(xiàn)元數(shù)據(jù)的導(dǎo)入/導(dǎo)出功能，以保證數(shù)據(jù)模型、數(shù)據(jù)對(duì)象能夠靈活的遷移，支持模型間的檢查和比對(duì)，以便于數(shù)據(jù)模型的維護(hù)和擴(kuò)展。 5.7.2.3 元數(shù)據(jù)分析 元數(shù)據(jù)分析算法包括以網(wǎng)狀模式展示對(duì)象等血緣關(guān)系和以父子依賴關(guān)系展示對(duì)象等有向血緣關(guān)系。 影響性分析：包括血統(tǒng)分析和影響分析兩類，以便于掌握和追溯對(duì)象變更時(shí)的緣由和影響關(guān)系。血緣分析是元數(shù)據(jù)分析中重要的分析應(yīng)用，以圖形方式清晰的展現(xiàn)出元數(shù)據(jù)（表、視圖、字段、指標(biāo)）每一步數(shù)據(jù)的來源情況，數(shù)據(jù)的來源情況包括該元數(shù)據(jù)的直接或間接使用到的其他元數(shù)據(jù)和加工該元數(shù)據(jù)所使用的加工規(guī)則。元數(shù)據(jù)對(duì)象和對(duì)象之間以連線方式表現(xiàn)出血緣分析的結(jié)果。 重要性分析：分析各元數(shù)據(jù)對(duì)象之間的關(guān)聯(lián)密集度，分析數(shù)據(jù)倉(cāng)庫(kù)中各層次的包、表等對(duì)象的重要程度，指導(dǎo)數(shù)據(jù)倉(cāng)庫(kù)開發(fā)和維護(hù)團(tuán)隊(duì)對(duì)重點(diǎn)元數(shù)據(jù)進(jìn)行重點(diǎn)關(guān)注和質(zhì)量監(jiān)控。 無關(guān)性分析：與重要性分析相反，隨著數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的規(guī)模不斷擴(kuò)大，業(yè)務(wù)需求的日益變化，會(huì)產(chǎn)生一定數(shù)量的無關(guān)數(shù)據(jù)、信息和報(bào)表，找出這些無關(guān)的內(nèi)容，結(jié)合業(yè)務(wù)需求分析其產(chǎn)生的根源，從而為用戶簡(jiǎn)化工作負(fù)載，降低項(xiàng)目總擁有成本，為用戶提供可信賴的數(shù)據(jù)和分析能力。 5.7.3 資源目錄管理 資源目錄管理是按照統(tǒng)一的數(shù)據(jù)資源目錄標(biāo)準(zhǔn)規(guī)范，對(duì)數(shù)據(jù)資源進(jìn)行統(tǒng)一管理，實(shí)現(xiàn)數(shù)據(jù)資源科學(xué)、有序、安全使用。主要包括資源分類與編目、目錄注冊(cè)與注銷、目錄更新、目錄同步、目錄服務(wù)和可視化展現(xiàn)。 資源分類與編目：按照數(shù)據(jù)資源目錄標(biāo)準(zhǔn)規(guī)范，對(duì)大數(shù)據(jù)平臺(tái)存儲(chǔ)的數(shù)據(jù)資源和通過接口方式提供大數(shù)據(jù)平臺(tái)使用的數(shù)據(jù)資源進(jìn)行梳理，并賦予唯一的目錄標(biāo)識(shí)符和編碼。 目錄注冊(cè)與注銷：由資源所屬單位在本地大數(shù)據(jù)平臺(tái)的數(shù)據(jù)資源目錄管理模塊中填寫數(shù)據(jù)資源目錄信息，審核、審批通過后完成注冊(cè)。支持資源分級(jí)分類配置，支持批量模板導(dǎo)入。當(dāng)數(shù)據(jù)資源暫時(shí)失效時(shí)，停用相關(guān)數(shù)據(jù)資源目錄。當(dāng)數(shù)據(jù)資源徹底失效時(shí)，注銷相關(guān)數(shù)據(jù)資源目錄。當(dāng)數(shù)據(jù)資源恢復(fù)使用時(shí)，重新啟用相關(guān)數(shù)據(jù)資源目錄。 資源目錄更新：當(dāng)數(shù)據(jù)資源發(fā)生變化時(shí)，對(duì)資源目錄進(jìn)行更新。 資源目錄同步：本地?cái)?shù)據(jù)資源目錄發(fā)生變化時(shí)，下級(jí)目錄需向上級(jí)目錄進(jìn)行匯聚，上級(jí)目錄需向下級(jí)目錄分發(fā)。 資源目錄服務(wù)：支持用戶按照權(quán)限查看數(shù)據(jù)資源目錄，支持根據(jù)數(shù)據(jù)資源目錄相關(guān)屬性和數(shù)據(jù)項(xiàng)進(jìn)行數(shù)據(jù)資源的查詢。支持目錄注冊(cè)、查詢、核查和更新、同步服務(wù)接口。 5.7.4 數(shù)據(jù)鑒權(quán)管理 數(shù)據(jù)鑒權(quán)是基于數(shù)據(jù)的訪問控制規(guī)則結(jié)合數(shù)據(jù)分級(jí)分類，實(shí)現(xiàn)數(shù)據(jù)的訪問權(quán)限鑒別的過程。訪問控制規(guī)則從內(nèi)容敏感度、數(shù)據(jù)來源、數(shù)據(jù)種類、字段及字段關(guān)系分類四個(gè)維度進(jìn)行資源權(quán)限的控制，資源鑒權(quán)通過用戶的數(shù)據(jù)資源權(quán)限，使用數(shù)據(jù)鑒權(quán)服務(wù)實(shí)現(xiàn)對(duì)數(shù)據(jù)資源的訪問控制。 服務(wù)請(qǐng)求方向服務(wù)提供地發(fā)起各類服務(wù)請(qǐng)求時(shí)，服務(wù)提供地根據(jù)請(qǐng)求用戶地市、身份、角色，對(duì)其進(jìn)行身份鑒別、權(quán)限驗(yàn)證，并對(duì)其服務(wù)請(qǐng)求和資源訪問權(quán)限（權(quán)限細(xì)化到記錄及字段）進(jìn)行鑒別。鑒權(quán)能力覆蓋本地的全部數(shù)據(jù)訪問行為。鑒權(quán)服務(wù)不直接對(duì)用戶提供服務(wù)，僅在鑒權(quán)服務(wù)外的其他服務(wù)中調(diào)用并進(jìn)行權(quán)限驗(yàn)證。 5.7.5 數(shù)據(jù)質(zhì)量管理 數(shù)據(jù)質(zhì)量應(yīng)當(dāng)在整個(gè)數(shù)據(jù)倉(cāng)庫(kù)規(guī)劃、設(shè)計(jì)、建設(shè)、維護(hù)中體現(xiàn)和實(shí)現(xiàn)。數(shù)據(jù)質(zhì)量保證重點(diǎn)從數(shù)據(jù)質(zhì)量組織機(jī)構(gòu)、數(shù)據(jù)質(zhì)量管理以及數(shù)據(jù)質(zhì)量驗(yàn)證機(jī)制三個(gè)方面考慮，提供相應(yīng)的管理流程支持。 為保證質(zhì)量過程持續(xù)的改進(jìn)，保證所有已知的錯(cuò)誤在系統(tǒng)中不重復(fù)發(fā)生，建立完善的數(shù)據(jù)質(zhì)量文檔體系，整個(gè)系統(tǒng)內(nèi)的數(shù)據(jù)質(zhì)量活動(dòng)都要求有完善的紀(jì)錄，最終依次建立或完善質(zhì)量考核體系。 數(shù)據(jù)質(zhì)量管控由數(shù)據(jù)處理過程監(jiān)控、數(shù)據(jù)稽核、問題管理、日志管理、質(zhì)量報(bào)告、問題處理等環(huán)節(jié)組成。 1）數(shù)據(jù)處理過程監(jiān)控 監(jiān)控?cái)?shù)據(jù)處理任務(wù)執(zhí)行的情況，包括是否按時(shí)調(diào)度，是否成功等狀態(tài)消息。監(jiān)控?cái)?shù)據(jù)裝載和數(shù)據(jù)分發(fā)到數(shù)據(jù)緩存的采集流程和結(jié)果狀態(tài)。監(jiān)控業(yè)務(wù)數(shù)據(jù)源是否按要求及時(shí)準(zhǔn)備數(shù)據(jù)、提供的數(shù)據(jù)是否符合約定和采集過程。 2）數(shù)據(jù)稽核 數(shù)據(jù)質(zhì)量稽核是數(shù)據(jù)質(zhì)量管控的核心，對(duì)ETL整個(gè)流程的數(shù)據(jù)質(zhì)量進(jìn)行稽核，主要分為數(shù)據(jù)來源環(huán)節(jié)和數(shù)據(jù)加工環(huán)節(jié)。 數(shù)據(jù)來源稽核：數(shù)據(jù)來源稽核主要包括接口的規(guī)范性、完整性、一致性稽核、及時(shí)性監(jiān)控。 數(shù)據(jù)加工環(huán)節(jié)稽核：數(shù)據(jù)的加工環(huán)節(jié)重點(diǎn)要稽核各層之間數(shù)據(jù)的一致性以及數(shù)據(jù)的準(zhǔn)確性。一致性包括數(shù)據(jù)在由數(shù)據(jù)源到整合層，中間層，應(yīng)用層到數(shù)據(jù)封裝服務(wù)接口的傳遞過程中，數(shù)據(jù)能否保持一致。在數(shù)據(jù)保證完整一致的基礎(chǔ)上，根據(jù)業(yè)務(wù)情況對(duì)重點(diǎn)業(yè)務(wù)指標(biāo)進(jìn)行波動(dòng)檢查，準(zhǔn)確及時(shí)地找到異常數(shù)據(jù)，需要參考以往合理月數(shù)據(jù)指標(biāo)的環(huán)比變化，確定該指標(biāo)變化的波峰，波谷，由此形成其正常變化范圍。通過環(huán)比對(duì)照，若該數(shù)據(jù)在正常變化范圍內(nèi)，則說明該指標(biāo)數(shù)據(jù)正常。若偏離正常變化范圍之外，則說明該指標(biāo)數(shù)據(jù)異常。 ETL功能在所有源數(shù)據(jù)處理的必須經(jīng)過的環(huán)節(jié)，其保證了數(shù)據(jù)的可用性和準(zhǔn)確性。 3）問題管理 為數(shù)據(jù)質(zhì)量相關(guān)問題處理提供的IT化支撐功能，在發(fā)現(xiàn)問題、處理問題的過程中，可以通過問題報(bào)告的形式登記問題、指派處理人員，并提交問題處理情況，體現(xiàn)流程化的管理。提供質(zhì)量問題的創(chuàng)建、發(fā)布，以及處理過程的跟蹤，為數(shù)據(jù)校驗(yàn)提供解決、跟蹤平臺(tái)。 4）日志管理 包括規(guī)則運(yùn)行日志、告警日志、過程執(zhí)行日志，為用戶提供規(guī)則運(yùn)行的最終稽核狀態(tài)和歷史稽核狀態(tài)日志，以及除數(shù)據(jù)本身的異常外的異常監(jiān)控和各層過程的執(zhí)行日志的監(jiān)控。 5）質(zhì)量報(bào)告 對(duì)稽核功能模塊和問題管理模塊做整體的統(tǒng)計(jì)分析，包括三類報(bào)告： 總量評(píng)估報(bào)告：對(duì)需要評(píng)估總量的數(shù)據(jù)質(zhì)量檢查/稽核報(bào)告（可配置），統(tǒng)計(jì)各類錯(cuò)誤數(shù)，從總體上對(duì)數(shù)據(jù)質(zhì)量的收斂度進(jìn)行評(píng)估。 數(shù)據(jù)源的質(zhì)量評(píng)估報(bào)告：比如各類錯(cuò)誤統(tǒng)計(jì)、接口的穩(wěn)定性、及時(shí)性指標(biāo)，對(duì)各源系統(tǒng)的質(zhì)量的收斂度進(jìn)行評(píng)估。 專項(xiàng)數(shù)據(jù)質(zhì)量問題評(píng)估報(bào)告：以報(bào)告模式對(duì)重點(diǎn)關(guān)注的質(zhì)量專題，制定專題規(guī)則進(jìn)行分析并對(duì)結(jié)果予以評(píng)估。 6）質(zhì)量問題處理 問題分析：數(shù)據(jù)質(zhì)量問題生成后，首先需要進(jìn)行問題的分析與定位工作。 數(shù)據(jù)隔離：當(dāng)發(fā)生重要或嚴(yán)重級(jí)別的問題時(shí)，可根據(jù)需要先采取數(shù)據(jù)處理流程掛起和問題隔離措施，將問題的影響范圍控制在較小的區(qū)間內(nèi)，防止問題擴(kuò)大，便于問題的解決。 數(shù)據(jù)維護(hù)：對(duì)于大數(shù)據(jù)處理環(huán)節(jié)造成的數(shù)據(jù)質(zhì)量問題，啟動(dòng)相應(yīng)的數(shù)據(jù)質(zhì)量維護(hù)流程，解決相應(yīng)的數(shù)據(jù)質(zhì)量問題。 過程總結(jié)：當(dāng)問題處理環(huán)節(jié)結(jié)束后，需要對(duì)問題處理的全過程進(jìn)行記錄和總結(jié)。數(shù)據(jù)質(zhì)量管理系統(tǒng)在對(duì)數(shù)據(jù)的質(zhì)量進(jìn)行監(jiān)控的同時(shí)，也對(duì)數(shù)據(jù)提供者有了考核的依據(jù)。 5.7.6 數(shù)據(jù)運(yùn)維管理 數(shù)據(jù)運(yùn)維管理是通過采集數(shù)據(jù)接入、處理、組織和服務(wù)等各項(xiàng)任務(wù)的狀態(tài)信息，對(duì)異常狀態(tài)進(jìn)行預(yù)警和處置，實(shí)現(xiàn)對(duì)各任務(wù)的實(shí)時(shí)監(jiān)控和管理。 運(yùn)維規(guī)則配置管理：對(duì)數(shù)據(jù)運(yùn)維的實(shí)時(shí)監(jiān)測(cè)、日志采集、日志統(tǒng)計(jì)分析、報(bào)表展示、日志輸出、預(yù)警閾值、預(yù)警規(guī)則和信息、數(shù)據(jù)對(duì)賬等相關(guān)規(guī)則進(jìn)行配置管理。 數(shù)據(jù)實(shí)時(shí)狀態(tài)采集：支持對(duì)來源數(shù)據(jù)以及接入、提取、清洗、關(guān)聯(lián)、比對(duì)、標(biāo)識(shí)、分發(fā)、入庫(kù)等環(huán)節(jié)設(shè)置監(jiān)控點(diǎn)，進(jìn)行多維度信息的實(shí)時(shí)采集。 數(shù)據(jù)運(yùn)行狀態(tài)監(jiān)控：包括對(duì)來源數(shù)據(jù)的監(jiān)控（通道是否連通、數(shù)據(jù)是否更新等），數(shù)據(jù)接入及處理狀態(tài)的監(jiān)控、統(tǒng)計(jì)（運(yùn)行是否正常、數(shù)據(jù)流量情況等），數(shù)據(jù)積壓監(jiān)測(cè)及統(tǒng)計(jì)，數(shù)據(jù)心跳圖，數(shù)據(jù)入庫(kù)異常統(tǒng)計(jì)、當(dāng)日或指定時(shí)間周期內(nèi)各類數(shù)據(jù)的增量及存量監(jiān)控、數(shù)據(jù)服務(wù)接口監(jiān)控等。 數(shù)據(jù)運(yùn)維報(bào)表：支持對(duì)系統(tǒng)的數(shù)據(jù)資源總體情況、分類情況、上報(bào)下發(fā)情況等多種維度進(jìn)行統(tǒng)計(jì)分析。支持對(duì)數(shù)據(jù)對(duì)賬分析、數(shù)據(jù)有值率分析。支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)化分析，形成數(shù)據(jù)運(yùn)維報(bào)表并實(shí)現(xiàn)可視化展示。 數(shù)據(jù)預(yù)警管理：當(dāng)出現(xiàn)實(shí)時(shí)流監(jiān)控異常、運(yùn)行狀態(tài)異常、數(shù)據(jù)質(zhì)量異常、數(shù)據(jù)備份異常等狀況時(shí)，觸發(fā)告警，告警結(jié)果可以通過消息、服務(wù)、郵件、短信等方式推送給運(yùn)維系統(tǒng)或運(yùn)維人員。 數(shù)據(jù)運(yùn)維日志審計(jì)：針對(duì)所有數(shù)據(jù)運(yùn)維工作的操作日志進(jìn)行全方位、全流程安全性審計(jì)。 5.7.7 數(shù)據(jù)血緣管理 數(shù)據(jù)血緣是在數(shù)據(jù)產(chǎn)生、加工融合、流轉(zhuǎn)流通到最終消亡等過程中形成的繼承關(guān)系集合。通過對(duì)接入數(shù)據(jù)、原始庫(kù)、資源庫(kù)、主題庫(kù)、專題庫(kù)等各類數(shù)據(jù)資源間和數(shù)據(jù)項(xiàng)間的繼承關(guān)系進(jìn)行描述和管理，反映數(shù)據(jù)資源在各個(gè)環(huán)節(jié)間的繼承關(guān)系。 血緣關(guān)系管理：記錄上下游數(shù)據(jù)資源編碼、數(shù)據(jù)項(xiàng)編碼和數(shù)據(jù)資源轉(zhuǎn)換規(guī)則等數(shù)據(jù)血緣信息，并實(shí)現(xiàn)動(dòng)態(tài)更新。通過元數(shù)據(jù)模塊以歷史事實(shí)的方式記錄每項(xiàng)數(shù)據(jù)的來源，處理過程，應(yīng)用對(duì)接情況等，記錄了數(shù)據(jù)表在治理過程中的全鏈血緣關(guān)系，基于這些血緣關(guān)系信息，可以輕松的進(jìn)行影響分析，以數(shù)據(jù)流向?yàn)橹骶€的血緣追溯等功能，從而提升報(bào)表信息的可信度，為數(shù)據(jù)的合規(guī)性提供驗(yàn)證手段，幫助業(yè)務(wù)部門實(shí)現(xiàn)信息共享、提升協(xié)調(diào)工作效率。 數(shù)據(jù)血緣關(guān)系分析：數(shù)據(jù)從源到目的地，經(jīng)過大量的功能模塊的處理和傳遞，呈現(xiàn)在業(yè)務(wù)用戶面前，分析數(shù)據(jù)的來龍去脈。支持對(duì)數(shù)據(jù)資源進(jìn)行數(shù)據(jù)流向分析、溯源和變更影響分析，并提供數(shù)據(jù)血緣關(guān)系的圖形化展現(xiàn)。 血緣關(guān)系應(yīng)用：支持基于數(shù)據(jù)血緣信息，進(jìn)行相關(guān)的元數(shù)據(jù)應(yīng)用分析如溯源分析、影響分析、重要程度分析和數(shù)據(jù)時(shí)效性分析等。支持按照數(shù)據(jù)類別、數(shù)據(jù)項(xiàng)和轉(zhuǎn)換規(guī)則進(jìn)行數(shù)據(jù)血緣查詢，并向數(shù)據(jù)資源目錄提供服務(wù)接口。 5.7.8 數(shù)據(jù)分級(jí)分類 為解決數(shù)據(jù)管理，特別是數(shù)據(jù)開放共享過程中缺乏數(shù)據(jù)敏感度衡量標(biāo)準(zhǔn)等問題，采用數(shù)據(jù)分級(jí)分類管控。主要內(nèi)容包括：對(duì)數(shù)據(jù)進(jìn)行分級(jí)分類，根據(jù)對(duì)外開放及敏感程度進(jìn)行管控，制訂不同級(jí)別的敏感數(shù)據(jù)在對(duì)外開放和內(nèi)部管理中應(yīng)遵循相應(yīng)的管控實(shí)施要求，并提供原始數(shù)據(jù)及標(biāo)簽數(shù)據(jù)的模糊化等示例，利用數(shù)據(jù)分級(jí)分類對(duì)數(shù)據(jù)進(jìn)行標(biāo)識(shí)，配合數(shù)據(jù)授權(quán)、數(shù)據(jù)鑒權(quán)等，確保數(shù)據(jù)的安全使用。 數(shù)據(jù)分級(jí)分類是對(duì)數(shù)據(jù)資源訪問級(jí)別進(jìn)行限定的基礎(chǔ)和依據(jù)。通過數(shù)據(jù)分級(jí)分類，對(duì)涉及敏感內(nèi)容、隱私內(nèi)容、定位信息等內(nèi)容的記錄和字段進(jìn)行分級(jí)別的訪問限制，防止敏感信息的擴(kuò)散，杜絕手段濫用的風(fēng)險(xiǎn)。 1）數(shù)據(jù)分級(jí) 數(shù)據(jù)分級(jí)是通過對(duì)數(shù)據(jù)內(nèi)容的敏感程度，對(duì)數(shù)據(jù)資源進(jìn)行分級(jí)。數(shù)據(jù)分級(jí)包括數(shù)據(jù)分級(jí)管理、用戶分級(jí)管理和系統(tǒng)分級(jí)管理三個(gè)方面。 數(shù)據(jù)分級(jí)管理：基于數(shù)據(jù)表設(shè)置安全級(jí)別，共分5個(gè)等級(jí)： 數(shù)據(jù)分級(jí)管理 級(jí)別名稱說明 第Ⅰ級(jí)可公開數(shù)據(jù)可對(duì)部、省業(yè)務(wù)直屬部門開放，可對(duì)外部社會(huì)組織開放。 第Ⅱ級(jí)業(yè)務(wù)數(shù)據(jù)可對(duì)全內(nèi)部業(yè)務(wù)人員開放，不可以對(duì)外開放。 第Ⅲ級(jí)重要業(yè)務(wù)數(shù)據(jù)涉及部分安全隱私數(shù)據(jù)，業(yè)務(wù)部門研判分析使用 第Ⅳ級(jí)敏感數(shù)據(jù)涉及隱私數(shù)據(jù)，經(jīng)過審批可以使用。 第Ⅴ級(jí)特別敏感數(shù)據(jù)絕密數(shù)據(jù)，由專業(yè)部門立案后審批使用。 用戶分級(jí)管理：基于數(shù)據(jù)使用人員，共分4個(gè)等級(jí)： 用戶分級(jí)管理 等級(jí)說明映射 第Ⅰ級(jí)全內(nèi)部直屬人員、部分外部共享人員查詢數(shù)據(jù)的權(quán)限對(duì)應(yīng)數(shù)據(jù)Ⅰ級(jí) 第Ⅱ級(jí)應(yīng)急體系內(nèi)部科室人員查詢數(shù)據(jù)的權(quán)限對(duì)應(yīng)數(shù)據(jù)Ⅱ級(jí)及以下 第Ⅲ級(jí)業(yè)務(wù)部門人員查詢數(shù)據(jù)的權(quán)限對(duì)應(yīng)數(shù)據(jù)Ⅲ級(jí)及以下 第Ⅳ級(jí)重點(diǎn)分析研判人員查詢數(shù)據(jù)的權(quán)限對(duì)應(yīng)數(shù)據(jù)Ⅳ級(jí)及以下 系統(tǒng)分級(jí)管理：系統(tǒng)安全共分3個(gè)等級(jí)： 系統(tǒng)分級(jí)管理 等級(jí)名稱說明 第Ⅰ級(jí)普查系統(tǒng)（綠色）全部人員可用 第Ⅱ級(jí) 授權(quán)系統(tǒng)（黃色）內(nèi)部授權(quán)可用（需要在界面上標(biāo)明向誰申請(qǐng)） 第Ⅲ級(jí)專有系統(tǒng)（紅色）提請(qǐng)調(diào)用的，需要經(jīng)過流程審批后才能使用，比如針對(duì)某個(gè)災(zāi)害事件要訪問其他系統(tǒng)，軍事設(shè)施分布的系統(tǒng) 以通用搜索應(yīng)用為例描述數(shù)據(jù)的權(quán)限控制。在數(shù)據(jù)共享時(shí)分別創(chuàng)建四級(jí)用戶，通用搜索上的業(yè)務(wù)人員級(jí)別分別與數(shù)據(jù)共享的Ⅰ、Ⅱ、Ⅲ、Ⅳ級(jí)用戶對(duì)應(yīng)，并通過四級(jí)用戶訪問數(shù)據(jù)。 2）數(shù)據(jù)分類 數(shù)據(jù)分類是通過數(shù)據(jù)融合后的種類進(jìn)行分類。應(yīng)急數(shù)據(jù)融合之后將數(shù)據(jù)分為原始庫(kù)、資源庫(kù)、主題庫(kù)、專題庫(kù)。根據(jù)應(yīng)用的需求，可以給訪問不同類別的數(shù)據(jù)資源。 5.7.9 生產(chǎn)庫(kù)管理 對(duì)上層應(yīng)用所有數(shù)據(jù)庫(kù)統(tǒng)一管理。 5.8 數(shù)據(jù)共享交換 按照黑龍江信息資源交換和共享標(biāo)準(zhǔn)規(guī)范，制定黑龍江應(yīng)急管理數(shù)據(jù)交換平臺(tái)的標(biāo)準(zhǔn)規(guī)范。充分整合現(xiàn)有的城市管理信息資源，基于應(yīng)急云計(jì)算環(huán)境，建設(shè)應(yīng)急管理統(tǒng)一的數(shù)據(jù)共享交換平臺(tái)，提供統(tǒng)一的數(shù)據(jù)共享交換功能，滿足當(dāng)前及今后各種跨部門、跨區(qū)域的應(yīng)急管理信息資源共享和業(yè)務(wù)協(xié)同要求，推進(jìn)信息資源開發(fā)利用。 數(shù)據(jù)共享交換平臺(tái)提供統(tǒng)一的數(shù)據(jù)共享交換功能。橫向上實(shí)現(xiàn)與部署在各種網(wǎng)絡(luò)上的黑龍江應(yīng)急管理部門自建業(yè)務(wù)系統(tǒng)、相關(guān)部門所建業(yè)務(wù)系統(tǒng)、其他業(yè)務(wù)系統(tǒng)數(shù)據(jù)交換?？v向上實(shí)現(xiàn)向部委系統(tǒng)上報(bào)數(shù)據(jù)及向下級(jí)單位分發(fā)接收數(shù)據(jù)。支持WebService、Socket、消息隊(duì)列等數(shù)據(jù)交換方式，并提供身份驗(yàn)證、加密傳輸、數(shù)據(jù)完整性、安全審計(jì)等數(shù)據(jù)共享交換安全機(jī)制。 5.8.1 服務(wù)共享管理 采用面向服務(wù)架構(gòu)(SOA)的企業(yè)服務(wù)總線（ESB）成熟技術(shù)，采用組件式分層開發(fā)方式，支持任意源端到目標(biāo)端的數(shù)據(jù)交換共享服務(wù)。 5.8.1.1 服務(wù)目錄 建立適應(yīng)應(yīng)急業(yè)務(wù)特征的服務(wù)目錄框架，根據(jù)業(yè)務(wù)特征，服務(wù)目錄框架包括查詢類服務(wù)、比對(duì)類服務(wù)、統(tǒng)計(jì)類服務(wù)及其他類服務(wù)。 5.8.1.2 服務(wù)注冊(cè) 實(shí)現(xiàn)對(duì)后臺(tái)已注入的服務(wù)注冊(cè)/發(fā)布至服務(wù)中心，并可對(duì)服務(wù)中心里的服務(wù)進(jìn)行查詢、查看、修改注冊(cè)信息、上線等操作功能。系統(tǒng)支持對(duì)單表資源通過前端配置自動(dòng)發(fā)布成服務(wù)接口。 5.8.1.3 服務(wù)申請(qǐng) 平臺(tái)用戶可通過統(tǒng)一的服務(wù)資源目錄查看并申請(qǐng)個(gè)人所需的服務(wù)。 5.8.1.4 服務(wù)發(fā)布 對(duì)審核通過的服務(wù)進(jìn)行服務(wù)發(fā)布，對(duì)正式發(fā)布的服務(wù)可以提供使用者進(jìn)行服務(wù)的查詢。 5.8.1.5 服務(wù)訂閱 對(duì)于暫未發(fā)布/不存在的服務(wù)，系統(tǒng)提供統(tǒng)一訂閱申請(qǐng)的功能模塊，為各服務(wù)申請(qǐng)單位提供統(tǒng)一服務(wù)訂閱入口，統(tǒng)一管理。 5.8.1.6 服務(wù)審核 服務(wù)申請(qǐng)單提交后，具備審核權(quán)限的用戶可通過工作臺(tái)查看待審核的服務(wù)申請(qǐng)單，并進(jìn)行相關(guān)的審核操作。管理員可通過服務(wù)臺(tái)對(duì)系統(tǒng)所有的服務(wù)申請(qǐng)單進(jìn)行維護(hù)。 5.8.1.7 通用服務(wù)接口 通用數(shù)據(jù)服務(wù)接口是給其他模塊或者系統(tǒng)使用的一種約定或者規(guī)范，接口設(shè)計(jì)應(yīng)遵循統(tǒng)一接口規(guī)范，保證接口性能良好。 共享交換管理 共享交換平臺(tái)主要實(shí)現(xiàn)：數(shù)據(jù)交換管理、數(shù)據(jù)交換服務(wù)、共享資源配置、交換中間庫(kù)建設(shè)。 5.8.2 數(shù)據(jù)交換管理 提供交換節(jié)點(diǎn)、交換服務(wù)和交換橋接的配置、調(diào)度和檢測(cè)功能。提供交換服務(wù)和交換橋接的日志查詢和統(tǒng)計(jì)功能。 5.8.2.1 數(shù)據(jù)交換服務(wù) 提供共享域內(nèi)交換節(jié)點(diǎn)之間的數(shù)據(jù)共享交換服務(wù)，包括采集、分發(fā)、匯總和轉(zhuǎn)發(fā)。提供交換節(jié)點(diǎn)與業(yè)務(wù)系統(tǒng)之間的交換橋接服務(wù)，實(shí)現(xiàn)數(shù)據(jù)提供和獲取。提供跨域交換服務(wù)，實(shí)現(xiàn)共享域之間通過對(duì)接節(jié)點(diǎn)進(jìn)行數(shù)據(jù)交換。 5.8.2.2 共享資源配置 對(duì)需要進(jìn)行共享的數(shù)據(jù)資源進(jìn)行配置，包括數(shù)據(jù)源、數(shù)據(jù)庫(kù)鏈接、數(shù)據(jù)表配置、共享數(shù)據(jù)項(xiàng)目配置等，對(duì)共享資源的配置提供修改、查詢和刪除等日常管理功能。 5.8.2.3 交換中間庫(kù)建設(shè) 數(shù)據(jù)采集過程中源端到目標(biāo)端經(jīng)交換平臺(tái)產(chǎn)生的交換數(shù)據(jù)，包括數(shù)據(jù)交換目錄及交換數(shù)據(jù)庫(kù)。 5.8.3 數(shù)據(jù)對(duì)接服務(wù) 建立安全、穩(wěn)定、高性能、跨平臺(tái)、跨系統(tǒng)、跨應(yīng)用、跨地區(qū)的信息交換平臺(tái)，提供應(yīng)急管理綜合應(yīng)用平臺(tái)對(duì)外服務(wù)接口，實(shí)現(xiàn)新老系統(tǒng)之間、異構(gòu)系統(tǒng)之間的信息的透明交換，各行業(yè)各部門的系統(tǒng)將統(tǒng)一通過這一平臺(tái)進(jìn)行信息交換，以達(dá)到整個(gè)應(yīng)急管理綜合應(yīng)用平臺(tái)資源共享互通的效果。 系統(tǒng)提供基于消息的數(shù)據(jù)傳輸服務(wù)。從一個(gè)應(yīng)用系統(tǒng)傳輸數(shù)據(jù)實(shí)體和數(shù)據(jù)格式到另一個(gè)應(yīng)用系統(tǒng)，每個(gè)傳輸服務(wù)可以運(yùn)行多個(gè)傳輸實(shí)體。 交換服務(wù)提供了斷點(diǎn)續(xù)傳機(jī)制。在規(guī)劃數(shù)據(jù)流程的過程中，數(shù)據(jù)從一個(gè)系統(tǒng)節(jié)點(diǎn)傳送到另一個(gè)系統(tǒng)節(jié)點(diǎn)時(shí)，用戶可以根據(jù)實(shí)際應(yīng)用情況（網(wǎng)絡(luò)狀況、應(yīng)用系統(tǒng)狀況）選擇兩個(gè)系統(tǒng)之間的消息傳送機(jī)制。斷點(diǎn)續(xù)傳機(jī)制就是其中的有效傳送機(jī)制之一。斷點(diǎn)續(xù)傳跟蹤檢查是否每個(gè)目標(biāo)應(yīng)用節(jié)點(diǎn)收到了該消息，如果目的節(jié)點(diǎn)因?yàn)槟硞€(gè)原因沒有激活或者與發(fā)送節(jié)點(diǎn)之間的連接斷開，系統(tǒng)在隊(duì)列中保存這些要發(fā)送的消息一直到目的節(jié)點(diǎn)處于激活狀態(tài)或連接暢通。當(dāng)源節(jié)點(diǎn)和目標(biāo)節(jié)點(diǎn)保持有效連接后，系統(tǒng)再把這個(gè)消息交付給目標(biāo)節(jié)點(diǎn)。 另外系統(tǒng)也應(yīng)該提供斷點(diǎn)處理功能，用戶可以通過流程診斷工具查看流程發(fā)生錯(cuò)誤的斷點(diǎn)，用戶可以只修改發(fā)生錯(cuò)誤的斷點(diǎn)處的消息，然后把該消息重新發(fā)送，而不是回退和重新發(fā)送整個(gè)流程。 5.9 算法模型 5.9.1 算法工程 算法服務(wù)平臺(tái)包含了各種各樣的算法組件，包括基礎(chǔ)算子、統(tǒng)計(jì)分析、數(shù)據(jù)預(yù)處理、特征工程、機(jī)器學(xué)習(xí)、文本分析、網(wǎng)絡(luò)分析以及業(yè)務(wù)算法組件等。算法組件主要由各廠商提供，也可以采用外部購(gòu)買的方式來持續(xù)完善整個(gè)算法平臺(tái)的服務(wù)能力。 通過算法平臺(tái)用戶可以了解每個(gè)算法的使用方式，包括功能描述、提供廠商、使用API、開放方式（服務(wù)接口、SDK包、可執(zhí)行計(jì)算包等），用戶也可以將自己的算法包上傳到算法平臺(tái)之上，以免費(fèi)或者付費(fèi)的形式開放給其他用戶使用。 通過在算法平臺(tái)申請(qǐng)使用算法組件之后，用戶可以將算法包嵌入到應(yīng)用程序中運(yùn)行，也可以通過服務(wù)接口訪問的方式在應(yīng)用程序中集成，另外算法組件也可以為模型服務(wù)以及可視化分析平臺(tái)提供算法支撐服務(wù)。用戶通過模型標(biāo)準(zhǔn)描述語言或者可視化的方式配置算法的輸出、輸出、執(zhí)行順序，以工作流的形式傳到數(shù)據(jù)治理系統(tǒng)進(jìn)行運(yùn)算和操作，所有算法都是以plugin的形式存放在底層的計(jì)算引擎當(dāng)中，用戶在使用算法的時(shí)候只關(guān)心算法的調(diào)用即可，真正實(shí)現(xiàn)了算法和計(jì)算引擎的解耦。 5.9.1.1 算法管理 提供算法包注冊(cè)、修改、刪除、啟動(dòng)、停用、查詢、評(píng)價(jià)等全生命周期管理，用戶可以將算法名稱、算法描述、支持運(yùn)行的平臺(tái)（內(nèi)存計(jì)算，離線計(jì)算，圖計(jì)算等）、算法類型（基礎(chǔ)算子、機(jī)器學(xué)習(xí)算法、業(yè)務(wù)算法等）、算法執(zhí)行包、算法參數(shù)集、開發(fā)語言、開發(fā)廠商、提交單位等信息注冊(cè)到算法平臺(tái)。提供對(duì)算法信息進(jìn)行查詢功能，支持查詢算法列表信息和詳細(xì)信息。還可依據(jù)算法使用次數(shù)、點(diǎn)擊量、好評(píng)數(shù)等指標(biāo)，通過賦予相應(yīng)權(quán)重系數(shù)（可靈活設(shè)置）對(duì)各算法進(jìn)行評(píng)價(jià)，評(píng)價(jià)結(jié)果以分值體現(xiàn)。 5.9.1.2 算法組件 提供包含了基礎(chǔ)算子、統(tǒng)計(jì)分析、數(shù)據(jù)預(yù)處理、特征工程、機(jī)器學(xué)習(xí)、文本分析、網(wǎng)絡(luò)分析等算法組件。用戶可以通過java sdk或者模型描述語言以及通過可視化分析平臺(tái)的方式使用算法平臺(tái)提供的算法，按照算法平臺(tái)提供的使用指南，設(shè)置算法運(yùn)行參數(shù)，執(zhí)行算法。每個(gè)算法之間包含了輸入和輸出，可以通過組合算法，形成一系列復(fù)雜的分析模型。 5.9.1.3 算法庫(kù) 依托大量算法工程師對(duì)平臺(tái)算法進(jìn)行優(yōu)化和設(shè)計(jì)，建設(shè)涵蓋統(tǒng)計(jì)分析、特征工程、文本分析、機(jī)器學(xué)習(xí)、網(wǎng)絡(luò)分析、深度學(xué)習(xí)等多個(gè)領(lǐng)域的算法庫(kù)，為平臺(tái)提供各類算法支撐。 此外，系統(tǒng)提供頁(yè)面可視化創(chuàng)建自定義算法，支持Java、Scala、Python、R、C++語言進(jìn)行算法自定義。并提供對(duì)應(yīng)語言的語法接口和可調(diào)用庫(kù)，方便用戶創(chuàng)建和調(diào)用所需算法。 5.9.2 模型工程 模型工程是實(shí)現(xiàn)模型構(gòu)建、模型研判、任務(wù)運(yùn)行等功能的面向交互式大數(shù)據(jù)分析處理的基礎(chǔ)性、支撐性工程。模型工程的主要目的是通過統(tǒng)一的模型框架應(yīng)對(duì)大量個(gè)性化的建模需求，實(shí)現(xiàn)交互式、可配置的模型構(gòu)建和研判，實(shí)現(xiàn)易于管理的自動(dòng)化部署。支持?jǐn)?shù)據(jù)、算法的靈活擴(kuò)展，支持對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的融合分析建模，實(shí)現(xiàn)不同研發(fā)單位構(gòu)建的模型能夠兼容運(yùn)行。 5.9.2.1 模型創(chuàng)建 用戶通過多種建模方式創(chuàng)建基于應(yīng)急管理模型標(biāo)準(zhǔn)的模型，部署到模型運(yùn)行引擎上面配置模型參數(shù)，模型運(yùn)行引擎會(huì)對(duì)模型運(yùn)行的合法性進(jìn)行驗(yàn)證，包括是否符合模型標(biāo)準(zhǔn)，數(shù)據(jù)資源是否有訪問權(quán)限，算法參數(shù)是否合法，模型編排是否合理等。模型通過驗(yàn)證之后，會(huì)上傳到測(cè)試平臺(tái)上面，通過數(shù)據(jù)采樣、構(gòu)建測(cè)試集等多種方式檢測(cè)模型執(zhí)行的準(zhǔn)確性。模型測(cè)試成功之后，進(jìn)行模型上線部署。通過申請(qǐng)計(jì)算資源，將模型實(shí)例化成任務(wù)運(yùn)行。 傳統(tǒng)建模的數(shù)據(jù)來源和模型的使用一般在同一數(shù)據(jù)庫(kù)當(dāng)中，而應(yīng)急管理大數(shù)據(jù)環(huán)境下，因?yàn)閿?shù)據(jù)采集類型的多樣性，和數(shù)據(jù)計(jì)算的多樣性使得來源和使用分散在不同的計(jì)算存儲(chǔ)資源當(dāng)中。一個(gè)模型的運(yùn)行可能需要涉及到圖計(jì)算、離線計(jì)算、多維分析等多種方式的計(jì)算，因此模型需要能在多個(gè)存儲(chǔ)和計(jì)算資源當(dāng)中自由流轉(zhuǎn)。 模型適配主要是解決了這種需要跨存儲(chǔ)、跨計(jì)算資源的統(tǒng)一運(yùn)行。通過對(duì)模型的輸入、輸出、算子進(jìn)行識(shí)別，將需要涉及到的數(shù)據(jù)輸入、輸出資源調(diào)度到對(duì)應(yīng)的數(shù)據(jù)接口服務(wù)中，通過統(tǒng)一的數(shù)據(jù)接口服務(wù)，降低了模型運(yùn)行的復(fù)雜度。 通過將算子調(diào)度到合適的數(shù)據(jù)接口服務(wù)上面執(zhí)行。每個(gè)算子的運(yùn)行都會(huì)對(duì)應(yīng)到一個(gè)計(jì)算框架上面，通過解析算子的執(zhí)行順序以及依賴關(guān)系，整個(gè)模型的運(yùn)行過程會(huì)形成一幅有向無環(huán)圖，形成有向無環(huán)圖的過程中也會(huì)根據(jù)算子之間的依賴關(guān)系形成血緣，當(dāng)某個(gè)算子計(jì)算錯(cuò)誤的時(shí)候，只需要根據(jù)血緣重新計(jì)算相關(guān)的操作不必回滾整個(gè)模型。 5.9.2.2 模型分析 模型服務(wù)提供趨勢(shì)分析、異常分析、相關(guān)性分析等元模型分析功能以及統(tǒng)計(jì)分析算法、聚類算法、分析算法等算法的運(yùn)行分析。 專業(yè)用戶可以基于可視化智能建模功能，對(duì)元模型、算法、數(shù)據(jù)服務(wù)結(jié)合數(shù)據(jù)資源進(jìn)行動(dòng)態(tài)編排，構(gòu)建以“災(zāi)害事故”為核心，“救援資源”為重點(diǎn)的數(shù)據(jù)分析模型。 對(duì)外通過智能化建模編排完的模型，可以通過模型服務(wù)進(jìn)行模型解析、模型適配，再通過模型工程中的模型運(yùn)行引擎對(duì)模型里面的算子、服務(wù)、數(shù)據(jù)進(jìn)行調(diào)度。 模型服務(wù)除了提供動(dòng)態(tài)模型的建模調(diào)度能力之外，還應(yīng)提供固化模型的調(diào)用分析服務(wù)。 5.9.2.3 模型管理 模型管理：提供模型的注冊(cè)、修改、刪除、查詢、評(píng)價(jià)、分享、生命周期、質(zhì)量、導(dǎo)入導(dǎo)出能功能。 模型任務(wù)管理：模型任務(wù)是對(duì)已編排好的模型進(jìn)行實(shí)例化執(zhí)行的過程。模型實(shí)例化主要包括：任務(wù)類型、輸入?yún)?shù)實(shí)例化、執(zhí)行周期實(shí)例化、輸出結(jié)果實(shí)例化等。 模型數(shù)據(jù)集管理：模型數(shù)據(jù)集包含模型輸入數(shù)據(jù)、模型輸出數(shù)據(jù)、模型中間結(jié)果。模型數(shù)據(jù)集依照統(tǒng)一資源目錄的標(biāo)準(zhǔn)進(jìn)行定義和使用，覆蓋數(shù)據(jù)存儲(chǔ)空間管理、數(shù)據(jù)的存儲(chǔ)生命周期等過程，并支持算子間、節(jié)點(diǎn)間的數(shù)據(jù)存儲(chǔ)和交換。 模型資源管理：數(shù)據(jù)資源是面向使用者的，應(yīng)能對(duì)模型使用的資源配額進(jìn)行管理，用于對(duì)外共享交換，是實(shí)現(xiàn)對(duì)外共享交換的最大單元。數(shù)據(jù)資源管理實(shí)現(xiàn)數(shù)據(jù)地圖呈現(xiàn)、數(shù)據(jù)目錄管理和數(shù)據(jù)資源管理。 元模型管理：對(duì)元模型進(jìn)行管理維護(hù)、并能能夠進(jìn)行物理模型創(chuàng)建。 5.10 工具引擎 5.10.1 通用工具 5.10.1.1 可視化工具 通過可視化方式對(duì)原始數(shù)據(jù)、標(biāo)準(zhǔn)化數(shù)據(jù)、資源庫(kù)數(shù)據(jù)、專題庫(kù)數(shù)據(jù)等進(jìn)行多源數(shù)據(jù)組織分析，對(duì)可視化主題分析提供應(yīng)用支撐，支持鉆取分析、聯(lián)動(dòng)分析、跳轉(zhuǎn)分析、多表關(guān)聯(lián)、追加合并、聚合分析、SQL創(chuàng)建、字段編輯等功能。 5.10.1.2 智能查詢工具 智能查詢工具是將數(shù)據(jù)治理平臺(tái)匯聚的各業(yè)務(wù)部門數(shù)據(jù)、外部門數(shù)據(jù)、基層單位數(shù)據(jù)、社會(huì)面數(shù)據(jù)和感知數(shù)據(jù)進(jìn)行全局的綜合查詢檢索。智能查詢工具提供全文搜索、專題檢索等功能。 1、資源搜索 通過指定搜索條件、指定搜索范圍對(duì)數(shù)據(jù)進(jìn)行搜索，以資源列表形式展示搜索結(jié)果，其中搜索條件、搜索范圍包括數(shù)據(jù)來源、有效時(shí)間、數(shù)據(jù)表范圍等。 如用戶需要搜索以往某一時(shí)間段、某一森林范圍發(fā)生過哪些火災(zāi)事件，可在篩選對(duì)話框內(nèi)選擇該時(shí)間段和該森林區(qū)域，系統(tǒng)將以列表形式展示搜索結(jié)果，包括火災(zāi)發(fā)生時(shí)間、名稱、具體位置、持續(xù)時(shí)間、經(jīng)濟(jì)損失，點(diǎn)擊某一具體火災(zāi)事件，可查詢事故報(bào)告。 2、全文檢索 全文檢索提供針對(duì)系統(tǒng)的文件信息的數(shù)據(jù)檢索功能。系統(tǒng)用戶在“搜索”框中輸入關(guān)鍵詞作為查詢條件，系統(tǒng)將依據(jù)用戶權(quán)限情況進(jìn)行查詢結(jié)果的列表展示，其中涉密數(shù)據(jù)將進(jìn)行脫敏展示。 3、專題搜索 專題搜索是指系統(tǒng)用戶在某一專題下進(jìn)行目標(biāo)搜索，專題包括森林草原火災(zāi)專題庫(kù)、地震專題、?；肥鹿蕦ｎ}，系統(tǒng)將依據(jù)用戶權(quán)限情況進(jìn)行查詢結(jié)果的列表展示。支持邏輯運(yùn)算組合檢索、通配符檢索、模糊音檢索、時(shí)間段檢索、地理區(qū)域段檢索。 5.10.2 業(yè)務(wù)流程引擎 通用業(yè)務(wù)流程引擎是業(yè)務(wù)系統(tǒng)中的一個(gè)基礎(chǔ)支撐模塊，用于提供對(duì)應(yīng)用中各類業(yè)務(wù)流程的管理，根據(jù)業(yè)務(wù)特點(diǎn)，針對(duì)監(jiān)測(cè)預(yù)警、監(jiān)督管理、指揮救援、決策支持、政務(wù)管理業(yè)務(wù)建立通用的業(yè)務(wù)管理模型，為各業(yè)務(wù)子系統(tǒng)提供基礎(chǔ)的業(yè)務(wù)流程管理服務(wù)。 5.10.2.1 中間件 業(yè)務(wù)流程引擎中間件包括流程引擎、規(guī)則引擎和業(yè)務(wù)全引擎三個(gè)核心模塊。 1、流程引擎 流程引擎負(fù)責(zé)對(duì)流程模型和數(shù)據(jù)模型進(jìn)行管理，按照業(yè)務(wù)控制流的定義把流程節(jié)點(diǎn)從一個(gè)節(jié)點(diǎn)推向下一個(gè)節(jié)點(diǎn)，流程引擎負(fù)責(zé)這些節(jié)點(diǎn)的狀態(tài)維護(hù)和監(jiān)控并把業(yè)務(wù)數(shù)據(jù)按照節(jié)點(diǎn)的運(yùn)行規(guī)則發(fā)送給不同的用戶進(jìn)行處理，當(dāng)這些節(jié)點(diǎn)的狀態(tài)或者數(shù)據(jù)發(fā)生改變時(shí)流程引擎負(fù)責(zé)把狀態(tài)的變化通知規(guī)則引擎，規(guī)則引擎收到通知后會(huì)根據(jù)這些事件的類型和時(shí)間順序來觸發(fā)事先定義好的業(yè)務(wù)規(guī)則并把運(yùn)行的結(jié)果反饋給流程引擎。 2、規(guī)則引擎 規(guī)則引擎是對(duì)整個(gè)業(yè)務(wù)流程節(jié)點(diǎn)及路由的控制規(guī)則及業(yè)務(wù)集成規(guī)則進(jìn)行定義并解析和運(yùn)行的智能引擎，規(guī)則引擎不僅可以接收由流程引擎發(fā)送過來的事件和通知來觸發(fā)事件，還可以主動(dòng)監(jiān)控業(yè)務(wù)流程運(yùn)行過程中的異常或者是數(shù)據(jù)流。通過對(duì)這些異常或者是業(yè)務(wù)數(shù)據(jù)的主動(dòng)監(jiān)控可以及早地預(yù)防事故的發(fā)生，使管理人員、業(yè)務(wù)負(fù)責(zé)人可以及時(shí)主動(dòng)的發(fā)現(xiàn)問題。 3、業(yè)務(wù)全引擎 業(yè)務(wù)全引擎負(fù)責(zé)系統(tǒng)的權(quán)限及關(guān)鍵數(shù)據(jù)的監(jiān)控和記錄工作，當(dāng)用戶試圖進(jìn)行一個(gè)業(yè)務(wù)操作時(shí)業(yè)務(wù)全引擎首先會(huì)對(duì)用戶的權(quán)限進(jìn)行監(jiān)控，如果沒有權(quán)限則阻止用戶操作并且記錄日志和發(fā)出預(yù)警。當(dāng)用戶對(duì)系統(tǒng)中的關(guān)鍵數(shù)據(jù)進(jìn)行編輯、刪除、閱讀時(shí)，業(yè)務(wù)全引擎都會(huì)記錄用戶身份信息、操作時(shí)間、IP地址、業(yè)務(wù)標(biāo)識(shí)等信息，以方便管理員進(jìn)行追查和分析。 5.10.2.2 基礎(chǔ)服務(wù)組件 基礎(chǔ)服務(wù)組件由流程管理工具、監(jiān)控分析工具、抽象出來的業(yè)務(wù)流程模型以及內(nèi)部和外部的服務(wù)接口組成，它們共同為業(yè)務(wù)應(yīng)用提供基礎(chǔ)的服務(wù)支撐。 1、工具集 工具集為業(yè)務(wù)流程引擎提供的一系列方便管理人員、業(yè)務(wù)人員以及開發(fā)人員進(jìn)行流程模型定義、管理和分析的可視化工具。這些工具不但可以加快流程應(yīng)用的開發(fā)還可以對(duì)流程引擎、規(guī)則引擎、業(yè)務(wù)全引擎等中間件的狀態(tài)及實(shí)例進(jìn)行監(jiān)控和管理，使系統(tǒng)管理員可以更好的了解當(dāng)前業(yè)務(wù)流程引擎的運(yùn)行狀態(tài)、業(yè)務(wù)量、各業(yè)務(wù)的處置情況、處置時(shí)間等。 工具層中提供功能豐富的可視化流程建模工具、規(guī)則建模工具、數(shù)據(jù)建模工具、分析報(bào)表工具等功能，通過這些工具開發(fā)人員和業(yè)務(wù)人員可以快速的根據(jù)系統(tǒng)的業(yè)務(wù)需求完成流程的定義。 2、業(yè)務(wù)流程模型 根據(jù)業(yè)務(wù)應(yīng)用中的業(yè)務(wù)流轉(zhuǎn)需求，利用流程建模工具、規(guī)則建模工具、數(shù)據(jù)建模工具對(duì)業(yè)務(wù)流程進(jìn)行抽象定義，形成一個(gè)通用的業(yè)務(wù)流程模型，比如可以將政務(wù)管理中的行政許可審批定義成一個(gè)抽象的行政許可審批模型，對(duì)審批的步驟、用戶、每一步的輸入輸出以及數(shù)據(jù)處理規(guī)則進(jìn)行嚴(yán)格定義，而業(yè)務(wù)系統(tǒng)只要通過公開的服務(wù)接口引用該模型即可完成行政許可審批的業(yè)務(wù)流轉(zhuǎn)。 5.10.3 工作流引擎 主要包括核心引擎、核心API、工作流等功能。工作流引擎結(jié)合云計(jì)算提供的微服務(wù)功能，通過API網(wǎng)關(guān)實(shí)現(xiàn)流程服務(wù)的開放，業(yè)務(wù)系統(tǒng)通過遠(yuǎn)程調(diào)用的方式獲得流程服務(wù)。 5.10.4 搜索引擎 平臺(tái)提供快捷的搜索引擎功能，通過搜索方式幫助用戶快捷瀏覽需要的公文、知識(shí)、業(yè)務(wù)數(shù)據(jù)、政策法規(guī)、辦事流程、政務(wù)、日常辦公、項(xiàng)目資料、資金財(cái)務(wù)等各個(gè)方面的信息資源，并在搜索結(jié)果中顯示關(guān)鍵詞上下文，讓用戶快速準(zhǔn)確的查找到公文。 全文檢索組件支持對(duì)關(guān)系型數(shù)據(jù)庫(kù)的全文檢索功能，包括目前流行的Hadoop、Oracle、DB2、SQLServe、mysql、Sybase、達(dá)夢(mèng)、南大通用、人大金倉(cāng)、巨彬等，支持對(duì)站點(diǎn)內(nèi)容的全文檢索功能，支持對(duì)應(yīng)用系統(tǒng)的全文檢索功能。支持集中式的數(shù)據(jù)存儲(chǔ)方式。 5.10.5 表單引擎 為滿足應(yīng)急管理綜合應(yīng)用平臺(tái)業(yè)務(wù)表單的多樣性，基礎(chǔ)支撐平臺(tái)建設(shè)提供強(qiáng)大的表單引擎，讓用戶自由定制各類業(yè)務(wù)流中的表單，確保流程完全符合應(yīng)急管理綜合應(yīng)用平臺(tái)系統(tǒng)的實(shí)際運(yùn)行狀況。讓用戶擁有完全的自由度，可以根據(jù)需要自定義表單樣式以適應(yīng)應(yīng)急管理綜合應(yīng)用平臺(tái)系統(tǒng)的業(yè)務(wù)調(diào)整，無需進(jìn)行復(fù)雜的二次開發(fā)。 表單支持圖形化設(shè)計(jì)，設(shè)計(jì)好的表單遵循國(guó)際標(biāo)準(zhǔn)規(guī)范，以xml格式進(jìn)行存儲(chǔ)，以實(shí)現(xiàn)表單模板和表單數(shù)據(jù)的分離。表單設(shè)計(jì)工具允許表單設(shè)計(jì)者以簡(jiǎn)單的拖拽方式，方便地重建與紙面表單外觀保持高度一致的電子表單。利用“設(shè)計(jì)一次，發(fā)布多次”的優(yōu)點(diǎn)，可以設(shè)計(jì)出適合多種輸出格式的表單模板文件，增強(qiáng)表單復(fù)用性。 5.11 標(biāo)簽工程 標(biāo)簽工程應(yīng)能夠提供標(biāo)簽體系構(gòu)建、標(biāo)簽分類、標(biāo)簽規(guī)則的定義與執(zhí)行、標(biāo)簽構(gòu)建流程管理、標(biāo)簽全生命周期的可視化管理等系統(tǒng)服務(wù)。 5.11.1 標(biāo)簽體系管理 支持標(biāo)簽主體管理；支持標(biāo)簽?zāi)夸浌芾?，支持以樹狀目錄分類呈現(xiàn)等功能；支持標(biāo)簽管理，包括標(biāo)簽需求分析、標(biāo)簽專題數(shù)據(jù)預(yù)加工（歸集、清洗、標(biāo)準(zhǔn)化、整合）、標(biāo)簽數(shù)據(jù)同步、標(biāo)簽創(chuàng)建和標(biāo)簽計(jì)算等功能。 支持標(biāo)簽主體的創(chuàng)建、編輯、刪除。支持標(biāo)簽和標(biāo)簽?zāi)夸泟?chuàng)建、編輯、刪除；支持標(biāo)簽血緣查看。 支持對(duì)象實(shí)例標(biāo)示屬性查看，展示對(duì)象實(shí)例標(biāo)簽信息、屬性信息、支持批量創(chuàng)建、編輯、刪除、支持添加、刪除標(biāo)簽過濾條件。 5.11.1.1 標(biāo)簽主體管理 標(biāo)簽主體是基礎(chǔ)，只有標(biāo)簽主體明確才能確定應(yīng)急管理標(biāo)簽體系建立的方向和范圍。應(yīng)急行業(yè)標(biāo)簽主體將選取具有唯一標(biāo)識(shí)的關(guān)鍵主數(shù)據(jù)，主數(shù)據(jù)是描述應(yīng)急核心業(yè)務(wù)實(shí)體的數(shù)據(jù)，這些數(shù)據(jù)是應(yīng)急管理的關(guān)鍵業(yè)務(wù)實(shí)體，它為應(yīng)急管理的業(yè)務(wù)開展提供關(guān)聯(lián)環(huán)境，而且它可能在應(yīng)急業(yè)務(wù)開展過程中被反復(fù)引用，是可以共享的數(shù)據(jù)。它需要在業(yè)務(wù)管理范圍內(nèi)保持高度一致，記錄業(yè)務(wù)活動(dòng)，與波動(dòng)較大的數(shù)據(jù)相比，主數(shù)據(jù)（也稱基準(zhǔn)數(shù)據(jù)）的變化頻率應(yīng)該是緩慢和穩(wěn)定的。 針對(duì)應(yīng)急管理領(lǐng)域，應(yīng)急標(biāo)簽主體的選擇將使用應(yīng)急要素分類中的主數(shù)據(jù)，從這些應(yīng)急要素中挑選出有唯一標(biāo)識(shí)的，對(duì)應(yīng)急管理有影響能力的主體。 以災(zāi)害事件為例，由于應(yīng)急管理部門在事件分析研判、應(yīng)急救援等活動(dòng)中，都針對(duì)特定的災(zāi)害事故，比如地震、森林火災(zāi)、洪水、臺(tái)風(fēng)、生產(chǎn)事故等。圍繞這些事件分析其周邊危險(xiǎn)源、防護(hù)目標(biāo)、救援隊(duì)伍等特征構(gòu)建標(biāo)簽，進(jìn)而可進(jìn)行特征數(shù)據(jù)碰撞與關(guān)聯(lián)分析，為了在更廣的范圍內(nèi)進(jìn)行特征碰撞分析，在設(shè)計(jì)標(biāo)簽主體時(shí)應(yīng)避免選擇具體某一類事件，比如地震、臺(tái)風(fēng)等事件作為標(biāo)簽主體，這樣會(huì)陷入到數(shù)據(jù)面過于狹窄、難以廣泛進(jìn)行碰撞分析的情況當(dāng)中。 確定標(biāo)簽主體后，需要明確標(biāo)簽唯一標(biāo)識(shí)ID，而身份證作為中華人民共和國(guó)境內(nèi)的13億人口的唯一標(biāo)識(shí)，是天然的索引，不會(huì)存在任何兩個(gè)人的身份證號(hào)碼相同的情況，因此身份證號(hào)碼應(yīng)作為實(shí)體人標(biāo)簽主體的唯一索引。在高級(jí)應(yīng)用中，是否同時(shí)采用其他信息作為索引，可以結(jié)合實(shí)際業(yè)務(wù)需求而定。 綜上所述，可選擇以下標(biāo)簽主體及相應(yīng)的唯一標(biāo)識(shí)（主數(shù)據(jù)）納入標(biāo)簽主體數(shù)據(jù)管理范疇： 標(biāo)簽主體數(shù)據(jù) 要素 標(biāo)簽主題唯一標(biāo)識(shí) 人救援人員、專家、受災(zāi)人員身份證件號(hào) 事自然災(zāi)害事件、安全生產(chǎn)事故、重大事件事件編號(hào)、案件編號(hào) 組織組織機(jī)構(gòu)組織機(jī)構(gòu)編碼、群體編號(hào) 物車輛、救援物資車輛號(hào)、物資編碼 地關(guān)鍵基礎(chǔ)設(shè)施、應(yīng)急避難場(chǎng)所設(shè)施編碼、場(chǎng)所地址 5.11.1.2 標(biāo)簽?zāi)夸浌芾?提供配置和維護(hù)標(biāo)簽主題對(duì)象和標(biāo)簽分類目錄功能?？蓜?chuàng)建任意的標(biāo)簽主題對(duì)象類型，如果主題對(duì)象已創(chuàng)建有標(biāo)簽，則不能刪除。 以樹型結(jié)構(gòu)靈活配置標(biāo)簽分類目錄，可增加和修改各細(xì)目錄描述信息，隨意調(diào)整目錄結(jié)構(gòu)，至少支持4級(jí)以上分類目錄設(shè)置，以保障標(biāo)簽體系建設(shè)的靈活擴(kuò)展。 標(biāo)簽?zāi)夸涹w系是應(yīng)急大數(shù)據(jù)治理平臺(tái)標(biāo)簽應(yīng)用開發(fā)和利用的基礎(chǔ)設(shè)施，從標(biāo)簽?zāi)夸涹w系可以快速構(gòu)建和清晰標(biāo)簽的主要作用、使用對(duì)象、應(yīng)用模式。也可以按類別協(xié)助開發(fā)利用已有標(biāo)簽資源，實(shí)現(xiàn)標(biāo)簽資源的共享。標(biāo)簽?zāi)夸浗Y(jié)構(gòu)采用多層樹狀目錄分類，標(biāo)簽?zāi)夸涹w系的設(shè)計(jì)遵循業(yè)務(wù)性、通用性、可擴(kuò)展性原則。 業(yè)務(wù)性：主要面向應(yīng)急管理業(yè)務(wù)及應(yīng)用，從使用者的業(yè)務(wù)邏輯視角出發(fā)，構(gòu)建標(biāo)簽分類結(jié)構(gòu)，便于分類體系好找好記。 通用性：根據(jù)不同業(yè)務(wù)部門用戶對(duì)標(biāo)簽的通用性需求，逐層遞進(jìn)構(gòu)建標(biāo)簽分類結(jié)構(gòu)，在提供標(biāo)簽共享的同時(shí)，保障部門私有標(biāo)簽數(shù)據(jù)的安全。 可擴(kuò)展性：根據(jù)業(yè)務(wù)和數(shù)據(jù)的變化，整個(gè)分類體系應(yīng)可靈活的迭代、擴(kuò)展，擴(kuò)展的同時(shí)不影響現(xiàn)在分類的設(shè)計(jì)。 本項(xiàng)目標(biāo)簽規(guī)則庫(kù)結(jié)構(gòu)設(shè)計(jì)示例如下： 標(biāo)簽?zāi)夸涹w系結(jié)構(gòu)示意圖 5.11.1.3 標(biāo)簽管理 標(biāo)簽管理提供標(biāo)簽需求分析、標(biāo)簽專題數(shù)據(jù)預(yù)加工（歸集、清洗、標(biāo)準(zhǔn)化、整合）、標(biāo)簽數(shù)據(jù)同步、標(biāo)簽創(chuàng)建和標(biāo)簽計(jì)算等功能。 標(biāo)簽需求分析 根據(jù)匯總和提煉標(biāo)簽需求得到的標(biāo)簽預(yù)加工表，從業(yè)務(wù)源表中分析標(biāo)簽的取值來源，明確取值范圍、清洗規(guī)則、過濾條件等，生成映射文檔，輔助ETL開發(fā)人員開發(fā)加工腳本。 標(biāo)簽專題數(shù)據(jù)預(yù)加工 通過特征提取、清洗、整合等處理，從原始庫(kù)、資源庫(kù)中加工成標(biāo)簽專題數(shù)據(jù)（如體現(xiàn)事件基礎(chǔ)特征、演化動(dòng)態(tài)、關(guān)系特征、業(yè)務(wù)特征等的標(biāo)簽）。 標(biāo)簽數(shù)據(jù)同步 支持標(biāo)簽數(shù)據(jù)的全量同步或是增量同步，當(dāng)選擇增量同步時(shí)，需要選擇增量字段或是增量條件，當(dāng)選擇全量同步時(shí)，系統(tǒng)會(huì)默認(rèn)同步該標(biāo)簽的所有歷史數(shù)據(jù)。 支持同步標(biāo)簽數(shù)據(jù)源的自定義篩選，可篩選特定時(shí)間段、特點(diǎn)類型的標(biāo)簽數(shù)據(jù)源進(jìn)行同步，也可以通過自定義SQL語句的方式來設(shè)置同步條件。 標(biāo)簽創(chuàng)建和計(jì)算 在標(biāo)簽管理平臺(tái)上創(chuàng)建標(biāo)簽，通過分布式計(jì)算對(duì)標(biāo)簽專題庫(kù)中的原始數(shù)據(jù)進(jìn)行標(biāo)簽計(jì)算，生成帶標(biāo)簽的數(shù)據(jù)。 標(biāo)簽創(chuàng)建功能將基于已匯聚、標(biāo)準(zhǔn)化數(shù)據(jù)，經(jīng)過對(duì)大數(shù)據(jù)進(jìn)行主題對(duì)象整合，以及權(quán)威數(shù)據(jù)處理后，配置標(biāo)簽的基礎(chǔ)信息、計(jì)算規(guī)則和刷新策略，后續(xù)將自動(dòng)根據(jù)規(guī)則引擎生成標(biāo)簽結(jié)果數(shù)據(jù)。 標(biāo)簽基礎(chǔ)信息配置內(nèi)容包括標(biāo)簽名稱、標(biāo)簽分類、標(biāo)簽類型（靜態(tài)或動(dòng)態(tài)標(biāo)簽）、標(biāo)簽共享方式（公共或私有）、標(biāo)簽說明等信息。其中標(biāo)簽類型中靜態(tài)標(biāo)簽為沒有時(shí)間周期概念的標(biāo)簽，一個(gè)主題對(duì)象僅有一個(gè)標(biāo)簽值，如：性別、民族、經(jīng)濟(jì)情況等標(biāo)簽；動(dòng)態(tài)標(biāo)簽為有對(duì)應(yīng)時(shí)間周期的標(biāo)簽，一個(gè)主題對(duì)象在不同的時(shí)間周期對(duì)應(yīng)多個(gè)標(biāo)簽值，需求創(chuàng)建時(shí)指定標(biāo)簽時(shí)間周期的配置策略。 標(biāo)簽維護(hù) 標(biāo)簽維護(hù)是對(duì)已上線的標(biāo)簽進(jìn)行修改，可修改內(nèi)容包含：標(biāo)簽分類、設(shè)置可見權(quán)限、選擇標(biāo)簽類型（公共或私有）、標(biāo)簽說明等信息。在標(biāo)簽維護(hù)之前必須進(jìn)行標(biāo)簽停用操作。 標(biāo)簽刪除 標(biāo)簽下線操作包括：標(biāo)簽正常下線、標(biāo)簽停用、標(biāo)簽強(qiáng)制停用。 1、標(biāo)簽正常下線：具有標(biāo)簽下線權(quán)限的用戶（標(biāo)簽創(chuàng)建者和標(biāo)簽管理角色）通過手動(dòng)下線標(biāo)簽來下線標(biāo)簽。若該標(biāo)簽被其他標(biāo)簽引用（如：組合標(biāo)簽中用到該標(biāo)簽）則需要發(fā)起影響審批給所有引用此標(biāo)簽的部門。標(biāo)簽下線審批通過之后，此標(biāo)簽將被下線，所有引用此標(biāo)簽的標(biāo)簽都被停用。 2、標(biāo)簽停用：在標(biāo)簽結(jié)果出錯(cuò)或某些緊急情況下，支持標(biāo)簽停用功能。具有標(biāo)簽停用權(quán)限的用戶通過手動(dòng)停用標(biāo)簽來停用標(biāo)簽。 3、標(biāo)簽強(qiáng)制停用：在緊急情況下，管理員可以強(qiáng)制停用標(biāo)簽，管理員強(qiáng)制停用標(biāo)簽時(shí)，停用此標(biāo)簽和所有引用此標(biāo)簽的其他標(biāo)簽也一并被停用。強(qiáng)制停用無需審批。 標(biāo)簽統(tǒng)計(jì) 支持標(biāo)簽數(shù)量統(tǒng)計(jì)，并可以圖表形式直觀展示統(tǒng)計(jì)結(jié)果。支持按標(biāo)簽數(shù)量數(shù)據(jù)進(jìn)行排序。 5.11.2 標(biāo)簽分類管理 標(biāo)簽分類的目的是為了方便標(biāo)簽的使用和管理，使標(biāo)簽系統(tǒng)更富有層次性，表分類的標(biāo)準(zhǔn)從業(yè)務(wù)、管理、技術(shù)全方位描述標(biāo)簽，滿足不同人員需求，使得業(yè)務(wù)人員、管理人員、技術(shù)人員更易于理解和采納標(biāo)簽。 系統(tǒng)提供配置和維護(hù)標(biāo)簽主題對(duì)象和標(biāo)簽分類功能。從業(yè)務(wù)角度、管理和運(yùn)營(yíng)角度以及技術(shù)角度對(duì)標(biāo)簽進(jìn)行分類管理。可創(chuàng)建任意的標(biāo)簽主題對(duì)象類型，如果主題對(duì)象已創(chuàng)建有標(biāo)簽，則不能刪除。 可以樹型結(jié)構(gòu)靈活配置標(biāo)簽分類，可增加和修改各細(xì)分類描述信息，隨意調(diào)整目錄結(jié)構(gòu)，至少支持7級(jí)以上分類目錄設(shè)置，以保障標(biāo)簽體系建設(shè)的靈活擴(kuò)展。 5.11.2.1 業(yè)務(wù)分類 標(biāo)簽體系規(guī)劃建設(shè)的目標(biāo)是為了支撐業(yè)務(wù)需要，因此標(biāo)簽?zāi)夸洃?yīng)重點(diǎn)圍繞業(yè)務(wù)分類進(jìn)行設(shè)計(jì)，標(biāo)簽的分類應(yīng)該是讓用戶易于理解，并且能夠方便、快速地檢索到所需標(biāo)簽。 以災(zāi)害事件主體為例，從業(yè)務(wù)分類來看，所有標(biāo)簽主體均能從基礎(chǔ)特征、發(fā)展動(dòng)態(tài)、關(guān)系特征和業(yè)務(wù)特征這四個(gè)維度進(jìn)行細(xì)分。 其中業(yè)務(wù)特征又可再分為公共業(yè)務(wù)特征及各條線業(yè)務(wù)強(qiáng)關(guān)聯(lián)業(yè)務(wù)特征，這樣形成“4+N”分類。 針對(duì)應(yīng)急事件的“4+N”標(biāo)簽?zāi)夸浄诸悾瑢⒂兄趹?yīng)急管理部門快速構(gòu)建應(yīng)急管理標(biāo)簽體系，且具有一定的擴(kuò)展性和穩(wěn)定性。在一級(jí)標(biāo)簽?zāi)夸浵?，可以結(jié)合業(yè)務(wù)需求設(shè)計(jì)相應(yīng)的子目錄，為了避免目錄層次過多導(dǎo)致難以檢索，建議規(guī)劃標(biāo)簽?zāi)夸洉r(shí)不要超過三層，下面分別簡(jiǎn)要介紹這些標(biāo)簽?zāi)夸浄诸悺?基礎(chǔ)特征主要包括事件名稱、等級(jí)、事件描述、事件性質(zhì)等基本信息，這些信息將以業(yè)務(wù)視角重新整合數(shù)據(jù)，構(gòu)建完整的基礎(chǔ)標(biāo)簽。 發(fā)展動(dòng)態(tài)：描述標(biāo)簽主體的動(dòng)態(tài)發(fā)展特征，是一個(gè)動(dòng)態(tài)的特征，標(biāo)簽更新的頻率較快，是從事件的發(fā)展動(dòng)態(tài)研究方面出發(fā)，根據(jù)事件在不同時(shí)段的表現(xiàn)的發(fā)展態(tài)勢(shì)所表現(xiàn)出來的發(fā)展特征，可包括變化趨勢(shì)、影響范圍、損失情況等。 關(guān)系特征：從事件的各種時(shí)空關(guān)系研究方面出發(fā)設(shè)計(jì)標(biāo)簽特征。例如相似事件、同地區(qū)事件、同時(shí)段事件等。 業(yè)務(wù)特征：從應(yīng)急管理領(lǐng)域業(yè)務(wù)需求方面出發(fā)，根據(jù)事件在各個(gè)階段表現(xiàn)的發(fā)展特點(diǎn)設(shè)計(jì)梳理標(biāo)簽。各條線業(yè)務(wù)特征是各業(yè)務(wù)部門面向具體應(yīng)急管理實(shí)戰(zhàn)分析挖掘應(yīng)用而構(gòu)建的特征標(biāo)簽，這些業(yè)務(wù)特征通?；诨A(chǔ)特征、發(fā)展動(dòng)態(tài)、關(guān)系特征和公共業(yè)務(wù)特征來構(gòu)建。 一般標(biāo)簽分類目錄設(shè)計(jì)時(shí)可定義一級(jí)目錄及部分二級(jí)目錄，更詳細(xì)的三級(jí)目錄及部分二級(jí)目錄應(yīng)在梳理標(biāo)簽時(shí)結(jié)合標(biāo)簽情況而定。 5.11.2.2 管理分類 管理分類主要是面向標(biāo)簽的管理和運(yùn)營(yíng)，標(biāo)識(shí)標(biāo)簽所屬的組織、范圍，實(shí)現(xiàn)標(biāo)簽共享和標(biāo)簽私有的統(tǒng)一管理，并能夠輔助標(biāo)簽的運(yùn)營(yíng)。 管理分類：面向管理和運(yùn)營(yíng)，標(biāo)識(shí)標(biāo)簽所屬組織、范圍，實(shí)現(xiàn)標(biāo)簽共享和私有的統(tǒng)一管理，并能夠輔助標(biāo)簽?zāi)夸浀倪\(yùn)營(yíng)。例如，管理分類可以按照以下分類：1）按水平組織架構(gòu)分類：如按照應(yīng)急業(yè)務(wù)組織分類，可分為抗震標(biāo)簽、森林防火標(biāo)簽、水旱防治標(biāo)簽等。2）按標(biāo)簽權(quán)限分類：如按照標(biāo)簽使用權(quán)限，全局標(biāo)簽用于全部開放，適應(yīng)于所有人員；私有標(biāo)簽適用于本部門、本業(yè)務(wù)所用。 例如，管理分類可以按照以下分類： 按水平組織架構(gòu)分類：按照應(yīng)急管理業(yè)務(wù)組織分類，如地震標(biāo)簽、安全生產(chǎn)監(jiān)管標(biāo)簽、火災(zāi)防治標(biāo)簽等，快速應(yīng)用于專題。 按標(biāo)簽權(quán)限分類：按照標(biāo)簽權(quán)限，如全局標(biāo)簽用于全部開放，適應(yīng)于所有人員；私有標(biāo)簽適用于本部門、本業(yè)務(wù)業(yè)務(wù)部門所用。 除了上述組織及權(quán)限分類外，還可以按照標(biāo)簽熱度分類，即按照標(biāo)簽使用的頻率進(jìn)行分類，可根據(jù)使用熱度分為熱門標(biāo)簽、未使用標(biāo)簽等。 5.11.2.3 技術(shù)分類 主要面向標(biāo)簽開發(fā)維護(hù)，從技術(shù)角度描述標(biāo)簽，方便標(biāo)簽進(jìn)行規(guī)則定義和維護(hù)。技術(shù)分類可從標(biāo)簽值域、標(biāo)簽規(guī)則、標(biāo)簽生產(chǎn)方式、標(biāo)簽狀態(tài)周期幾個(gè)維度進(jìn)行分類： 按標(biāo)簽值域分類； 有些標(biāo)簽只有是或否，例如是否特大安全生產(chǎn)事故；有些標(biāo)簽具有多個(gè)值，如火災(zāi)事故類別可以有一般火災(zāi)、較大火災(zāi)、重大火災(zāi)、特別重大火災(zāi)等多種取值。 按標(biāo)簽規(guī)則分類： 有些標(biāo)簽可以直接從數(shù)據(jù)庫(kù)通過sql方式加工而成，有些標(biāo)簽可以通過其他標(biāo)簽采用不同的與或非等邏輯條件組合而成。 按標(biāo)簽生產(chǎn)方式分類： 標(biāo)簽可從統(tǒng)計(jì)得出，也可以從業(yè)務(wù)得出，根據(jù)標(biāo)簽生產(chǎn)方式可分為統(tǒng)計(jì)類標(biāo)簽、業(yè)務(wù)類標(biāo)簽等。 按標(biāo)簽狀態(tài)周期分類： 根據(jù)標(biāo)簽更新頻率，又可分為離線標(biāo)簽、在線標(biāo)簽，在線標(biāo)簽又可分為不同的周期，如按月或按天統(tǒng)計(jì)。 5.11.3 標(biāo)簽規(guī)則管理 標(biāo)簽規(guī)則主要是提供一種嵌入在應(yīng)用程序的組件，實(shí)現(xiàn)了將數(shù)據(jù)標(biāo)簽的動(dòng)態(tài)定義從應(yīng)用程序代碼中分離，并使用自定義表達(dá)式編寫標(biāo)簽產(chǎn)生規(guī)則，同時(shí)接受數(shù)據(jù)的輸入，通過規(guī)則動(dòng)態(tài)解析，實(shí)現(xiàn)一個(gè)或者多個(gè)的數(shù)據(jù)標(biāo)簽輸出。 通過構(gòu)建標(biāo)簽引擎，實(shí)現(xiàn)對(duì)應(yīng)急管理要素的快速分類與標(biāo)識(shí)。支持標(biāo)簽元數(shù)據(jù)管理、標(biāo)簽規(guī)則管理、標(biāo)簽生命周期管理、標(biāo)簽計(jì)算、標(biāo)簽畫像等功能。 5.11.3.1 標(biāo)簽元數(shù)據(jù)管理 標(biāo)簽元數(shù)據(jù)體系構(gòu)建了標(biāo)簽的邏輯框架，體現(xiàn)標(biāo)簽的定義、統(tǒng)計(jì)、控制、意義、來源等。用戶在使用標(biāo)簽數(shù)據(jù)時(shí)可以首先查看其元數(shù)據(jù)以便能夠獲取自己所需的信息，使標(biāo)簽的使用變得準(zhǔn)確而高效。 通過將標(biāo)簽元數(shù)據(jù)可按照應(yīng)急要素維度對(duì)標(biāo)簽進(jìn)行定義，并按各維度要素的基礎(chǔ)特征和業(yè)務(wù)場(chǎng)景進(jìn)行標(biāo)簽分類，例如對(duì)災(zāi)害事故這個(gè)維度可按照事件類型和事件影響范圍進(jìn)行標(biāo)簽分類。 為了更好的與上層標(biāo)簽應(yīng)用平臺(tái)對(duì)接，系統(tǒng)還開放了標(biāo)簽元數(shù)據(jù)查詢能力，元數(shù)據(jù)查詢能力是上層標(biāo)簽應(yīng)用基于標(biāo)簽畫像平臺(tái)開展業(yè)務(wù)的基礎(chǔ)，支持查詢的標(biāo)簽元數(shù)據(jù)包括： 業(yè)務(wù)類型：即標(biāo)簽主體，如人、企業(yè)、車輛等。 標(biāo)簽分類目錄：即標(biāo)簽體系的樹形目錄，標(biāo)簽都按其屬性歸類與某個(gè)具體目錄下，以便用戶可以快速查找。 標(biāo)簽查詢：查詢某個(gè)標(biāo)簽?zāi)夸浵聵?biāo)簽，或通過標(biāo)簽名稱關(guān)鍵字模糊搜素標(biāo)簽，或查詢指定標(biāo)簽的信息，返回的標(biāo)簽信息包括標(biāo)簽名稱、標(biāo)簽ID、標(biāo)簽描述、標(biāo)簽生成周期、標(biāo)簽值類型、具備該標(biāo)簽的人員數(shù)量等。 標(biāo)簽值域查詢：查詢指定標(biāo)簽的取值列表。 畫像配置查詢：查詢已配置的畫像，及該畫像包含的標(biāo)簽清單。 5.11.3.2 標(biāo)簽規(guī)則管理 標(biāo)簽規(guī)則是生成標(biāo)簽的依據(jù)，標(biāo)簽規(guī)則管理就是實(shí)現(xiàn)對(duì)標(biāo)簽規(guī)則的設(shè)計(jì)、創(chuàng)建與管理，對(duì)外提供統(tǒng)一的規(guī)則接口，對(duì)標(biāo)簽規(guī)則進(jìn)行解析驗(yàn)證和加載執(zhí)行。 標(biāo)簽規(guī)則設(shè)計(jì) 標(biāo)簽規(guī)則設(shè)計(jì)的核心是確定標(biāo)簽以及與標(biāo)簽相關(guān)的定義。標(biāo)簽規(guī)則設(shè)計(jì)應(yīng)遵循業(yè)務(wù)需求，并結(jié)合數(shù)據(jù)對(duì)業(yè)務(wù)及流程進(jìn)行深入了解，通過分析業(yè)務(wù)流程、理解業(yè)務(wù)需求、分析各個(gè)流程節(jié)點(diǎn)分析，最后梳理數(shù)據(jù)源的業(yè)務(wù)范圍與數(shù)據(jù)完整度。在進(jìn)行標(biāo)簽規(guī)則設(shè)計(jì)時(shí)主要考慮兩個(gè)方面：一個(gè)方面是至上而下，看業(yè)務(wù)應(yīng)用上需要什么標(biāo)簽；另一個(gè)方面是至下而上，看應(yīng)急部?jī)?nèi)部相關(guān)系統(tǒng)存在哪些數(shù)據(jù)，根據(jù)這些數(shù)據(jù)可以提取出哪些標(biāo)簽，從這兩個(gè)方面綜合分析歸納出定義標(biāo)簽的規(guī)則。 在設(shè)計(jì)標(biāo)簽時(shí)，通常結(jié)合業(yè)務(wù)場(chǎng)景參考“5W2H”模型的思路，有效理清標(biāo)簽數(shù)據(jù)的屬性，幫助標(biāo)簽的有效管理。 “5W2H”模型梳理標(biāo)簽方法思路如下： 1、WHAT：標(biāo)簽是什么？確定標(biāo)簽的名稱、標(biāo)簽的值、以及該標(biāo)簽對(duì)應(yīng)的維度，如時(shí)間、組織、區(qū)域等。 2、WHO：標(biāo)簽由誰控制？標(biāo)簽由哪些人員生產(chǎn)，由哪些人控制，可以給哪些人使用 3、WHY：為什么有該標(biāo)簽？標(biāo)簽的背景和意義是什么？ 4、WHERE：標(biāo)簽來自哪里？包括標(biāo)簽屬于什么業(yè)務(wù)？標(biāo)簽屬于哪個(gè)組織、來源于哪個(gè)數(shù)據(jù)源？ 5、WHEN：標(biāo)簽的失效期，有效期是多久？ 6、HOW TO DO：標(biāo)簽怎么統(tǒng)計(jì)？分別從業(yè)務(wù)口徑和技術(shù)口徑出發(fā)統(tǒng)計(jì)。業(yè)口徑是從業(yè)務(wù)角度出發(fā)，可用于業(yè)務(wù)工作者的統(tǒng)計(jì)，例如跟標(biāo)簽用戶有直接關(guān)系的消防人員，可以給消防裝備打一個(gè)標(biāo)簽，比如“特種防護(hù)類裝備”、“呼吸保護(hù)類裝備”、“偵檢器材”等；而技術(shù)口徑可以是從技術(shù)角度出發(fā)，對(duì)于大數(shù)據(jù)算法師和技術(shù)工作者，標(biāo)簽可從數(shù)據(jù)技術(shù)操作層面進(jìn)行處理，進(jìn)行數(shù)據(jù)表字段級(jí)別的邏輯統(tǒng)計(jì)。 7、HOW MUCH：具備該標(biāo)簽特征的對(duì)象有多少？標(biāo)簽計(jì)算復(fù)雜度如何？對(duì)應(yīng)的數(shù)據(jù)質(zhì)量如何？ 通過上述梳理工作，明確項(xiàng)目中應(yīng)實(shí)施的標(biāo)簽清單，然后按照標(biāo)簽的數(shù)據(jù)來源、標(biāo)簽值、標(biāo)簽類型、標(biāo)簽編碼、創(chuàng)建類型、所需知識(shí)庫(kù)、生成周期、刷新周期、標(biāo)簽值類型、計(jì)算表達(dá)式等維度來詳細(xì)定義標(biāo)簽。 標(biāo)簽規(guī)則創(chuàng)建 標(biāo)簽規(guī)則配置支持基礎(chǔ)標(biāo)簽、組合標(biāo)簽和智能標(biāo)簽的創(chuàng)建，并且可將外部標(biāo)簽導(dǎo)入到標(biāo)簽管理平臺(tái)中進(jìn)行統(tǒng)一存儲(chǔ)和管理。其中基礎(chǔ)標(biāo)簽的創(chuàng)建支持規(guī)則配置和SQL語句創(chuàng)建兩種方式。規(guī)則配置是將已設(shè)置好的數(shù)據(jù)模型，拖、拽操作，設(shè)置多個(gè)屬性的邏輯處理規(guī)則來創(chuàng)建標(biāo)簽。SQL語句創(chuàng)建是SQL方式配置的計(jì)算規(guī)則，主要用于復(fù)雜的數(shù)據(jù)處理規(guī)則定義。組合標(biāo)簽是基于多個(gè)已創(chuàng)建標(biāo)簽的邏輯規(guī)則組合方式來創(chuàng)建標(biāo)簽。智能標(biāo)簽是將在數(shù)據(jù)分析挖掘平臺(tái)中配置好的模型工作流引入到標(biāo)簽管理平臺(tái)中自動(dòng)生成智能標(biāo)簽。 支持直接映射數(shù)據(jù)、條件匹配、公式計(jì)算等標(biāo)簽計(jì)算配置規(guī)則。 1）直接映射數(shù)據(jù) 支持通過自定義標(biāo)簽值、識(shí)別狀態(tài)、事件狀態(tài)、規(guī)則類型、對(duì)應(yīng)的具體規(guī)則、匹配字段、特定轉(zhuǎn)換函數(shù)、規(guī)則的有效時(shí)間和備注等信息來創(chuàng)建標(biāo)簽規(guī)則。 2）條件匹配 系統(tǒng)支持的條件匹配標(biāo)簽計(jì)算配置規(guī)則包括地理范圍規(guī)則、數(shù)據(jù)范圍規(guī)則、時(shí)間范圍規(guī)則、庫(kù)表比對(duì)規(guī)則等。 地理范圍規(guī)則是通過在地圖上繪制一系列多邊形，實(shí)現(xiàn)地理范圍內(nèi)和地理范圍外這兩個(gè)規(guī)則，一旦事件的經(jīng)緯度落入或者未落入規(guī)則定義的范圍，則打上對(duì)應(yīng)的標(biāo)簽。 數(shù)值范圍規(guī)則是通過判斷事件級(jí)別、事件傷亡人員或者損失量等是否落入該范圍，來判斷是否打上對(duì)應(yīng)的標(biāo)簽。 時(shí)間范圍規(guī)則是通過判斷事件中的發(fā)生時(shí)間、入庫(kù)時(shí)間等是否落入該事件范圍內(nèi)，一旦符合規(guī)則，則打上對(duì)應(yīng)的標(biāo)簽。 庫(kù)表比對(duì)規(guī)則是通過事件中的所涉及的應(yīng)急要素，如危險(xiǎn)源、救援人員、應(yīng)急車輛或者安全生產(chǎn)企業(yè)，并基于平臺(tái)的主題庫(kù)或?qū)ｎ}庫(kù)，如應(yīng)急資源庫(kù)、救援人員庫(kù)、應(yīng)急車輛庫(kù)或企業(yè)庫(kù)進(jìn)行比對(duì)，一旦這些要素屬于這些數(shù)據(jù)庫(kù)，則打上對(duì)應(yīng)的標(biāo)簽。 3）公式計(jì)算 系統(tǒng)支持的公式計(jì)算標(biāo)簽計(jì)算配置規(guī)則包括邏輯表達(dá)式規(guī)則、符合標(biāo)簽規(guī)則等。 邏輯表達(dá)式規(guī)則是通過事件標(biāo)題、內(nèi)容是否符合規(guī)則所定義的邏輯表達(dá)式，來判斷是否打上對(duì)應(yīng)的標(biāo)簽。 復(fù)合標(biāo)簽規(guī)則是在基礎(chǔ)的標(biāo)簽無法符合業(yè)務(wù)規(guī)則需求時(shí)，通過對(duì)多種標(biāo)簽進(jìn)行邏輯計(jì)算形成標(biāo)簽的標(biāo)簽規(guī)則。 5.11.3.3 標(biāo)簽生命周期管理 主要實(shí)現(xiàn)標(biāo)簽整個(gè)生命周期全可視化管理。提供標(biāo)簽可視化編輯、標(biāo)簽創(chuàng)建任務(wù)執(zhí)行策略設(shè)置、標(biāo)簽的注冊(cè)審批等功能；支持對(duì)超過當(dāng)前數(shù)據(jù)周期的標(biāo)簽數(shù)據(jù)進(jìn)行更新操作；支持對(duì)標(biāo)簽使用情況進(jìn)行統(tǒng)計(jì)，分析標(biāo)簽的使用頻次。 5.11.3.4 標(biāo)簽計(jì)算 支持在線、離線標(biāo)簽計(jì)算，以便能夠支持平臺(tái)沉淀的大量歷史數(shù)據(jù)的標(biāo)簽計(jì)算，也支持對(duì)實(shí)時(shí)流入的事件進(jìn)行標(biāo)簽計(jì)算。 在線標(biāo)簽計(jì)算 在線標(biāo)簽計(jì)算主要是針對(duì)實(shí)時(shí)流數(shù)據(jù)進(jìn)行標(biāo)簽標(biāo)識(shí)； 離線標(biāo)簽計(jì)算 離線標(biāo)簽計(jì)算主要是針對(duì)已入庫(kù)的數(shù)據(jù)進(jìn)行離線計(jì)算，并進(jìn)行標(biāo)簽識(shí)別。 5.11.3.5 標(biāo)簽畫像 系統(tǒng)支持基于應(yīng)急要素及其已有的標(biāo)簽構(gòu)建該要素的畫像，形成對(duì)要素的全方位、多角度、面向各業(yè)務(wù)場(chǎng)景的刻畫與描述。并通過標(biāo)簽管理平臺(tái)提供的對(duì)外服務(wù)接口提供標(biāo)簽畫像的查詢服務(wù)。 標(biāo)簽畫像是多屬性和標(biāo)簽組合，是針對(duì)某個(gè)應(yīng)用場(chǎng)景設(shè)計(jì)的描述目標(biāo)對(duì)象（人或事等）的重點(diǎn)關(guān)注的一系列特征標(biāo)簽，是該場(chǎng)景下對(duì)象的精確刻畫，如：重點(diǎn)企業(yè)畫像。通過畫像特性可以協(xié)助應(yīng)急管理領(lǐng)域針對(duì)不同應(yīng)用場(chǎng)景而構(gòu)建的定制化的對(duì)象畫像，便于應(yīng)用聚焦于其關(guān)注的特征標(biāo)簽或?qū)傩?，從而?jié)約時(shí)間和投資成本，同時(shí)也避免應(yīng)用訪問其他無關(guān)標(biāo)簽，防止數(shù)據(jù)無意泄露。 為了將標(biāo)簽作為一類資源服務(wù)提供給各業(yè)務(wù)部門，幫助應(yīng)急管理業(yè)務(wù)人員挖掘出案事件所需要的潛在業(yè)務(wù)信息，對(duì)應(yīng)急決策提供有價(jià)值的洞察和參考，為應(yīng)急管理業(yè)務(wù)人員制定精準(zhǔn)化決策提供支撐，標(biāo)簽畫像平臺(tái)將標(biāo)簽分析能力以API接口的形式開放給外部系統(tǒng)調(diào)用，實(shí)現(xiàn)標(biāo)簽畫像平臺(tái)與其他標(biāo)簽應(yīng)用平臺(tái)的對(duì)接。開放的標(biāo)簽畫像分析能力包括： 標(biāo)簽碰撞分析 基于多標(biāo)簽為組合篩選條件，幫助應(yīng)急管理業(yè)務(wù)人員快速定位符合特征條件的目標(biāo)對(duì)象群體。標(biāo)簽篩選條件支持多標(biāo)簽的“與”、“或”、“非”的邏輯表達(dá)式判斷。 統(tǒng)計(jì)分析 基于標(biāo)簽碰撞分析的目標(biāo)對(duì)象群體，按指定標(biāo)簽維度統(tǒng)計(jì)該群體在不同標(biāo)簽值分類的數(shù)量。例如碰撞規(guī)則為“森林消防人員”，統(tǒng)計(jì)維度為“地區(qū)”時(shí)，平臺(tái)將返回森林消防人員在不同地區(qū)分布的數(shù)量。該功能可用于對(duì)目標(biāo)群體進(jìn)行宏觀態(tài)勢(shì)分析。 畫像查詢 應(yīng)用可以針對(duì)具體場(chǎng)景查詢指定對(duì)象或群體的定制化畫像，系統(tǒng)僅返回該場(chǎng)景下需要的標(biāo)簽信息，而不返回?zé)o關(guān)標(biāo)簽特征，使得應(yīng)用可以聚焦于目標(biāo)對(duì)象的重點(diǎn)特征而避免無意泄露其他特征信息。該功能可用于對(duì)目標(biāo)對(duì)象進(jìn)行進(jìn)一步精細(xì)化研判。 5.11.4 標(biāo)簽地圖 標(biāo)簽地圖以樹形結(jié)構(gòu)展示標(biāo)簽分類目錄，當(dāng)選中某級(jí)目錄時(shí)，顯示目錄下有查看權(quán)限的標(biāo)簽列表，再選中某標(biāo)簽時(shí)，可展示該標(biāo)簽的詳細(xì)信息，包括：標(biāo)簽名稱、標(biāo)簽創(chuàng)建者、標(biāo)簽創(chuàng)建部門、標(biāo)簽更新頻次、標(biāo)簽使用說明、標(biāo)簽上線時(shí)間、標(biāo)簽星級(jí)、標(biāo)簽引用次數(shù)、查看次數(shù)、用戶評(píng)論等信息 支持標(biāo)簽搜索功能，用戶直接輸入搜索字符即可，默認(rèn)采用標(biāo)簽名稱的搜索方式。 5.11.5 標(biāo)簽評(píng)論 用戶對(duì)任意標(biāo)簽都可以發(fā)表評(píng)論，以及對(duì)任意標(biāo)簽都可以打分。分?jǐn)?shù)在0－5分之間，以5分為滿分。每個(gè)用戶只能打分一次。 對(duì)標(biāo)簽的標(biāo)簽打分和評(píng)論、更新頻次、標(biāo)簽引用次數(shù)、查看次數(shù)、用戶評(píng)論進(jìn)行展示。 5.11.6 智能標(biāo)簽服務(wù) 智能標(biāo)簽服務(wù)主要是利用標(biāo)簽工程引擎將標(biāo)簽的創(chuàng)建、查詢、分析給服務(wù)化，是將標(biāo)簽作為一類資源服務(wù)提供給專業(yè)部門，幫助業(yè)務(wù)任務(wù)挖掘出事件所需要的潛在業(yè)務(wù)信息，對(duì)偵破分析提供有價(jià)值的洞察和參考，為應(yīng)急管理人員制定精準(zhǔn)化決策提供支撐。 標(biāo)簽服務(wù)將通過三種形式開放： 1)通用標(biāo)簽分析能力以API接口形式開放給外部系統(tǒng)調(diào)用，包含標(biāo)簽碰撞分析、畫像查詢、統(tǒng)計(jì)分析等。 2)開放自定義規(guī)則引擎供專業(yè)業(yè)務(wù)人員進(jìn)行標(biāo)簽規(guī)則自定義，以生成個(gè)性化標(biāo)簽。提供可視化操作支撐服務(wù)，方便用戶以拖拉拽的方式進(jìn)行數(shù)據(jù)自助規(guī)則挖掘、規(guī)則建立、規(guī)則試跑、樣本數(shù)據(jù)訓(xùn)練等操作。幫助用戶進(jìn)行個(gè)性化業(yè)務(wù)專題標(biāo)簽的建立。 3)標(biāo)簽元數(shù)據(jù)查詢服務(wù)，支持查詢的元數(shù)據(jù)包括標(biāo)簽名稱、標(biāo)簽分類目錄，標(biāo)簽編碼等等。 5.12 知識(shí)圖譜 知識(shí)圖譜旨在通過建立數(shù)據(jù)之間的關(guān)聯(lián)鏈接，將碎片化的數(shù)據(jù)有機(jī)的組織起來，讓數(shù)據(jù)更加容易被人和機(jī)器理解和處理，并為搜索、挖掘、分析等提供便利，為人工智能的實(shí)現(xiàn)提供知識(shí)庫(kù)基礎(chǔ)。 5.12.1 知識(shí)圖譜創(chuàng)建 知識(shí)圖譜創(chuàng)建為構(gòu)建知識(shí)圖譜提供了基礎(chǔ)支撐，提供事與事、事與人、事與組織等等之間的各種關(guān)系分析復(fù)現(xiàn)，提供深層次的研判洞察，為知識(shí)圖譜構(gòu)建提供了統(tǒng)一的入口，支撐用戶構(gòu)建自己的知識(shí)圖譜。 系統(tǒng)提供元數(shù)據(jù)的統(tǒng)一視圖，實(shí)現(xiàn)數(shù)據(jù)多源融合、關(guān)系排序、深度去重等深度治理。在數(shù)據(jù)深度治理基礎(chǔ)上，對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步加工，實(shí)現(xiàn)對(duì)象之間的關(guān)聯(lián)關(guān)系構(gòu)建、軌跡類數(shù)據(jù)構(gòu)建，最終形成面向應(yīng)急管理體系的知識(shí)圖譜；知識(shí)圖譜存儲(chǔ)計(jì)算引擎采用分布式圖數(shù)據(jù)庫(kù)，可以支撐十億級(jí)別的實(shí)體點(diǎn)和百億級(jí)別關(guān)系邊的關(guān)聯(lián)分析。 知識(shí)圖譜是將現(xiàn)實(shí)中的事物抽象成實(shí)體、關(guān)系、事件等三個(gè)基本的要素，用戶可根據(jù)標(biāo)準(zhǔn)化的數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行分析，分析出能夠支撐知識(shí)圖譜的實(shí)體，關(guān)系，事件。 系統(tǒng)提供本地標(biāo)準(zhǔn)化的數(shù)據(jù)模型的定制功能，用戶可根據(jù)數(shù)據(jù)模型配置相應(yīng)的數(shù)據(jù)處理邏輯，配置數(shù)據(jù)模型提供統(tǒng)一的圖形化界面，然后統(tǒng)一調(diào)度數(shù)據(jù)轉(zhuǎn)換程序。 處理后的數(shù)據(jù)，利用統(tǒng)一的調(diào)度工具，可統(tǒng)一加載到圖數(shù)據(jù)庫(kù)中。圖譜數(shù)據(jù)的存儲(chǔ)主要由上層業(yè)務(wù)應(yīng)用、數(shù)據(jù)模型、數(shù)據(jù)體量、計(jì)算模型等因素決定，業(yè)務(wù)模型和數(shù)據(jù)模型適配選擇圖數(shù)據(jù)庫(kù)、NoSQL數(shù)據(jù)庫(kù)和索引數(shù)據(jù)庫(kù)。 5.12.2 知識(shí)圖譜庫(kù)構(gòu)建 知識(shí)圖譜構(gòu)建知識(shí)體系包括數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)元、標(biāo)簽、規(guī)則和業(yè)務(wù)模型等構(gòu)建知識(shí)圖譜所需的知識(shí)庫(kù)。知識(shí)圖譜的構(gòu)建依賴于大數(shù)據(jù)資源中的主題庫(kù)、專題庫(kù)、知識(shí)庫(kù)、知識(shí)圖譜創(chuàng)建服務(wù)。 知識(shí)圖譜庫(kù)中內(nèi)置搜索引擎，實(shí)現(xiàn)了基本的全文檢索功能、高級(jí)檢索、精確/模糊查詢功能、字段歸類組合查詢功能、多維度表分類查詢功能。主要為上層服務(wù)層提供基礎(chǔ)服務(wù)和專題服務(wù)（隱性關(guān)系和事件）。如：人員基本信息，車輛基本信息，組織基本信息、人-事件關(guān)系、事件-資源關(guān)系，時(shí)空軌跡事件關(guān)系等。 5.12.3 知識(shí)圖譜服務(wù) 知識(shí)圖譜服務(wù)是基于知識(shí)圖譜庫(kù)構(gòu)建的面向應(yīng)用的基礎(chǔ)服務(wù)，可提供完整的全文檢索。主要為上層應(yīng)用和外部系統(tǒng)提供關(guān)系查詢、實(shí)體查詢、事件查詢等檢索服務(wù)。 知識(shí)圖譜服務(wù)利用友好的訪問接口對(duì)圖譜庫(kù)的基本操作進(jìn)行封裝，可完成實(shí)體、關(guān)系、事件的在線查找、添加、更新、刪除的能力。 5.12.3.1 知識(shí)圖譜檢索服務(wù) 知識(shí)圖譜服務(wù)關(guān)系查詢引擎在圖譜庫(kù)提供的快速圖遍歷功能基礎(chǔ)上，支持從種子點(diǎn)出發(fā)的多跳關(guān)系查詢、多點(diǎn)之間的關(guān)系推演（即關(guān)系路徑查找：自動(dòng)查找多個(gè)事件或物在一定步數(shù)內(nèi)的關(guān)系路徑，形成關(guān)系子網(wǎng)）、指定過濾條件的關(guān)系擴(kuò)展等功能。關(guān)系推演能夠?qū)崿F(xiàn)事與事、事與人、事與組織等各種實(shí)體之間的關(guān)系發(fā)現(xiàn)。可以實(shí)現(xiàn)根據(jù)復(fù)雜過濾條件，圍繞某事或某組織，不斷發(fā)現(xiàn)聯(lián)系的關(guān)系事件或關(guān)系組織的過程。 5.12.3.2 關(guān)聯(lián)分析/圖析服務(wù) 提供可視化數(shù)據(jù)關(guān)聯(lián)分析，在數(shù)億實(shí)體和數(shù)十億的關(guān)系網(wǎng)中，實(shí)時(shí)進(jìn)行關(guān)系挖掘、路徑推演、事件比對(duì)、時(shí)空分析等，并通過可視化交互方式，有效發(fā)現(xiàn)和獲取最有價(jià)值的數(shù)據(jù)。如基于圖形化關(guān)系分析技術(shù)實(shí)現(xiàn)的機(jī)構(gòu)圖譜，為安全生產(chǎn)監(jiān)管人員架起了與大數(shù)據(jù)交互的簡(jiǎn)便快捷手段。還可利用時(shí)間軸，從時(shí)間序列的維度對(duì)圖譜進(jìn)行分析，通過時(shí)間軸，直觀展示關(guān)聯(lián)關(guān)系網(wǎng)絡(luò)及事件在時(shí)間維度的分布及統(tǒng)計(jì)情況，查看某特定時(shí)間段內(nèi)后某時(shí)間上，某關(guān)系網(wǎng)絡(luò)的發(fā)生情況以及其隨時(shí)間變化的發(fā)展變化規(guī)律。 5.12.3.3 多維展示/全息檔案服務(wù) 從應(yīng)急管理指揮業(yè)務(wù)需求出發(fā)，基于應(yīng)急管理數(shù)據(jù)資源池整合的各類數(shù)據(jù)資源，對(duì)各類人、事件、地、組織及其之間的關(guān)系背景資料建立完備的檔案，如救援人員檔案將人員及其所屬組織作為整體進(jìn)行綜合呈現(xiàn)，主要包含人員基本信息、關(guān)系網(wǎng)絡(luò)圖、相關(guān)軌跡、地址信息及歷史救援記錄等。 5.12.3.4 地理展示和時(shí)空比對(duì)服務(wù) 結(jié)合軌跡分析算法以及部分關(guān)系戰(zhàn)法，支持指揮人員對(duì)數(shù)據(jù)基于時(shí)間-空間的實(shí)體/事件/軌跡進(jìn)行關(guān)聯(lián)分析，時(shí)間分析有時(shí)間軸和動(dòng)態(tài)時(shí)間卷軸，以及對(duì)接EGIS或主流開源地圖，結(jié)合其地理信息數(shù)據(jù)提供多元多維度分析。 5.13 通用應(yīng)用服務(wù) 5.13.1 統(tǒng)一機(jī)構(gòu)管理 主要實(shí)現(xiàn)對(duì)單位內(nèi)部組織機(jī)構(gòu)和臨時(shí)機(jī)構(gòu)的統(tǒng)一管理，支持制定臨時(shí)機(jī)構(gòu)的編碼規(guī)范。各分級(jí)管理員可在機(jī)構(gòu)樹里進(jìn)行新增、修改、刪除，同時(shí)支持機(jī)構(gòu)合并功能。 5.13.2 統(tǒng)一用戶管理 主要包括了應(yīng)急管理用戶管理、外部施工人員管理、個(gè)人信息管理，并提供用戶數(shù)據(jù)批量導(dǎo)入功能。由管理員對(duì)應(yīng)急管理用戶、外部施工人員進(jìn)行管理，個(gè)人信息管理由平臺(tái)用戶自己進(jìn)行維護(hù)。支持按照用戶的業(yè)務(wù)域管理機(jī)制。用戶橫向具有不同的業(yè)務(wù)域，縱向?yàn)橛脩舻膯挝粚蛹?jí)。不同業(yè)務(wù)域的管理員不能相互干涉。 5.13.3 統(tǒng)一權(quán)限管理 實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)的菜單資源和功能的使用權(quán)限統(tǒng)一在用戶管理系統(tǒng)中設(shè)置，為各業(yè)務(wù)系統(tǒng)提供統(tǒng)一的權(quán)限授權(quán)管理，并能夠?qū)ν馓峁?quán)限信息服務(wù)接口。權(quán)限管理用于配置各應(yīng)用系統(tǒng)的權(quán)限信息、應(yīng)用接入，主要包括應(yīng)用注冊(cè)、應(yīng)用資源同步、角色管理等功能。 5.13.4 統(tǒng)一身份認(rèn)證 實(shí)現(xiàn)用戶的統(tǒng)一身份認(rèn)證，支持單點(diǎn)認(rèn)證SSO（SingleSignOn）功能：即用戶在一點(diǎn)登錄后，在訪問不同的業(yè)務(wù)應(yīng)用時(shí)無需重復(fù)登錄，做到一次登錄，即可訪問所有服務(wù)系統(tǒng)。平臺(tái)門戶接收用戶的認(rèn)證請(qǐng)求，將用戶請(qǐng)求信息發(fā)送到統(tǒng)一認(rèn)證平臺(tái)，由統(tǒng)一認(rèn)證平臺(tái)為合法用戶生成用戶身份憑證，并將憑證反饋至平臺(tái)門戶，從而完成用戶登錄認(rèn)證過程。 5.13.5 統(tǒng)一消息服務(wù) 提供統(tǒng)一的消息引擎，提供接口接收各應(yīng)用推送的消息，通過消息隊(duì)列的機(jī)制實(shí)現(xiàn)消息的生產(chǎn)及消費(fèi)。需提供統(tǒng)一消息分類標(biāo)準(zhǔn)和統(tǒng)一消息接口規(guī)范。 統(tǒng)一消息服務(wù)為應(yīng)急管理應(yīng)用提供基礎(chǔ)的消息服務(wù)，同時(shí)還可以在未來對(duì)其他新建應(yīng)用提供強(qiáng)大的消息能力。統(tǒng)一消息服務(wù)利用多種消息渠道（短信、電話語音等）將各種通知、提醒內(nèi)容及時(shí)的傳達(dá)給用戶，并對(duì)應(yīng)用提供統(tǒng)一的消息發(fā)送接口。通過統(tǒng)一消息服務(wù)實(shí)現(xiàn)門戶應(yīng)用功能與消息發(fā)送功能的松散耦合，以實(shí)現(xiàn)更為全面的覆蓋。 統(tǒng)一消息服務(wù)采用“服務(wù)集中、應(yīng)用分散”的架構(gòu)思路設(shè)計(jì)。服務(wù)核心應(yīng)用放置在中心平臺(tái)，供各本地應(yīng)用系統(tǒng)調(diào)用。本平臺(tái)融權(quán)限管理及各種通訊服務(wù)于一體，是一個(gè)包含信息查詢、發(fā)布、通知、短信留言，工作人員狀態(tài)查詢等諸多功能的平臺(tái)和應(yīng)用系統(tǒng)。 統(tǒng)一消息服務(wù)包含以下功能： 信息多渠道發(fā)布：通過集成接口將其他應(yīng)用系統(tǒng)的各種通知信息進(jìn)行分類管理，便于管理人員通過指定渠道及時(shí)動(dòng)態(tài)的使用。每一個(gè)應(yīng)用系統(tǒng)都會(huì)有相關(guān)的信息需要按照不同的分類、以不同的形式、在不同的時(shí)刻通知到相關(guān)人員。 信息送達(dá)和反饋：根據(jù)多渠道通訊提示，可利用短信、平臺(tái)操作等方式，確認(rèn)信息已經(jīng)收到，并對(duì)具體業(yè)務(wù)提供處理反饋信息。使用統(tǒng)一消息中心接收人可以直接回復(fù)手機(jī)短消息的提醒來確認(rèn)接收到這些提醒信息，從而完成信息閉環(huán)確認(rèn)的過程。 日志查詢等服務(wù)：記錄短信、語音等業(yè)務(wù)日志，方便查詢明細(xì)，提供分類報(bào)表功能。 5.13.6 日志管理 日志管理是針對(duì)日志類數(shù)據(jù)的一站式服務(wù)，對(duì)用戶登陸、退出、查詢、新增、刪除、修改等操作行為的日志進(jìn)行詳細(xì)記錄，完成日志數(shù)據(jù)采集、消費(fèi)、投遞以及查詢分析等功能，提升運(yùn)維、運(yùn)營(yíng)效率及海量日志處理能力。 5.13.7 安全審計(jì) 安全審計(jì)將用戶所有的操作日志集中記錄管理和分析，不僅可以對(duì)用戶行為進(jìn)行監(jiān)控，并且可以通過集中的審計(jì)數(shù)據(jù)進(jìn)行分析，以便于事后的追責(zé)和認(rèn)定。支持安全日志歸檔功能，管理員可以定期對(duì)日志文件按時(shí)段進(jìn)行歸檔，在歸檔時(shí)生成歸檔文件。 5.13.8 數(shù)據(jù)治理門戶 將所有數(shù)據(jù)治理的系統(tǒng)集成發(fā)布于門戶中，實(shí)現(xiàn)單點(diǎn)登陸等便捷化操作，一鍵直達(dá)某一功能點(diǎn)，根據(jù)用戶需求隨時(shí)進(jìn)行修改、調(diào)整內(nèi)容。 5.14 資源目錄 按照多維度、多渠道的服務(wù)建設(shè)模式，構(gòu)建多點(diǎn)多活的統(tǒng)一服務(wù)資源目錄，包括數(shù)據(jù)資源目錄、服務(wù)接口資源目錄、算法資源目錄、模型資源目錄、應(yīng)用資源目錄等，提供資源的查詢、注冊(cè)、申請(qǐng)、變更、停用、啟用、同步等接口，用于實(shí)現(xiàn)資源共享與利用。 通過目錄形式展示的方式，提供對(duì)平臺(tái)現(xiàn)有資源成果的展示，使用戶可以快速、直觀地了解平臺(tái)現(xiàn)有資源及成果，便于用戶快速檢索。 用戶可以自定義地圖目錄結(jié)構(gòu)，定義好目錄結(jié)構(gòu)后，可在地圖瀏覽的圖層控制中顯示，從而實(shí)現(xiàn)個(gè)性化目錄展示的功能。 5.14.1 元數(shù)據(jù)資源目錄 對(duì)平臺(tái)內(nèi)的元數(shù)據(jù)和數(shù)據(jù)代碼的進(jìn)行統(tǒng)一的管理，提供注冊(cè)、更新、啟用、停用、注銷等業(yè)務(wù)功能。 注冊(cè)的數(shù)據(jù)項(xiàng)主要有元數(shù)據(jù)和數(shù)據(jù)代碼的注冊(cè)單位信息、應(yīng)用范圍、數(shù)據(jù)表示、名稱、描述等信息，可以查詢的字段信息、數(shù)據(jù)規(guī)模、數(shù)據(jù)更新情況等。 5.14.2 數(shù)據(jù)資源目錄 構(gòu)建數(shù)據(jù)資源目錄，以原始庫(kù)、資源庫(kù)、主題庫(kù)、專題庫(kù)、配置庫(kù)中的數(shù)據(jù)資源為管理對(duì)象，通過注冊(cè)、更新、啟用、停用、注銷、查詢等業(yè)務(wù)功能，形成標(biāo)準(zhǔn)的、規(guī)范的、統(tǒng)一的數(shù)據(jù)資源目錄，促進(jìn)數(shù)據(jù)資源科學(xué)、有序、安全的開放和共享。 5.14.3 標(biāo)簽資源目錄 構(gòu)建標(biāo)簽資源目錄，通過標(biāo)簽資源目錄實(shí)現(xiàn)對(duì)標(biāo)簽?zāi)０遒Y源的共享開放與自定義。 注冊(cè)的標(biāo)簽?zāi)０遒Y源信息主要包括標(biāo)簽類別、標(biāo)簽編碼、標(biāo)簽名稱、標(biāo)簽資源摘要、標(biāo)簽輸入數(shù)據(jù)項(xiàng)、所需知識(shí)庫(kù)、計(jì)算表達(dá)式等信息。 通過統(tǒng)一資源管理模塊提供標(biāo)簽資源的查詢、注冊(cè)、更新等功能。對(duì)于標(biāo)簽資源的匯聚分發(fā)除了標(biāo)簽本身模板信息外，還應(yīng)該對(duì)這個(gè)標(biāo)簽所依賴的知識(shí)庫(kù)進(jìn)行匯聚分發(fā)。 5.14.4 算法資源目錄 資源管理中心提供統(tǒng)計(jì)分析算法、聚類算法、分類算法、關(guān)系網(wǎng)絡(luò)算法、文本分析算法、圖像和音視頻分析算法等通用算法。 同時(shí)資源管理中心可以通過算法資源目錄，提供外部算法的注冊(cè)功能，注冊(cè)的信息包含算法基本信息、算法引用信息、算法描述信息、算法依賴環(huán)境信息、算法提供單位信息、算法運(yùn)行包等。 5.14.5 模型資源目錄 通過模型資源目錄，提供自定義模型的注冊(cè)，注冊(cè)的信息包含模型基本信息、模型引用信息、模型描述信息、模型依賴環(huán)境信息、模型提供單位信息、XML模型標(biāo)準(zhǔn)描述等。通過統(tǒng)一資源管理模塊提供模型模板資源的查詢、注冊(cè)、更新等功能。 5.14.6 服務(wù)接口資源目錄 構(gòu)建服務(wù)接口資源目錄，包括平臺(tái)的數(shù)據(jù)訪問服務(wù)、業(yè)務(wù)服務(wù)。通過服務(wù)接口資源目錄提供服務(wù)的注冊(cè)、發(fā)現(xiàn)與使用。服務(wù)開發(fā)平臺(tái)能夠直接對(duì)接服務(wù)接口資源進(jìn)行動(dòng)態(tài)使用與查詢調(diào)度。 注冊(cè)的服務(wù)接口資源信息主要包括服務(wù)分類、服務(wù)提供方式、服務(wù)地址、服務(wù)版本、服務(wù)資源位置、服務(wù)系統(tǒng)名稱、服務(wù)信息描述等。通過統(tǒng)一資源管理模塊提供服務(wù)資源的查詢、注冊(cè)、更新等功能。 5.15 數(shù)據(jù)服務(wù)總線 建設(shè)數(shù)據(jù)服務(wù)總線，基于數(shù)據(jù)治理系統(tǒng)，將數(shù)據(jù)應(yīng)用服務(wù)、數(shù)據(jù)支撐服務(wù)的注冊(cè)、路由、適配等內(nèi)容進(jìn)行統(tǒng)一管理，實(shí)現(xiàn)應(yīng)用開發(fā)、數(shù)據(jù)共享和業(yè)務(wù)協(xié)同的統(tǒng)一服務(wù)?；ヂ?lián)網(wǎng)、電子政務(wù)外網(wǎng)、指揮信息網(wǎng)均需按域部署，與部署在各省的服務(wù)節(jié)點(diǎn)對(duì)接，用于部省聯(lián)動(dòng)。 5.15.1 服務(wù)注冊(cè) 提供服務(wù)的集中注冊(cè)功能。地方應(yīng)急管理部門基于注冊(cè)功能實(shí)現(xiàn)服務(wù)的創(chuàng)建和維護(hù)。 5.15.2 服務(wù)編排 提供服務(wù)的組合功能。地方應(yīng)急管理部門基于服務(wù)編排功能，實(shí)現(xiàn)將已有的不同協(xié)議的服務(wù)進(jìn)行組合，從而生成新的服務(wù)。 5.15.3 服務(wù)路由 提供服務(wù)的靜態(tài)路由和智能路由功能。地方應(yīng)急管理部門基于靜態(tài)路由功能實(shí)現(xiàn)消息按預(yù)定的通道進(jìn)行傳輸。地方應(yīng)急管理部門基于動(dòng)態(tài)路由功能實(shí)現(xiàn)消息傳輸時(shí)能夠選擇最優(yōu)通道。 5.15.4 協(xié)議適配 提供協(xié)議適配功能。地方應(yīng)急管理部門按照規(guī)定信息的格式和規(guī)則實(shí)現(xiàn)服務(wù)的適配接入。 5.15.5 事務(wù)管理 提供事務(wù)管理功能。地方應(yīng)急管理部門基于事務(wù)管理實(shí)現(xiàn)事務(wù)的一致性和完整性。 5.15.6 服務(wù)監(jiān)控 提供服務(wù)的監(jiān)控功能。地方應(yīng)急管理部門可以基于管理功能實(shí)現(xiàn)對(duì)系統(tǒng)運(yùn)行情況和各種資源的狀態(tài)信息進(jìn)行監(jiān)控，及時(shí)發(fā)現(xiàn)并定位系統(tǒng)中出現(xiàn)的異常情況。平臺(tái)功能具體要求負(fù)偏離
負(fù)偏離? (-2分)?
基本滿足要求
正偏離
2新增6.1 應(yīng)用支撐技術(shù)指標(biāo) 應(yīng)用支撐應(yīng)在服務(wù)能力、智能化、靈活性、可擴(kuò)展性等方面達(dá)到以下要求： （1）滿足業(yè)務(wù)系統(tǒng)整合與集成的能力需求； （2）提供WebService、Rest等通用協(xié)議服務(wù)，滿足現(xiàn)有業(yè)務(wù)系統(tǒng)和新建業(yè)務(wù)系統(tǒng)的服務(wù)能力需求； （3）可兼容基于Java、Python等主流技術(shù)開發(fā)的引擎組件； （4）支撐第三方服務(wù)快速集成到應(yīng)用支撐，實(shí)現(xiàn)服務(wù)能力傳遞共享； （5）支撐組件化、可插拔式的服務(wù)發(fā)布與管理； （6）充分利用大數(shù)據(jù)、人工智能等技術(shù)，實(shí)現(xiàn)組件引擎的智能化管理。 6.2 服務(wù)總線技術(shù)指標(biāo) 服務(wù)總線應(yīng)在服務(wù)能力范圍、技術(shù)兼容性、靈活性等方面達(dá)到如下要求： （1）應(yīng)用服務(wù)、數(shù)據(jù)服務(wù)等服務(wù)在服務(wù)總線進(jìn)行統(tǒng)一管理； （2）應(yīng)支持引入服務(wù)在本服務(wù)總線上進(jìn)行注冊(cè)和使用； （3）應(yīng)支持Rest、SOAP、Hessian、FastInfoset等協(xié)議的服務(wù)注冊(cè)； （4）應(yīng)支持如報(bào)表、工作流、UI等工具的開發(fā)服務(wù)支撐； （5）應(yīng)支持將應(yīng)用組件、數(shù)據(jù)一鍵發(fā)布成服務(wù)的能力； （6）應(yīng)能夠展現(xiàn)各維度的服務(wù)使用情況。 6.3 數(shù)據(jù)治理門戶技術(shù)指標(biāo) 應(yīng)在兼容性、可靠性、安全性、時(shí)效性等方面達(dá)到如下要求： （1）應(yīng)全面支持業(yè)界的技術(shù)標(biāo)準(zhǔn)和技術(shù)規(guī)范，包括WSDL、SOAP、UDDI等； （2）應(yīng)能夠提供多種門戶開放方式； （3）應(yīng)能夠具有完善的個(gè)性化服務(wù)； （4）應(yīng)能夠提供良好的通信機(jī)制； （5）統(tǒng)一門戶應(yīng)能滿足用戶訪問應(yīng)用的時(shí)效性要求，保證提供一致的、可預(yù)測(cè)的響應(yīng)，在500并發(fā)數(shù)時(shí)平均延時(shí)應(yīng)小于1秒。 6.4 身份管理系統(tǒng)技術(shù)指標(biāo) 用戶身份管理能力不少于10萬條目、本地機(jī)構(gòu)編碼管理能力不少于1萬條目、應(yīng)用系統(tǒng)身份管理能力不少于150個(gè)、設(shè)備資源身份管理能力不少于2000臺(tái)；雙因素身份鑒別能力不低于300次/TPS（每秒事務(wù)處理能力）；日志存儲(chǔ)不少于6個(gè)月。 6.5 密碼管理系統(tǒng)技術(shù)指標(biāo) 密碼設(shè)備必須支持SM1/SM2/SM3/SM4密碼算法。 6.6 數(shù)據(jù)治理系統(tǒng)技術(shù)指標(biāo) 1.接入系統(tǒng)單臺(tái)前置子系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)的接入性能不小于10MB每秒，非結(jié)構(gòu)化小文件（小于1MB）接入性能不小于6MB每秒，非結(jié)構(gòu)化大文件（大于1MB）的接入性能不小于30MB每秒。 2.單節(jié)點(diǎn)實(shí)時(shí)計(jì)算能力不低于5000條每秒，離線計(jì)算能力不低于30000條每秒，同時(shí)應(yīng)滿足1億條數(shù)據(jù)計(jì)算的穩(wěn)定性。 3.億行級(jí)數(shù)據(jù)檢索查詢響應(yīng)時(shí)間不大于3秒，支持最大在線用戶數(shù)不少于300人，并發(fā)查詢請(qǐng)求不小于30個(gè)。 4.單節(jié)點(diǎn)可滿足500萬次請(qǐng)求的穩(wěn)定運(yùn)行，單節(jié)點(diǎn)并發(fā)訪問支持不小于50次每秒。技術(shù)指標(biāo)負(fù)偏離
負(fù)偏離? (-2分)?
基本滿足要求
正偏離
3新增投標(biāo)人標(biāo)前須到用戶現(xiàn)場(chǎng)評(píng)估現(xiàn)有網(wǎng)絡(luò)、系統(tǒng)、設(shè)備的情況，根據(jù)目前應(yīng)急管理相關(guān)部門的實(shí)際情況，合理考慮系統(tǒng)的需求，對(duì)應(yīng)用系統(tǒng)建設(shè)進(jìn)行深化設(shè)計(jì)。在實(shí)施過程中所提供的軟件如不能滿足系統(tǒng)和業(yè)務(wù)的運(yùn)行需求，投標(biāo)人自行負(fù)責(zé)調(diào)整軟件功能，滿足業(yè)務(wù)需求。投標(biāo)人需承擔(dān)由此帶來的一切費(fèi)用。投標(biāo)人投標(biāo)時(shí)要一次性包含所有項(xiàng)目建設(shè)、遷移、實(shí)施和維護(hù)等費(fèi)用。如果有任何附加的費(fèi)用由中標(biāo)人承擔(dān)。投標(biāo)人須提供承諾函加蓋公章。 （1）自簽訂合同日起，2周內(nèi)承建單位完成需求調(diào)研工作，形成需求文檔（規(guī)格說明書或報(bào)告形式），并通過建設(shè)單位評(píng)審。 （2）自需求文檔（規(guī)格說明書或報(bào)告形式）通過評(píng)審日起，2周內(nèi)承建單位完成技術(shù)架構(gòu)設(shè)計(jì)、應(yīng)用原型設(shè)計(jì)，形成技術(shù)方案，并通過建設(shè)單位評(píng)審。 （3）自技術(shù)方案通過評(píng)審日起，1周內(nèi)承建單位完成項(xiàng)目實(shí)施計(jì)劃，并通過建設(shè)單位評(píng)審。 （4）自項(xiàng)目實(shí)施計(jì)劃通過評(píng)審日起，45個(gè)自然天內(nèi)承建單位完成所有項(xiàng)目開發(fā)。承建單位每周發(fā)布一版可工作軟件版本到生產(chǎn)環(huán)境中供建設(shè)單位相關(guān)工作人員測(cè)試使用。 （5）承建單位每周提交一次項(xiàng)目報(bào)告，項(xiàng)目報(bào)告包括本周開發(fā)內(nèi)容、下周開發(fā)計(jì)劃、開發(fā)期間問題列表等內(nèi)容；需要獲得客戶支持的事項(xiàng)形成問題報(bào)告及時(shí)與建設(shè)單位的項(xiàng)目主管部門或人員溝通，并將其進(jìn)展記錄在周報(bào)和月報(bào)中，匯報(bào)至建設(shè)單位的項(xiàng)目負(fù)責(zé)人及主管領(lǐng)導(dǎo)。 （6）在項(xiàng)目實(shí)施期內(nèi)，承建單位派駐5名以上軟件工程師駐建設(shè)單位現(xiàn)場(chǎng)開發(fā)；驗(yàn)收合格前，項(xiàng)目經(jīng)理、需求經(jīng)理不得更換，開發(fā)人員的更換不得超過2人次，并且如有人員變更必須提前1周告知建設(shè)單位，并將交接記錄等內(nèi)容交建設(shè)單位備案，經(jīng)建設(shè)單位同意后變更人員方可離開。 （7）自項(xiàng)目功能驗(yàn)收完畢日起，1周內(nèi)進(jìn)入系統(tǒng)運(yùn)維期,同時(shí)承建單位在1周內(nèi)提供運(yùn)維方案和計(jì)劃。 （8）提供五年免費(fèi)質(zhì)保服務(wù)，自項(xiàng)目驗(yàn)收完畢日起，2年內(nèi)保證原項(xiàng)目開發(fā)團(tuán)隊(duì)的3名以上軟件工程師在現(xiàn)場(chǎng)進(jìn)行系統(tǒng)維護(hù)和對(duì)所有需求變更進(jìn)行免費(fèi)開發(fā)和實(shí)施；項(xiàng)目經(jīng)理和需求經(jīng)理保持原有成員，不得更換；自項(xiàng)目驗(yàn)收完畢日起，第3至5年內(nèi)提供駐本地的維護(hù)服務(wù)團(tuán)隊(duì)，提供所有組件及模塊的二次開發(fā)與技術(shù)支持，免費(fèi)開放接口，實(shí)現(xiàn)數(shù)據(jù)互通、業(yè)務(wù)協(xié)同；最少人數(shù)不能少于3人，原開發(fā)團(tuán)隊(duì)成員占維護(hù)服務(wù)團(tuán)隊(duì)的比例不能少于40%。 （9）執(zhí)行過程中如無法達(dá)到實(shí)施要求，建設(shè)單位可隨時(shí)終止合同，并追繳已支付所有款項(xiàng)。 （10）該要求最終解釋權(quán)歸建設(shè)單位。實(shí)施要求負(fù)偏離
負(fù)偏離? (-2分)?
基本滿足要求
正偏離
4新增8.1服務(wù)質(zhì)量要求 （1）軟件平臺(tái)提供7×24小時(shí)的連續(xù)運(yùn)行，軟件平均年故障時(shí)間小于2天，平均故障修復(fù)時(shí)間小于1小時(shí)。 （2）承建單位根據(jù)系統(tǒng)不同重要程度的維護(hù)等級(jí)保障，滿足相應(yīng)等級(jí)問題的響應(yīng)時(shí)間。 系統(tǒng)重要程度定級(jí)表如下： ▲緊急事件：故障影響范圍大，引起嚴(yán)重社會(huì)影響。 ▲高關(guān)注度事件：故障影響局限在所服務(wù)客戶的本單位。對(duì)核心生產(chǎn)業(yè)務(wù)系統(tǒng)造成影響的，導(dǎo)致多數(shù)用戶無法使用的問題。 ▲正常關(guān)注度事件：系統(tǒng)故障影響用戶工作效率。 ▲低關(guān)注度事件：個(gè)別用戶使用故障，使用不便或容易出現(xiàn)誤操作。 不同級(jí)別問題響應(yīng)時(shí)間如下： ▲緊急事件：響應(yīng)時(shí)間0.5個(gè)小時(shí)，1小時(shí)內(nèi)解決事件。 ▲高關(guān)注度事件：響應(yīng)時(shí)間1個(gè)小時(shí)，6小時(shí)內(nèi)解決事件。 ▲正常關(guān)注度事件：響應(yīng)時(shí)間4個(gè)小時(shí)，1天內(nèi)解決事件。 ▲低關(guān)注度事件：響應(yīng)時(shí)間8個(gè)小時(shí)，2天內(nèi)解決事件。 系統(tǒng)的定級(jí)等級(jí)由建設(shè)單位根據(jù)系統(tǒng)具體重要程度制定。 8.2 運(yùn)維機(jī)構(gòu)要求 承建單位應(yīng)設(shè)有固定的運(yùn)維機(jī)構(gòu)，最少人數(shù)不能少于4人，且駐建設(shè)單位現(xiàn)場(chǎng)維護(hù)，其中運(yùn)維經(jīng)理至少1名、維護(hù)工程師至少3名。運(yùn)維經(jīng)理負(fù)責(zé)計(jì)劃、統(tǒng)籌、協(xié)調(diào)整個(gè)系統(tǒng)的運(yùn)維工作；運(yùn)維工程師具有高級(jí)職稱（或同等級(jí)別），負(fù)責(zé)具體解決日常工作中的各類運(yùn)維問題；每天接聽用戶的各類咨詢、故障報(bào)送電話。 運(yùn)維機(jī)構(gòu)應(yīng)有相應(yīng)系統(tǒng)的具體運(yùn)維計(jì)劃和運(yùn)維記錄。運(yùn)維記錄包括具體問題、解決方案、問題解決后的反饋情況。運(yùn)維機(jī)構(gòu)應(yīng)能夠隨時(shí)提供運(yùn)維記錄以及相關(guān)運(yùn)維問題統(tǒng)計(jì)表。 8.3 服務(wù)形式 （1）電話支持服務(wù) 應(yīng)提供7×24小時(shí)電話技術(shù)支持服務(wù)。 （2）電子郵件回復(fù)服務(wù) 用戶可以將遇到的問題隨時(shí)通過電子郵件的方式提交給技術(shù)支持電子郵箱，并應(yīng)于1個(gè)工作日內(nèi)得到答復(fù)。 （3）遠(yuǎn)程診斷服務(wù) 應(yīng)提供7×8小時(shí)的遠(yuǎn)程診斷服務(wù)。在征得用戶同意的前提下，通過遠(yuǎn)程登錄到用戶系統(tǒng)環(huán)境，進(jìn)行問題偵測(cè)和定位，提出解決方案，與用戶交流并征得同意后，實(shí)施解決。 （4）現(xiàn)場(chǎng)支持服務(wù) 通過電話支持和遠(yuǎn)程診斷均無法解決時(shí)，維護(hù)服務(wù)中心應(yīng)組織技術(shù)人員到用戶現(xiàn)場(chǎng)解決。 8.4 服務(wù)期限 （1）承建單位需對(duì)影響系統(tǒng)穩(wěn)定運(yùn)行和應(yīng)用效率的系統(tǒng)缺陷進(jìn)行終身無償修正。 （2）自項(xiàng)目驗(yàn)收完畢日起，2年內(nèi)為所有業(yè)務(wù)需求的變動(dòng)和新需求提供免費(fèi)開發(fā)；5年內(nèi)提供免費(fèi)運(yùn)維服務(wù)并為用戶終端免費(fèi)升級(jí)。 8.5 用戶培訓(xùn) （1）提供用戶手冊(cè)。 （2）提供系統(tǒng)運(yùn)維手冊(cè)及提供開發(fā)過程中的《需求規(guī)格說明書》、《項(xiàng)目計(jì)劃》、《質(zhì)量保證計(jì)劃》、《概要設(shè)計(jì)》、《測(cè)試報(bào)告》，項(xiàng)目驗(yàn)收完畢后提供平臺(tái)源代碼及編譯工具，源代碼必須有注釋。 （3）提供系統(tǒng)操作培訓(xùn)3次，培訓(xùn)費(fèi)用由承建單位承擔(dān)。 （4）系統(tǒng)維護(hù)培訓(xùn)1次，培訓(xùn)費(fèi)用由承建單位承擔(dān)。 （5）免費(fèi)提供2人次以上（含2人次）系統(tǒng)維護(hù)所需基礎(chǔ)技能培訓(xùn)。培訓(xùn)內(nèi)容應(yīng)包括系統(tǒng)的安裝、使用、管理、性能維護(hù)、故障恢復(fù)等內(nèi)容。 聲明：如此部分內(nèi)容與實(shí)施要求部分有不一致部分，以更利于建設(shè)單位的條款為準(zhǔn)。服務(wù)要求負(fù)偏離
負(fù)偏離? (-2分)?
基本滿足要求
正偏離
5新增1.提供對(duì)各單位的信息資源進(jìn)行采集，包括：應(yīng)急管理各轉(zhuǎn)隸部門以及林業(yè)、交通運(yùn)輸、國(guó)土資源、地震、城管、消防、民政、氣象等單位。 2.提供對(duì)各單位應(yīng)急相關(guān)基礎(chǔ)數(shù)據(jù)進(jìn)行采集，危險(xiǎn)源、防護(hù)目標(biāo)數(shù)據(jù)等，地理信息等 3.提供對(duì)各單位應(yīng)急資源數(shù)據(jù)進(jìn)行采集，包括救援隊(duì)伍信息、應(yīng)急專家、應(yīng)急救援物資裝備信息等 4.提供對(duì)各單位實(shí)時(shí)監(jiān)測(cè)監(jiān)控?cái)?shù)據(jù)進(jìn)行采集，如氣象信息、輿情信息等 5.提供對(duì)各單位應(yīng)急相關(guān)業(yè)務(wù)數(shù)據(jù)進(jìn)行采集，包括預(yù)案、案例、法律法規(guī)信息、安全生產(chǎn)監(jiān)管的相關(guān)信息等 提供對(duì)各單位專業(yè)預(yù)測(cè)信息數(shù)據(jù)進(jìn)行采集，如氣象預(yù)測(cè)信息、地震預(yù)測(cè)預(yù)警信息等。信息資源規(guī)劃-信息資源負(fù)偏離
負(fù)偏離? (-2分)?
基本滿足要求
正偏離
6新增提供以要素為基礎(chǔ)，將應(yīng)急管理業(yè)務(wù)中可以進(jìn)行信息化處理的數(shù)據(jù)進(jìn)行分類，進(jìn)行整理（按照應(yīng)急管理部數(shù)據(jù)要素規(guī)范執(zhí)行）。信息資源規(guī)劃-信息要素規(guī)劃負(fù)偏離
負(fù)偏離? (-2分)?
基本滿足要求
正偏離
7新增根據(jù)應(yīng)急管理廳的實(shí)際需要，梳理應(yīng)急管理信息資源，規(guī)劃應(yīng)急管理元數(shù)據(jù)范圍，編制完成標(biāo)準(zhǔn)《應(yīng)急管理信息資源資源目錄》信息資源規(guī)劃-信息資源目錄編制負(fù)偏離
負(fù)偏離? (-2分)?
基本滿足要求
正偏離
8新增1.外部關(guān)聯(lián)部門數(shù)據(jù)接入：提供對(duì)于林業(yè)、交通運(yùn)輸、國(guó)土資源、地震、城管、消防、民政、氣象等外部相關(guān)部門業(yè)務(wù)系統(tǒng)數(shù)據(jù)可通過數(shù)據(jù)交換平臺(tái)獲取。 2.應(yīng)急管理廳內(nèi)部業(yè)務(wù)部門數(shù)據(jù)接入：提供對(duì)于黑龍江應(yīng)急管理廳等應(yīng)急管理廳內(nèi)部業(yè)務(wù)部門的數(shù)據(jù)，可通過前置系統(tǒng)采用數(shù)據(jù)抽取、接口調(diào)用、消息服務(wù)的方式進(jìn)行數(shù)據(jù)接入。 3.互聯(lián)網(wǎng)公開數(shù)據(jù)接入：提供對(duì)于來自互聯(lián)網(wǎng)以及社會(huì)企業(yè)的輿情數(shù)據(jù)可通過互聯(lián)網(wǎng)單向傳輸設(shè)備接入到數(shù)據(jù)資源池 ★4.感知數(shù)據(jù)接入：提供對(duì)于來源于GPS與北斗定位及速度、方向等實(shí)時(shí)定位設(shè)備、各單位實(shí)時(shí)監(jiān)測(cè)監(jiān)控?cái)?shù)據(jù)，可通過接口實(shí)時(shí)接入或定點(diǎn)接收的方式實(shí)現(xiàn)數(shù)據(jù)接入 5.其他數(shù)據(jù)接入：提供對(duì)于沒有IT系統(tǒng)支撐的業(yè)務(wù)數(shù)據(jù)，還可采用人工填報(bào)，XLS表格導(dǎo)入的方式實(shí)現(xiàn)數(shù)據(jù)接入 6.數(shù)據(jù)探查：提供通過對(duì)來源數(shù)據(jù)存儲(chǔ)位置、提供方式、總量和更新情況、業(yè)務(wù)含義、字段格式語義和取值分布、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)質(zhì)量等進(jìn)行多維度探查，以達(dá)到認(rèn)識(shí)數(shù)據(jù)的目的，為數(shù)據(jù)定義提供依據(jù) #7.數(shù)據(jù)讀取：提供從源系統(tǒng)抽取數(shù)據(jù)或從指定位置讀取數(shù)據(jù)，檢查數(shù)據(jù)是否與數(shù)據(jù)定義一致 8.數(shù)據(jù)對(duì)賬：提供針對(duì)數(shù)據(jù)接入環(huán)節(jié)，對(duì)數(shù)據(jù)提供方和數(shù)據(jù)接入方在某一對(duì)賬節(jié)點(diǎn)的完整性、一致性、正確性進(jìn)行核對(duì)和檢驗(yàn)的過程 #9.斷點(diǎn)續(xù)傳：提供基于消息的數(shù)據(jù)傳輸服務(wù)，從一個(gè)應(yīng)用系統(tǒng)傳輸數(shù)據(jù)實(shí)體和數(shù)據(jù)格式到另一個(gè)應(yīng)用系統(tǒng)，每個(gè)傳輸服務(wù)可以運(yùn)行多個(gè)傳輸實(shí)體 #10.任務(wù)管理：提供對(duì)數(shù)據(jù)接入任務(wù)的管理，支持?jǐn)?shù)據(jù)接入任務(wù)的創(chuàng)建、查詢、刪除等功能，并可指定接入任務(wù)所使用的抽取方法、轉(zhuǎn)換規(guī)則和加載方式，并根據(jù)指定類型進(jìn)行任務(wù)的調(diào)度執(zhí)行 11.數(shù)據(jù)分發(fā)：提供將預(yù)處理后的數(shù)據(jù)按需分發(fā)到資源庫(kù)、主題庫(kù)、業(yè)務(wù)庫(kù)，更新維護(hù)原始庫(kù)，以及向請(qǐng)求方反饋數(shù)據(jù)數(shù)據(jù)接入負(fù)偏離
負(fù)偏離? (-2分)?
基本滿足要求
正偏離
9新增★1.從前置庫(kù)到原始庫(kù)處理:提供通過數(shù)據(jù)接入系統(tǒng)接入到前置庫(kù)中的數(shù)據(jù)，這些數(shù)據(jù)包括各業(yè)務(wù)系統(tǒng)中的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，通過數(shù)據(jù)探查和數(shù)據(jù)提取等手段，對(duì)前置庫(kù)的數(shù)據(jù)進(jìn)行探查分析，提取出數(shù)據(jù)源信息，并將非結(jié)構(gòu)化數(shù)據(jù)的關(guān)鍵文字信息如森林草原林火視頻監(jiān)控?cái)?shù)據(jù)中的時(shí)間等提取出來，整個(gè)數(shù)據(jù)處理過程處理后的數(shù)據(jù)會(huì)落入原始庫(kù)中 ★2.從原始庫(kù)到資源庫(kù)處理:原始庫(kù)的數(shù)據(jù)經(jīng)過數(shù)據(jù)比對(duì)、數(shù)據(jù)提取、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)清洗等處理過程，將數(shù)據(jù)加工成符合標(biāo)準(zhǔn)規(guī)范的數(shù)據(jù)。 ★3.從資源庫(kù)到主題庫(kù)處理:資源庫(kù)的數(shù)據(jù)經(jīng)過數(shù)據(jù)比對(duì)、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)融合、數(shù)據(jù)標(biāo)識(shí)的處理過程，將資源庫(kù)的數(shù)據(jù)映射到災(zāi)害事故、管理對(duì)象、應(yīng)急環(huán)境、救援資源、動(dòng)態(tài)感知等信息分類中（按照應(yīng)急管理部主題庫(kù)組成得詳細(xì)要求為標(biāo)準(zhǔn)），并詳細(xì)對(duì)應(yīng)到各信息分類中與森林防火相關(guān)的二級(jí)、三級(jí)主題庫(kù)中 ★4從主題庫(kù)到專題庫(kù)處理:主題庫(kù)的數(shù)據(jù)經(jīng)過數(shù)據(jù)比對(duì)、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)融合、數(shù)據(jù)表示的處理過程，將主題庫(kù)中的數(shù)據(jù)提取出來，按照森林防火等應(yīng)急管理工作專題庫(kù)所需要的方式進(jìn)行組織 5.數(shù)據(jù)探查-業(yè)務(wù)探查:對(duì)來源表的業(yè)務(wù)含義進(jìn)行探查，以便能準(zhǔn)確地理解和描述數(shù)據(jù)。 6.數(shù)據(jù)探查-接入方式探查:對(duì)來源表的存儲(chǔ)位置、提供方式進(jìn)行探查，為數(shù)據(jù)接入規(guī)則定義和數(shù)據(jù)處理、組織提供依據(jù) 7.數(shù)據(jù)探查-字段探查:對(duì)具體字段的數(shù)據(jù)內(nèi)容進(jìn)行探查，識(shí)別其代表的含義和統(tǒng)計(jì)分布情況 8.數(shù)據(jù)探查-數(shù)據(jù)元探查:根據(jù)字段名字及內(nèi)容，探查字段的確切語義，并與數(shù)據(jù)元標(biāo)準(zhǔn)進(jìn)行映射 9.數(shù)據(jù)探查-類型及格式探查:探查字段的類型及格式是否符合規(guī)范 10.數(shù)據(jù)探查-數(shù)據(jù)集探查:對(duì)來源數(shù)據(jù)集表名、引用數(shù)據(jù)元等進(jìn)行探查，確定數(shù)據(jù)集是否是標(biāo)準(zhǔn)數(shù)據(jù)集 11.數(shù)據(jù)探查-問題數(shù)據(jù)探查:探查字段中不符合規(guī)范的數(shù)據(jù)，為后續(xù)數(shù)據(jù)清洗規(guī)則的制定提供依據(jù) 12.數(shù)據(jù)探查-數(shù)據(jù)推送:把數(shù)據(jù)探查的結(jié)果信息推送到數(shù)據(jù)清洗組件、數(shù)據(jù)轉(zhuǎn)換組件以及元數(shù)據(jù)庫(kù)中，為相關(guān)組件的規(guī)則制定，流程分發(fā)等提供必要的信息 13.數(shù)據(jù)提取-半結(jié)構(gòu)化文件內(nèi)容提取:主要針對(duì)存在于原始庫(kù)中的半結(jié)構(gòu)化數(shù)據(jù)，根據(jù)文件中的內(nèi)容，提取出業(yè)務(wù)需要的數(shù)據(jù)內(nèi)容。 14.數(shù)據(jù)提取-非結(jié)構(gòu)化文件內(nèi)容提取:主要針對(duì)存在于原始庫(kù)中的非結(jié)構(gòu)化數(shù)據(jù)，根據(jù)文件中的內(nèi)容，提取出業(yè)務(wù)需要的數(shù)據(jù)內(nèi)容。 ★15.數(shù)據(jù)清洗:提供對(duì)業(yè)務(wù)數(shù)據(jù)中不符合標(biāo)準(zhǔn)規(guī)范或者無效的數(shù)據(jù)進(jìn)行相關(guān)操作 16.數(shù)據(jù)轉(zhuǎn)換-數(shù)據(jù)命名轉(zhuǎn)換:提供通過比對(duì)標(biāo)準(zhǔn)數(shù)據(jù)元和實(shí)際數(shù)據(jù)表中的數(shù)據(jù)項(xiàng)，如果比對(duì)結(jié)果一致，則不需要轉(zhuǎn)換處理，如果比對(duì)結(jié)果不一致，要按照標(biāo)準(zhǔn)數(shù)據(jù)元中規(guī)定的命名進(jìn)行轉(zhuǎn)換 17.數(shù)據(jù)轉(zhuǎn)換-數(shù)據(jù)類型轉(zhuǎn)換:提供通過比對(duì)標(biāo)準(zhǔn)數(shù)據(jù)元和實(shí)際數(shù)據(jù)表中的數(shù)據(jù)項(xiàng)，如果比對(duì)結(jié)果一致，則不需要轉(zhuǎn)換處理，如果比對(duì)結(jié)果不一致，要按照標(biāo)準(zhǔn)數(shù)據(jù)元中規(guī)定的數(shù)據(jù)類型進(jìn)行轉(zhuǎn)換 18.數(shù)據(jù)轉(zhuǎn)換-數(shù)據(jù)編碼轉(zhuǎn)換:提供比對(duì)標(biāo)準(zhǔn)數(shù)據(jù)元和實(shí)際數(shù)據(jù)表中的數(shù)據(jù)項(xiàng)，如果比對(duì)結(jié)果一致，則不需要轉(zhuǎn)換處理，如果比對(duì)結(jié)果不一致，需要按照標(biāo)準(zhǔn)數(shù)據(jù)元中規(guī)定的標(biāo)準(zhǔn)編碼進(jìn)行轉(zhuǎn)換。 19.數(shù)據(jù)轉(zhuǎn)換-數(shù)據(jù)標(biāo)識(shí)轉(zhuǎn)換:提供通過數(shù)據(jù)元和數(shù)據(jù)表字段的關(guān)聯(lián)，根據(jù)關(guān)聯(lián)關(guān)系自動(dòng)生成可執(zhí)行的轉(zhuǎn)換規(guī)則，進(jìn)行數(shù)據(jù)標(biāo)識(shí)的轉(zhuǎn)換 20.數(shù)據(jù)轉(zhuǎn)換-標(biāo)準(zhǔn)地址轉(zhuǎn)換:提供對(duì)地址要素不完整、文字表達(dá)不一致的地址信息進(jìn)行標(biāo)準(zhǔn)化處理 21.數(shù)據(jù)關(guān)聯(lián)-標(biāo)準(zhǔn)關(guān)聯(lián):提供在資源庫(kù)中設(shè)計(jì)了標(biāo)準(zhǔn)的數(shù)據(jù)元體系，作為數(shù)據(jù)資源中心的數(shù)據(jù)規(guī)范基礎(chǔ) 22.數(shù)據(jù)關(guān)聯(lián)-數(shù)據(jù)字典、屬性及相關(guān)含義的關(guān)聯(lián):提供如災(zāi)害等級(jí)與災(zāi)害類別關(guān)聯(lián)、自然災(zāi)害和災(zāi)害地點(diǎn)關(guān)聯(lián)、單位代碼和單位名稱關(guān)聯(lián)、救援物資與物資類別關(guān)聯(lián)等 23.數(shù)據(jù)關(guān)聯(lián)-半結(jié)構(gòu)化與結(jié)構(gòu)化的關(guān)聯(lián):提供對(duì)半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行提取結(jié)構(gòu)化信息后，按照關(guān)鍵字（如災(zāi)害地點(diǎn)相同、災(zāi)害時(shí)間相同、災(zāi)害誘因相同）等進(jìn)行關(guān)聯(lián)，構(gòu)建數(shù)據(jù)關(guān)聯(lián)關(guān)系 #24.數(shù)據(jù)關(guān)聯(lián)-關(guān)聯(lián)回填:提供兩個(gè)或兩個(gè)以上數(shù)據(jù)集之間通過某種信息建立關(guān)聯(lián)關(guān)系之后，根據(jù)實(shí)際業(yè)務(wù)的需要，可以對(duì)這兩個(gè)數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行相互補(bǔ)充。 25.數(shù)據(jù)比對(duì)-數(shù)據(jù)項(xiàng)與標(biāo)準(zhǔn)數(shù)據(jù)元比對(duì):實(shí)現(xiàn)原始數(shù)據(jù)表中的數(shù)據(jù)與標(biāo)準(zhǔn)數(shù)據(jù)元數(shù)據(jù)的比對(duì)，比對(duì)的內(nèi)容包括數(shù)據(jù)命名、數(shù)據(jù)標(biāo)識(shí)、數(shù)據(jù)格式、數(shù)據(jù)值域、數(shù)據(jù)編碼、數(shù)據(jù)類型等數(shù)據(jù)的比對(duì)，數(shù)據(jù)比對(duì)的結(jié)果為一致或不一致。 26.數(shù)據(jù)比對(duì)-不同數(shù)據(jù)項(xiàng)集比對(duì):提供實(shí)現(xiàn)兩個(gè)數(shù)據(jù)項(xiàng)集的交集、補(bǔ)集，以滿足數(shù)據(jù)檢索的需求。 27.數(shù)據(jù)標(biāo)識(shí)-基礎(chǔ)標(biāo)簽標(biāo)識(shí):提供根據(jù)基礎(chǔ)標(biāo)簽定義的規(guī)則，對(duì)數(shù)據(jù)進(jìn)行規(guī)則篩選，符合規(guī)則的數(shù)據(jù)增添一列基礎(chǔ)標(biāo)簽 28.數(shù)據(jù)標(biāo)識(shí)-業(yè)務(wù)標(biāo)簽標(biāo)識(shí):提供按照業(yè)務(wù)數(shù)據(jù)模型管理數(shù)據(jù)，根據(jù)標(biāo)簽規(guī)則庫(kù)提供的標(biāo)簽元數(shù)據(jù)信息，在資源庫(kù)中找到標(biāo)簽所需的相關(guān)聯(lián)的數(shù)據(jù)，根據(jù)規(guī)則進(jìn)行合并、匯總等工作，得到的數(shù)據(jù)按照標(biāo)簽定義增加一列內(nèi)容到目標(biāo)數(shù)據(jù)中 29.數(shù)據(jù)標(biāo)識(shí)-智能標(biāo)簽標(biāo)識(shí):提供根據(jù)標(biāo)簽規(guī)則庫(kù)提供的模型接口，將相應(yīng)的數(shù)據(jù)輸入模型進(jìn)行計(jì)算，將計(jì)算后的結(jié)果按照標(biāo)簽規(guī)則庫(kù)定義的標(biāo)簽內(nèi)容增加一列業(yè)務(wù)標(biāo)簽到目標(biāo)數(shù)據(jù)中 30.數(shù)據(jù)融合-模型加工:主要包含數(shù)據(jù)合并、數(shù)據(jù)覆蓋、數(shù)據(jù)切分功能，其中數(shù)據(jù)合并需要通過函數(shù)、分組或轉(zhuǎn)列的方式完成數(shù)據(jù)的表合并和列合并。 31.數(shù)據(jù)融合-匯總加工:按照公共匯總的原則，明確哪些數(shù)據(jù)需要匯總合后，采用聚合函數(shù)或窗口函數(shù)等方式，完成對(duì)跨數(shù)據(jù)域且需要被頻繁公用的數(shù)據(jù)的匯總。數(shù)據(jù)處理負(fù)偏離
負(fù)偏離? (-2分)無效投標(biāo)?
基本滿足要求
正偏離
10新增★1.應(yīng)急管理數(shù)據(jù)庫(kù)-原始庫(kù)建設(shè):提供包含應(yīng)急管理單位內(nèi)部、外部所有需要組織的數(shù)據(jù) ★2.應(yīng)急管理數(shù)據(jù)庫(kù)-資源庫(kù)建設(shè):提供由原始庫(kù)的數(shù)據(jù)經(jīng)過清洗、轉(zhuǎn)換、關(guān)聯(lián)、比對(duì)等數(shù)據(jù)處理過程后形成的標(biāo)準(zhǔn)數(shù)據(jù) ★3.應(yīng)急管理數(shù)據(jù)庫(kù)-主題庫(kù)建設(shè):提供按照應(yīng)急管理信息要素將應(yīng)急數(shù)據(jù)按災(zāi)害事故、救援物資與裝備、組織機(jī)構(gòu)、危險(xiǎn)源等進(jìn)行分類，為數(shù)據(jù)應(yīng)用和產(chǎn)品提供公共數(shù)據(jù)服務(wù) ★4.應(yīng)急管理數(shù)據(jù)庫(kù)-專題庫(kù)建設(shè):提供按照專題應(yīng)用的需要重新整合形成的數(shù)據(jù)庫(kù)。專題庫(kù)的建庫(kù)按照專題應(yīng)用業(yè)務(wù)模型，通過二次抽取裝載的方法重新組織數(shù)據(jù)，建立形成滿足應(yīng)急管理專題業(yè)務(wù)應(yīng)用需要的數(shù)據(jù)庫(kù)。 5,應(yīng)急管理配置庫(kù)-標(biāo)簽規(guī)則庫(kù)建設(shè)-基礎(chǔ)標(biāo)簽規(guī)則庫(kù):提供對(duì)數(shù)據(jù)的某一屬性字段信息進(jìn)行計(jì)算的處理規(guī)則，主要用于生成刻畫災(zāi)害事故、管理對(duì)象、應(yīng)急環(huán)境、救援資源等應(yīng)急管理要素的基礎(chǔ)特征的標(biāo)簽 6.應(yīng)急管理配置庫(kù)-標(biāo)簽規(guī)則庫(kù)建設(shè)-業(yè)務(wù)標(biāo)簽規(guī)則庫(kù):提供基于應(yīng)急管理人員的業(yè)務(wù)經(jīng)驗(yàn)，對(duì)基礎(chǔ)標(biāo)簽規(guī)則進(jìn)行模型關(guān)聯(lián)和邏輯計(jì)算，形成的固化知識(shí)標(biāo)簽生成規(guī)則 7.應(yīng)急管理配置庫(kù)-標(biāo)簽規(guī)則庫(kù)建設(shè)-智能標(biāo)簽庫(kù):提供基于特征工程、機(jī)器學(xué)習(xí)算法，建立的智能標(biāo)簽?zāi)Ｐ图稀Ｖ悄軜?biāo)簽?zāi)Ｐ涂捎糜趶幕ヂ?lián)網(wǎng)信息、文檔等大量信息中提取可直觀展現(xiàn)對(duì)業(yè)務(wù)主觀認(rèn)識(shí)的標(biāo)簽。 8.應(yīng)急管理配置庫(kù)-知識(shí)庫(kù)建設(shè):主要包括：應(yīng)急基本信息、應(yīng)急速查手冊(cè)、應(yīng)急處置流程、應(yīng)急案例信息、應(yīng)急專家信息和應(yīng)急法規(guī)政策等數(shù)據(jù)資源池負(fù)偏離
負(fù)偏離? (-2分)無效投標(biāo)?
基本滿足要求
正偏離
11新增1.數(shù)據(jù)基礎(chǔ)訪問服務(wù):提供通過數(shù)據(jù)存儲(chǔ)訪問中間件，實(shí)現(xiàn)對(duì)平臺(tái)內(nèi)的源數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)等進(jìn)行底層訪問，包括文件系統(tǒng)以及針對(duì)數(shù)據(jù)庫(kù)的DDL和DML操作的表服務(wù)，并實(shí)現(xiàn)數(shù)據(jù)庫(kù)表的創(chuàng)建、查詢、插入、更新、刪除等透明操作 2.數(shù)據(jù)索引服務(wù):提供數(shù)據(jù)資源的位置檢索服務(wù)，通過統(tǒng)一的索引服務(wù)檢索接口，根據(jù)所請(qǐng)求的要素值通過索引服務(wù)可以快速定位到資源的所在中心、所在省市、所在系統(tǒng)、所在庫(kù)表信息等 #3.元數(shù)據(jù)訪問服務(wù):提供數(shù)據(jù)資源、服務(wù)資源的元數(shù)據(jù)查詢?cè)L問能力，支持枚舉數(shù)據(jù)資源、獲取數(shù)據(jù)資源的元數(shù)據(jù)信息以及字段結(jié)構(gòu)信息，包括對(duì)應(yīng)的數(shù)據(jù)元信息等 ★4.數(shù)據(jù)字典服務(wù):提供數(shù)據(jù)字典的查詢、翻譯接口，返回字典類別、字典項(xiàng)值等相應(yīng)所需結(jié)果，實(shí)現(xiàn)數(shù)據(jù)字典查詢或翻譯 #5.數(shù)據(jù)授權(quán)服務(wù):為用戶分配各類系統(tǒng)功能權(quán)限和數(shù)據(jù)資源訪問權(quán)限。在實(shí)際授權(quán)過程中，通過動(dòng)態(tài)授權(quán)、鑒權(quán)管理等驗(yàn)證角色是否擁有訪問數(shù)據(jù)的權(quán)限。 ★6.數(shù)據(jù)鑒權(quán)服務(wù):對(duì)服務(wù)請(qǐng)求地向服務(wù)提供地發(fā)起各類服務(wù)請(qǐng)求時(shí)，服務(wù)提供地根據(jù)請(qǐng)求用戶地市、角色對(duì)服務(wù)請(qǐng)求地進(jìn)行身份鑒別、權(quán)限驗(yàn)證，對(duì)服務(wù)請(qǐng)求地用戶發(fā)起的服務(wù)請(qǐng)求和用戶（角色）權(quán)限進(jìn)行驗(yàn)證。 ★7.數(shù)據(jù)接口服務(wù)-數(shù)據(jù)查詢類服務(wù):提供以預(yù)設(shè)或自定義的數(shù)據(jù)項(xiàng)為單一查詢條件或組合查詢條件，通過標(biāo)準(zhǔn)化的查詢功能配置和服務(wù)接口調(diào)用，建立基于條件查詢的分類分目查詢功能和一鍵式查詢功能，實(shí)現(xiàn)按要素分類查詢或基于不確定關(guān)鍵字的一鍵式全網(wǎng)檢索 ★8.數(shù)據(jù)接口服務(wù)-數(shù)據(jù)比對(duì)類服務(wù):提供全量數(shù)據(jù)比對(duì)、增量數(shù)據(jù)比對(duì)等比對(duì)方式，實(shí)現(xiàn)比對(duì)時(shí)間和比對(duì)頻次的自定義功能。 9.數(shù)據(jù)接口服務(wù)-數(shù)據(jù)訂閱/推送類服務(wù):提供主動(dòng)向外部系統(tǒng)推送加工好的數(shù)據(jù)或分析成果，以便應(yīng)用于實(shí)戰(zhàn)、體現(xiàn)大數(shù)據(jù)價(jià)值。 10.數(shù)據(jù)接口服務(wù)-數(shù)據(jù)分析類服務(wù):提供依托平臺(tái)數(shù)據(jù)分析類工具，提供包括歷史事件分析、災(zāi)害事故發(fā)展態(tài)勢(shì)模擬推演、事故風(fēng)險(xiǎn)分析等綜合分析服務(wù) 11.數(shù)據(jù)接口服務(wù)-動(dòng)態(tài)數(shù)據(jù)獲取服務(wù):提供協(xié)助用戶在線調(diào)取實(shí)時(shí)氣象、現(xiàn)場(chǎng)視頻等智能感知數(shù)據(jù) 12.數(shù)據(jù)可視化服務(wù)-可視化組件服務(wù):提供多維透視圖組件主要提供各種常用可視化圖表組件 13.數(shù)據(jù)可視化服務(wù)-數(shù)據(jù)治理可視化-數(shù)據(jù)治理概況:提供從宏觀角度展示數(shù)據(jù)治理的成效與存在的問題，對(duì)數(shù)據(jù)治理總量、不同類型數(shù)據(jù)治理量、不同來源系統(tǒng)數(shù)據(jù)治理量、不同業(yè)務(wù)類型的數(shù)據(jù)治理量進(jìn)行分析展示 14.數(shù)據(jù)可視化服務(wù)-數(shù)據(jù)治理可視化-數(shù)據(jù)質(zhì)量可視化:提供直觀掌握當(dāng)前數(shù)據(jù)的治理情況，對(duì)已接入數(shù)據(jù)總量、已完成治理數(shù)據(jù)量、未完成治理數(shù)據(jù)量、數(shù)據(jù)治理完成比、有問題數(shù)據(jù)數(shù)量、數(shù)據(jù)質(zhì)量問題原因統(tǒng)計(jì)等 15.數(shù)據(jù)可視化服務(wù)-數(shù)據(jù)治理可視化-數(shù)據(jù)接入可視化:提供通過統(tǒng)計(jì)接入數(shù)據(jù)、接入系統(tǒng)信息，分析展示信息包括接入數(shù)據(jù)總條數(shù)、當(dāng)日數(shù)據(jù)增加條數(shù)、月度數(shù)據(jù)接入條數(shù)變化趨勢(shì)、接入數(shù)據(jù)總量、當(dāng)日數(shù)據(jù)增量、月度數(shù)據(jù)接入量變化趨勢(shì)、接入數(shù)據(jù)類型統(tǒng)計(jì)、接入數(shù)據(jù)網(wǎng)絡(luò)分布等，直觀展示數(shù)據(jù)接入情況 16.數(shù)據(jù)可視化服務(wù)-數(shù)據(jù)治理可視化-數(shù)據(jù)處理可視化:提供數(shù)據(jù)處理可視化分析主題統(tǒng)計(jì)已處理數(shù)據(jù)情況及數(shù)據(jù)處理的各個(gè)步驟情況，分析展示內(nèi)容包括數(shù)據(jù)提取、數(shù)據(jù)清洗、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)比對(duì)、數(shù)據(jù)融合、數(shù)據(jù)標(biāo)識(shí)等處理概況 17.數(shù)據(jù)可視化服務(wù)-數(shù)據(jù)治理可視化-數(shù)據(jù)管控可視化:提供數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)資源目錄、數(shù)據(jù)運(yùn)維等維度 18.數(shù)據(jù)可視化服務(wù)-數(shù)據(jù)治理可視化-數(shù)據(jù)資源可視化:提供對(duì)各類數(shù)據(jù)資源情況進(jìn)行可視化分析 19.數(shù)據(jù)可視化服務(wù)-數(shù)據(jù)治理可視化-數(shù)據(jù)應(yīng)用情況可視化:通過查詢檢索、數(shù)據(jù)獲取、數(shù)據(jù)訂閱、智能檔案、智能標(biāo)簽等可視化分析 20、生產(chǎn)庫(kù)：省廳所需所有生產(chǎn)庫(kù)得全流程管理，為業(yè)務(wù)應(yīng)用提供數(shù)據(jù)服務(wù)，及時(shí)為業(yè)務(wù)應(yīng)用通過數(shù)據(jù)流進(jìn)行指導(dǎo)。 21、所有工具為滿足所有數(shù)據(jù)需要而進(jìn)行服務(wù)，且所有針對(duì)數(shù)據(jù)的操作及處理等所有流程均包含于該項(xiàng)目中。不得額外收取費(fèi)用。數(shù)據(jù)服務(wù)負(fù)偏離
負(fù)偏離? (-2分)無效投標(biāo)?
基本滿足要求
正偏離
12新增數(shù)據(jù)管控1.數(shù)據(jù)標(biāo)準(zhǔn)管理-標(biāo)準(zhǔn)瀏覽：提供基于標(biāo)準(zhǔn)梳理結(jié)果，對(duì)數(shù)據(jù)標(biāo)準(zhǔn)和標(biāo)準(zhǔn)落地進(jìn)行全方位的信息展現(xiàn)，并可通過頁(yè)面超鏈接的方式，對(duì)標(biāo)準(zhǔn)主題和公共代碼之間的引用關(guān)系，以及標(biāo)準(zhǔn)到業(yè)務(wù)源系統(tǒng)落地情況進(jìn)行靈活導(dǎo)航，方便用戶快速地了解到標(biāo)準(zhǔn)間依賴關(guān)系、標(biāo)準(zhǔn)落地情況 2.數(shù)據(jù)標(biāo)準(zhǔn)管理-基礎(chǔ)主題標(biāo)準(zhǔn)維護(hù)：提供對(duì)已梳理基礎(chǔ)主題數(shù)據(jù)標(biāo)準(zhǔn)的管理維護(hù)功能，包括修改、提交、審核、發(fā)布等基礎(chǔ)維護(hù)功能 3.數(shù)據(jù)標(biāo)準(zhǔn)管理-指標(biāo)標(biāo)準(zhǔn)維護(hù)：提供數(shù)據(jù)標(biāo)準(zhǔn)定義的維護(hù)、維度定義的維護(hù)、維值代碼定義的維護(hù)、公共統(tǒng)計(jì)規(guī)則的維護(hù) 4.元數(shù)據(jù)管理-元數(shù)據(jù)分類：提供按照元數(shù)據(jù)的定義分類，綜合價(jià)值分析系統(tǒng)元數(shù)據(jù)管理分為業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)二類 5.元數(shù)據(jù)管理-元數(shù)據(jù)自動(dòng)獲取：提供對(duì)元數(shù)據(jù)獲取數(shù)據(jù)源以及這些數(shù)據(jù)源之間的關(guān)系進(jìn)行集中登記管理，并形成自動(dòng)獲取數(shù)據(jù)源的全局視圖，實(shí)現(xiàn)元數(shù)據(jù)自動(dòng)獲取數(shù)據(jù)信息 ★6.元數(shù)據(jù)管理-元數(shù)據(jù)維護(hù)：提供元數(shù)據(jù)的定義、變更及版本管理，對(duì)主機(jī)信息、數(shù)據(jù)庫(kù)信息、用戶信息、數(shù)據(jù)對(duì)象信息、業(yè)務(wù)規(guī)則信息、加工邏輯等進(jìn)行維護(hù)和管控 7.元數(shù)據(jù)管理-元數(shù)據(jù)掃描：提供以手動(dòng)或定時(shí)的方式掃描指定的數(shù)據(jù)庫(kù)資源，并提取和解析相關(guān)的信息在比較掃描數(shù)據(jù)和原有數(shù)據(jù)的差異后自動(dòng)將差異數(shù)據(jù)維護(hù)到指定的元數(shù)據(jù)目錄 8.元數(shù)據(jù)管理-元數(shù)據(jù)檢索：提供全文檢索的方式迅速查找和關(guān)鍵字匹配的權(quán)限范圍內(nèi)的元數(shù)據(jù)信息 9.元數(shù)據(jù)管理-元數(shù)據(jù)地圖：提供快速動(dòng)態(tài)生成全局元數(shù)據(jù)地圖，方便用戶快速全面查閱所有元數(shù)據(jù)平臺(tái)中各類信息，支持逐層鉆取查看下級(jí)數(shù)據(jù)資產(chǎn)詳情以及數(shù)據(jù)加工關(guān)系脈絡(luò) 10.元數(shù)據(jù)管理-元數(shù)據(jù)版本：主要包括元數(shù)據(jù)對(duì)象版本管理與基線版本管理兩種類型 11.元數(shù)據(jù)管理-權(quán)限管理及查詢：提供統(tǒng)一實(shí)現(xiàn)數(shù)據(jù)庫(kù)的訪問和操作管控，對(duì)用戶進(jìn)行角色權(quán)限、對(duì)象權(quán)限、數(shù)據(jù)權(quán)限等方面的管控和查詢 #12.元數(shù)據(jù)管理-元數(shù)據(jù)的導(dǎo)入/導(dǎo)出：提供在系統(tǒng)層面實(shí)現(xiàn)元數(shù)據(jù)的導(dǎo)入/導(dǎo)出功能，以保證數(shù)據(jù)模型、數(shù)據(jù)對(duì)象能夠靈活的遷移，支持模型間的檢查和比對(duì)，以便于數(shù)據(jù)模型的維護(hù)和擴(kuò)展 13.元數(shù)據(jù)分析-影響性分析：提供包括血統(tǒng)分析和影響分析兩類，以便于掌握和追溯對(duì)象變更時(shí)的緣由和影響關(guān)系。 14.元數(shù)據(jù)分析-重要性分析：提供分析各元數(shù)據(jù)對(duì)象之間的關(guān)聯(lián)密集度，分析數(shù)據(jù)倉(cāng)庫(kù)中各層次的包、表等對(duì)象的重要程度，指導(dǎo)數(shù)據(jù)倉(cāng)庫(kù)開發(fā)和維護(hù)團(tuán)隊(duì)對(duì)重點(diǎn)元數(shù)據(jù)進(jìn)行重點(diǎn)關(guān)注和質(zhì)量監(jiān)控 15.元數(shù)據(jù)分析-無關(guān)性分析：提供對(duì)一定數(shù)量的無關(guān)數(shù)據(jù)、信息和報(bào)表進(jìn)行分析 ★16.資源目錄管理-資源分類與編目：按照數(shù)據(jù)資源目錄標(biāo)準(zhǔn)規(guī)范，對(duì)大數(shù)據(jù)平臺(tái)存儲(chǔ)的數(shù)據(jù)資源和通過接口方式提供大數(shù)據(jù)平臺(tái)使用的數(shù)據(jù)資源進(jìn)行梳理，并賦予唯一的目錄標(biāo)識(shí)符和編碼 17.資源目錄管理-目錄注冊(cè)與注銷：由資源所屬單位在本地大數(shù)據(jù)平臺(tái)的數(shù)據(jù)資源目錄管理模塊中填寫數(shù)據(jù)資源目錄信息，審核、審批通過后完成注冊(cè)。支持資源分級(jí)分類配置，支持批量模板導(dǎo)入；當(dāng)數(shù)據(jù)資源暫時(shí)失效時(shí)，停用相關(guān)數(shù)據(jù)資源目錄 #18.資源目錄管理-資源目錄更新：提供當(dāng)數(shù)據(jù)資源發(fā)生變化時(shí)，對(duì)資源目錄進(jìn)行更新 #19.資源目錄管理-資源目錄同步：提供當(dāng)本地?cái)?shù)據(jù)資源目錄發(fā)生變化時(shí)，下級(jí)目錄需向上級(jí)目錄進(jìn)行匯聚，上級(jí)目錄需向下級(jí)目錄分發(fā) ★20.資源目錄管理-資源目錄服務(wù)：提供用戶按照權(quán)限查看數(shù)據(jù)資源目錄，支持根據(jù)數(shù)據(jù)資源目錄相關(guān)屬性和數(shù)據(jù)項(xiàng)進(jìn)行數(shù)據(jù)資源的查詢。 #21.數(shù)據(jù)鑒權(quán)管理：提供基于數(shù)據(jù)的訪問控制規(guī)則結(jié)合數(shù)據(jù)分級(jí)分類，實(shí)現(xiàn)數(shù)據(jù)的訪問權(quán)限鑒別的過程 22.數(shù)據(jù)質(zhì)量管理-數(shù)據(jù)處理過程監(jiān)控：提供監(jiān)控?cái)?shù)據(jù)處理任務(wù)執(zhí)行的情況，包括是否按時(shí)調(diào)度，是否成功等狀態(tài)消息。 23.數(shù)據(jù)質(zhì)量管理-數(shù)據(jù)稽核：提供對(duì)ETL整個(gè)流程的數(shù)據(jù)質(zhì)量進(jìn)行稽核，主要分為數(shù)據(jù)來源環(huán)節(jié)和數(shù)據(jù)加工環(huán)節(jié)，包括：數(shù)據(jù)來源稽核、數(shù)據(jù)加工環(huán)節(jié)稽核 24.數(shù)據(jù)質(zhì)量管理-問題管理：提供質(zhì)量問題的創(chuàng)建、發(fā)布，以及處理過程的跟蹤，為數(shù)據(jù)校驗(yàn)提供解決、跟蹤平臺(tái)。 25.數(shù)據(jù)質(zhì)量管理-日志管理：包括規(guī)則運(yùn)行日志、告警日志、過程執(zhí)行日志，為用戶提供規(guī)則運(yùn)行的最終稽核狀態(tài)和歷史稽核狀態(tài)日志，以及除數(shù)據(jù)本身的異常外的異常監(jiān)控和各層過程的執(zhí)行日志的監(jiān)控 26.數(shù)據(jù)質(zhì)量管理-質(zhì)量報(bào)告：對(duì)稽核功能模塊和問題管理模塊做整體的統(tǒng)計(jì)分析，包括三類報(bào)告：總量評(píng)估報(bào)告、數(shù)據(jù)源的質(zhì)量評(píng)估報(bào)告、專項(xiàng)數(shù)據(jù)質(zhì)量問題評(píng)估報(bào)告 27.數(shù)據(jù)質(zhì)量管理-質(zhì)量問題處理：包括：?jiǎn)栴}分析、數(shù)據(jù)隔離、數(shù)據(jù)維護(hù)、過程總結(jié) 28.數(shù)據(jù)運(yùn)維管理-運(yùn)維規(guī)則配置管理：提供對(duì)數(shù)據(jù)運(yùn)維的實(shí)時(shí)監(jiān)測(cè)、日志采集、日志統(tǒng)計(jì)分析、報(bào)表展示、日志輸出、預(yù)警閾值、預(yù)警規(guī)則和信息、數(shù)據(jù)對(duì)賬等相關(guān)規(guī)則進(jìn)行配置管理 29.數(shù)據(jù)運(yùn)維管理-數(shù)據(jù)實(shí)時(shí)狀態(tài)采集：提供對(duì)來源數(shù)據(jù)以及接入、提取、清洗、關(guān)聯(lián)、比對(duì)、標(biāo)識(shí)、分發(fā)、入庫(kù)等環(huán)節(jié)設(shè)置監(jiān)控點(diǎn)，進(jìn)行多維度信息的實(shí)時(shí)采集。 30.數(shù)據(jù)運(yùn)維管理-數(shù)據(jù)運(yùn)行狀態(tài)監(jiān)控：提供對(duì)來源數(shù)據(jù)的監(jiān)控（通道是否連通、數(shù)據(jù)是否更新等），數(shù)據(jù)接入及處理狀態(tài)的監(jiān)控、統(tǒng)計(jì)（運(yùn)行是否正常、數(shù)據(jù)流量情況等），數(shù)據(jù)積壓監(jiān)測(cè)及統(tǒng)計(jì)，數(shù)據(jù)心跳圖，數(shù)據(jù)入庫(kù)異常統(tǒng)計(jì)、當(dāng)日或指定時(shí)間周期內(nèi)各類數(shù)據(jù)的增量及存量監(jiān)控、數(shù)據(jù)服務(wù)接口監(jiān)控等 31.數(shù)據(jù)運(yùn)維管理-數(shù)據(jù)運(yùn)維報(bào)表：提供對(duì)系統(tǒng)的數(shù)據(jù)資源總體情況、分類情況、上報(bào)下發(fā)情況等多種維度進(jìn)行統(tǒng)計(jì)分析。 32.數(shù)據(jù)運(yùn)維管理-數(shù)據(jù)預(yù)警管理：提供當(dāng)出現(xiàn)實(shí)時(shí)流監(jiān)控異常、運(yùn)行狀態(tài)異常、數(shù)據(jù)質(zhì)量異常、數(shù)據(jù)備份異常等狀況時(shí)，觸發(fā)告警，告警結(jié)果可以通過消息、服務(wù)、郵件、短信等方式推送給運(yùn)維系統(tǒng)或運(yùn)維人員。 33.數(shù)據(jù)運(yùn)維管理-數(shù)據(jù)運(yùn)維日志審計(jì)：提供對(duì)所有數(shù)據(jù)運(yùn)維工作的操作日志進(jìn)行全方位、全流程安全性審計(jì) 34.數(shù)據(jù)血緣管理-血緣關(guān)系管理：記錄上下游數(shù)據(jù)資源編碼、數(shù)據(jù)項(xiàng)編碼和數(shù)據(jù)資源轉(zhuǎn)換規(guī)則等數(shù)據(jù)血緣信息，并實(shí)現(xiàn)動(dòng)態(tài)更新。 35.數(shù)據(jù)血緣管理-數(shù)據(jù)血緣關(guān)系分析：數(shù)據(jù)從源到目的地，經(jīng)過大量的功能模塊的處理和傳遞，呈現(xiàn)在業(yè)務(wù)用戶面前，分析數(shù)據(jù)的來龍去脈。 36.數(shù)據(jù)血緣管理-血緣關(guān)系應(yīng)用：提供基于數(shù)據(jù)血緣信息，進(jìn)行相關(guān)的元數(shù)據(jù)應(yīng)用分析如溯源分析、影響分析、重要程度分析和數(shù)據(jù)時(shí)效性分析等。 #37.數(shù)據(jù)分級(jí)分類-數(shù)據(jù)分級(jí)：提供通過對(duì)數(shù)據(jù)內(nèi)容的敏感程度，對(duì)數(shù)據(jù)資源進(jìn)行分級(jí)。數(shù)據(jù)分級(jí)包括數(shù)據(jù)分級(jí)管理、用戶分級(jí)管理和系統(tǒng)分級(jí)管理三個(gè)方面。 #38.數(shù)據(jù)分級(jí)分類-數(shù)據(jù)分類：提供通過數(shù)據(jù)融合后的種類進(jìn)行分類。應(yīng)急數(shù)據(jù)融合之后將數(shù)據(jù)分為原始庫(kù)、資源庫(kù)、主題庫(kù)、專題庫(kù)。數(shù)據(jù)管控負(fù)偏離
負(fù)偏離? (-2分)無效投標(biāo)?
基本滿足要求
正偏離
13新增數(shù)據(jù)共享交換★1.服務(wù)共享管理-服務(wù)目錄:提供適應(yīng)應(yīng)急業(yè)務(wù)特征的服務(wù)目錄框架，根據(jù)業(yè)務(wù)特征，服務(wù)目錄框架包括查詢類服務(wù)、比對(duì)類服務(wù)、統(tǒng)計(jì)類服務(wù)及其他類服務(wù)。 #2.服務(wù)共享管理-服務(wù)注冊(cè):提供對(duì)后臺(tái)已注入的服務(wù)注冊(cè)/發(fā)布至服務(wù)中心，并可對(duì)服務(wù)中心里的服務(wù)進(jìn)行查詢、查看、修改注冊(cè)信息、上線等操作功能。 #3.服務(wù)共享管理-服務(wù)申請(qǐng):提供通過統(tǒng)一的服務(wù)資源目錄查看并申請(qǐng)個(gè)人所需的服務(wù)。 #4.服務(wù)共享管理-服務(wù)發(fā)布:提供對(duì)審核通過的服務(wù)進(jìn)行服務(wù)發(fā)布，對(duì)正式發(fā)布的服務(wù)可以提供使用者進(jìn)行服務(wù)的查詢。 5.服務(wù)共享管理-服務(wù)訂閱:提供對(duì)于暫未發(fā)布/不存在的服務(wù)，系統(tǒng)提供統(tǒng)一訂閱申請(qǐng)的功能模塊，為各服務(wù)申請(qǐng)單位提供統(tǒng)一服務(wù)訂閱入口，統(tǒng)一管理。 #6.服務(wù)共享管理-服務(wù)審核:提供服務(wù)申請(qǐng)單提交后，具備審核權(quán)限的用戶可通過工作臺(tái)查看待審核的服務(wù)申請(qǐng)單，并進(jìn)行相關(guān)的審核操作。 7.服務(wù)共享管理-通用服務(wù)接口:提供通用數(shù)據(jù)服務(wù)接口是給其他模塊或者系統(tǒng)使用的一種約定或者規(guī)范，接口設(shè)計(jì)應(yīng)遵循統(tǒng)一接口規(guī)范，保證接口性能良好。 8.共享交換管理-數(shù)據(jù)交換管理:主要實(shí)現(xiàn)：數(shù)據(jù)交換管理、數(shù)據(jù)交換服務(wù)、共享資源配置、交換中間庫(kù)建設(shè) 9.共享交換管理-數(shù)據(jù)交換服務(wù):提供共享域內(nèi)交換節(jié)點(diǎn)之間的數(shù)據(jù)共享交換服務(wù)，包括采集、分發(fā)、匯總和轉(zhuǎn)發(fā)。 10.共享交換管理-共享資源配置:提供對(duì)需要進(jìn)行共享的數(shù)據(jù)資源進(jìn)行配置，包括數(shù)據(jù)源、數(shù)據(jù)庫(kù)鏈接、數(shù)據(jù)表配置、共享數(shù)據(jù)項(xiàng)目配置等，對(duì)共享資源的配置提供修改、查詢和刪除等日常管理功能。 ★11.共享交換管理-交換中間庫(kù)建設(shè):提供數(shù)據(jù)采集過程中源端到目標(biāo)端經(jīng)交換平臺(tái)產(chǎn)生的交換數(shù)據(jù)，包括數(shù)據(jù)交換目錄及交換數(shù)據(jù)庫(kù)。 ★12.數(shù)據(jù)對(duì)接服務(wù):提供基于消息的數(shù)據(jù)傳輸服務(wù)。從一個(gè)應(yīng)用系統(tǒng)傳輸數(shù)據(jù)實(shí)體和數(shù)據(jù)格式到另一個(gè)應(yīng)用系統(tǒng)，每個(gè)傳輸服務(wù)可以運(yùn)行多個(gè)傳輸實(shí)體。數(shù)據(jù)共享交換負(fù)偏離
負(fù)偏離? (-2分)無效投標(biāo)?
基本滿足要求
正偏離
14新增算法模型★1.提供原廠售后服務(wù)承諾函蓋章原件和授權(quán)書蓋章原件。 ★2.算法工程-算法管理：提供算法包注冊(cè)、修改、刪除、啟動(dòng)、停用、查詢、評(píng)價(jià)等全生命周期管理，用戶可以將算法名稱、算法描述、支持運(yùn)行的平臺(tái)（內(nèi)存計(jì)算，離線計(jì)算，圖計(jì)算等）、算法類型（基礎(chǔ)算子、機(jī)器學(xué)習(xí)算法、業(yè)務(wù)算法等）、算法執(zhí)行包、算法參數(shù)集、開發(fā)語言、開發(fā)廠商、提交單位等信息注冊(cè)到算法平臺(tái)。 #3.算法工程-算法組件：提供包含了基礎(chǔ)算子、統(tǒng)計(jì)分析、數(shù)據(jù)預(yù)處理、特征工程、機(jī)器學(xué)習(xí)、文本分析、網(wǎng)絡(luò)分析等算法組件。 ★4.算法工程-算法庫(kù)：依托大量算法工程師對(duì)平臺(tái)算法進(jìn)行優(yōu)化和設(shè)計(jì)，建設(shè)涵蓋統(tǒng)計(jì)分析、特征工程、文本分析、機(jī)器學(xué)習(xí)、網(wǎng)絡(luò)分析、深度學(xué)習(xí)等多個(gè)領(lǐng)域的算法庫(kù)，為平臺(tái)提供各類算法支撐。 #5.模型工程-模型創(chuàng)建：用戶通過多種建模方式創(chuàng)建基于應(yīng)急管理模型標(biāo)準(zhǔn)的模型，部署到模型運(yùn)行引擎上面配置模型參數(shù)，模型運(yùn)行引擎會(huì)對(duì)模型運(yùn)行的合法性進(jìn)行驗(yàn)證，包括是否符合模型標(biāo)準(zhǔn)，數(shù)據(jù)資源是否有訪問權(quán)限，算法參數(shù)是否合法，模型編排是否合理等。 6.模型工程-模型分析：提供趨勢(shì)分析、異常分析、相關(guān)性分析等元模型分析功能以及統(tǒng)計(jì)分析算法、聚類算法、分析算法等算法的運(yùn)行分析。 7.模型工程-模型管理：提供模型的注冊(cè)、修改、刪除、查詢、評(píng)價(jià)、分享、生命周期、質(zhì)量、導(dǎo)入導(dǎo)出能功能。 8.模型管理-模型任務(wù)管理：模型任務(wù)是對(duì)已編排好的模型進(jìn)行實(shí)例化執(zhí)行的過程。模型實(shí)例化主要包括：任務(wù)類型、輸入?yún)?shù)實(shí)例化、執(zhí)行周期實(shí)例化、輸出結(jié)果實(shí)例化等 9.模型管理-模型數(shù)據(jù)集管理：模型數(shù)據(jù)集包含模型輸入數(shù)據(jù)、模型輸出數(shù)據(jù)、模型中間結(jié)果。 10.模型管理-元模型管理：對(duì)元模型進(jìn)行管理維護(hù)、并能能夠進(jìn)行物理模型創(chuàng)建。 11.模型管理-模型資源管理：數(shù)據(jù)資源是面向使用者的，應(yīng)能對(duì)模型使用的資源配額進(jìn)行管理，用于對(duì)外共享交換，是實(shí)現(xiàn)對(duì)外共享交換的最大單元。算法模型負(fù)偏離
負(fù)偏離? (-2分)無效投標(biāo)?
基本滿足要求
正偏離
15新增工具引擎★1.通用工具-可視化工具:通過可視化方式對(duì)原始數(shù)據(jù)、標(biāo)準(zhǔn)化數(shù)據(jù)、資源庫(kù)數(shù)據(jù)、專題庫(kù)數(shù)據(jù)等進(jìn)行多源數(shù)據(jù)組織分析，對(duì)可視化主題分析提供應(yīng)用支撐，支持鉆取分析、聯(lián)動(dòng)分析、跳轉(zhuǎn)分析、多表關(guān)聯(lián)、追加合并、聚合分析、SQL創(chuàng)建、字段編輯等功能。 2.通用工具-智能查詢工具-資源搜索:通過指定搜索條件、指定搜索范圍對(duì)數(shù)據(jù)進(jìn)行搜索，以資源列表形式展示搜索結(jié)果，其中搜索條件、搜索范圍包括數(shù)據(jù)來源、有效時(shí)間、數(shù)據(jù)表范圍等 #3.通用工具-智能查詢工具-全文檢索:提供針對(duì)系統(tǒng)的文件信息的數(shù)據(jù)檢索功能。 4.通用工具-智能查詢工具-專題搜索:提供用戶在某一專題下進(jìn)行目標(biāo)搜索，支持邏輯運(yùn)算組合檢索、通配符檢索、模糊音檢索、時(shí)間段檢索、地理區(qū)域段檢索 #5.業(yè)務(wù)流程引擎-中間件-流程引擎:提供對(duì)流程模型和數(shù)據(jù)模型進(jìn)行管理，按照業(yè)務(wù)控制流的定義進(jìn)行執(zhí)行 6.業(yè)務(wù)流程引擎-中間件-規(guī)則引擎:提供對(duì)整個(gè)業(yè)務(wù)流程節(jié)點(diǎn)及路由的控制規(guī)則及業(yè)務(wù)集成規(guī)則進(jìn)行定義并解析和運(yùn)行的智能引擎 7.業(yè)務(wù)流程引擎-中間件-業(yè)務(wù)全引擎:提供系統(tǒng)的權(quán)限及關(guān)鍵數(shù)據(jù)的監(jiān)控和記錄工作，當(dāng)用戶試圖進(jìn)行一個(gè)業(yè)務(wù)操作時(shí)業(yè)務(wù)全引擎首先會(huì)對(duì)用戶的權(quán)限進(jìn)行監(jiān)控，如果沒有權(quán)限則阻止用戶操作并且記錄日志和發(fā)出預(yù)警 8.業(yè)務(wù)流程引擎-基礎(chǔ)服務(wù)組件-工具集:提供為業(yè)務(wù)流程引擎提供的一系列方便管理人員、業(yè)務(wù)人員以及開發(fā)人員進(jìn)行流程模型定義、管理和分析的可視化工具。 9.業(yè)務(wù)流程引擎-基礎(chǔ)服務(wù)組件-業(yè)務(wù)流程模型:提供根據(jù)業(yè)務(wù)應(yīng)用中的業(yè)務(wù)流轉(zhuǎn)需求，利用流程建模工具、規(guī)則建模工具、數(shù)據(jù)建模工具對(duì)業(yè)務(wù)流程進(jìn)行抽象定義，形成一個(gè)通用的業(yè)務(wù)流程模型 #10.工作流引擎:主要包括核心引擎、核心API、工作流等功能。 #11.搜索引擎:提供快捷的搜索引擎功能，通過搜索方式幫助用戶快捷瀏覽需要的公文、知識(shí)、業(yè)務(wù)數(shù)據(jù)、政策法規(guī)、辦事流程、政務(wù)、日常辦公、項(xiàng)目資料、資金財(cái)務(wù)等各個(gè)方面的信息資源，并在搜索結(jié)果中顯示關(guān)鍵詞上下文，讓用戶快速準(zhǔn)確的查找到公文 #12.表單引擎:提供基礎(chǔ)支撐平臺(tái)建設(shè)提供強(qiáng)大的表單引擎，讓用戶自由定制各類業(yè)務(wù)流中的表單，確保流程完全符合應(yīng)急管理綜合應(yīng)用平臺(tái)系統(tǒng)的實(shí)際運(yùn)行狀況。工具引擎★1.通用工具-可視化工具:通過可視化方式對(duì)原始數(shù)據(jù)、標(biāo)準(zhǔn)化數(shù)據(jù)、資源庫(kù)數(shù)據(jù)、專題庫(kù)數(shù)據(jù)等進(jìn)行多源數(shù)據(jù)組織分析，對(duì)可視化主題分析提供應(yīng)用支撐，支持鉆取分析、聯(lián)動(dòng)分析、跳轉(zhuǎn)分析、多表關(guān)聯(lián)、追加合并、聚合分析、SQL創(chuàng)建、字段編輯等功能。 2.通用工具-智能查詢工具-資源搜索:通過指定搜索條件、指定搜索范圍對(duì)數(shù)據(jù)進(jìn)行搜索，以資源列表形式展示搜索結(jié)果，其中搜索條件、搜索范圍包括數(shù)據(jù)來源、有效時(shí)間、數(shù)據(jù)表范圍等 #3.通用工具-智能查詢工具-全文檢索:提供針對(duì)系統(tǒng)的文件信息的數(shù)據(jù)檢索功能。 4.通用工具-智能查詢工具-專題搜索:提供用戶在某一專題下進(jìn)行目標(biāo)搜索，支持邏輯運(yùn)算組合檢索、通配符檢索、模糊音檢索、時(shí)間段檢索、地理區(qū)域段檢索 #5.業(yè)務(wù)流程引擎-中間件-流程引擎:提供對(duì)流程模型和數(shù)據(jù)模型進(jìn)行管理，按照業(yè)務(wù)控制流的定義進(jìn)行執(zhí)行 6.業(yè)務(wù)流程引擎-中間件-規(guī)則引擎:提供對(duì)整個(gè)業(yè)務(wù)流程節(jié)點(diǎn)及路由的控制規(guī)則及業(yè)務(wù)集成規(guī)則進(jìn)行定義并解析和運(yùn)行的智能引擎 7.業(yè)務(wù)流程引擎-中間件-業(yè)務(wù)全引擎:提供系統(tǒng)的權(quán)限及關(guān)鍵數(shù)據(jù)的監(jiān)控和記錄工作，當(dāng)用戶試圖進(jìn)行一個(gè)業(yè)務(wù)操作時(shí)業(yè)務(wù)全引擎首先會(huì)對(duì)用戶的權(quán)限進(jìn)行監(jiān)控，如果沒有權(quán)限則阻止用戶操作并且記錄日志和發(fā)出預(yù)警 8.業(yè)務(wù)流程引擎-基礎(chǔ)服務(wù)組件-工具集:提供為業(yè)務(wù)流程引擎提供的一系列方便管理人員、業(yè)務(wù)人員以及開發(fā)人員進(jìn)行流程模型定義、管理和分析的可視化工具。 9.業(yè)務(wù)流程引擎-基礎(chǔ)服務(wù)組件-業(yè)務(wù)流程模型:提供根據(jù)業(yè)務(wù)應(yīng)用中的業(yè)務(wù)流轉(zhuǎn)需求，利用流程建模工具、規(guī)則建模工具、數(shù)據(jù)建模工具對(duì)業(yè)務(wù)流程進(jìn)行抽象定義，形成一個(gè)通用的業(yè)務(wù)流程模型 #10.工作流引擎:主要包括核心引擎、核心API、工作流等功能。 #11.搜索引擎:提供快捷的搜索引擎功能，通過搜索方式幫助用戶快捷瀏覽需要的公文、知識(shí)、業(yè)務(wù)數(shù)據(jù)、政策法規(guī)、辦事流程、政務(wù)、日常辦公、項(xiàng)目資料、資金財(cái)務(wù)等各個(gè)方面的信息資源，并在搜索結(jié)果中顯示關(guān)鍵詞上下文，讓用戶快速準(zhǔn)確的查找到公文 #12.表單引擎:提供基礎(chǔ)支撐平臺(tái)建設(shè)提供強(qiáng)大的表單引擎，讓用戶自由定制各類業(yè)務(wù)流中的表單，確保流程完全符合應(yīng)急管理綜合應(yīng)用平臺(tái)系統(tǒng)的實(shí)際運(yùn)行狀況。工具引擎負(fù)偏離
負(fù)偏離? (-2分)無效投標(biāo)?
基本滿足要求
正偏離
16新增標(biāo)簽工程★1.提供原廠售后服務(wù)承諾函蓋章原件和授權(quán)書蓋章原件。 2.標(biāo)簽體系管理-標(biāo)簽主體管理：針對(duì)應(yīng)急管理領(lǐng)域，應(yīng)急標(biāo)簽主體的選擇將使用“人、地、事、物、組織”等應(yīng)急要素分類中的主數(shù)據(jù)，從這些應(yīng)急要素中挑選出有唯一標(biāo)識(shí)的，對(duì)應(yīng)急管理有影響能力的主體。 ★3.標(biāo)簽體系管理-標(biāo)簽?zāi)夸浌芾恚禾峁┡渲煤途S護(hù)標(biāo)簽主題對(duì)象和標(biāo)簽分類目錄功能?？蓜?chuàng)建任意的標(biāo)簽主題對(duì)象類型，如：人、地、事、物、組織等，如果主題對(duì)象已創(chuàng)建有標(biāo)簽，則不能刪除。 #4.標(biāo)簽體系管理-標(biāo)簽管理：提供標(biāo)簽需求分析、標(biāo)簽專題數(shù)據(jù)預(yù)加工（歸集、清洗、標(biāo)準(zhǔn)化、整合）、標(biāo)簽數(shù)據(jù)同步、標(biāo)簽創(chuàng)建和標(biāo)簽計(jì)算等功能 #5.標(biāo)簽分類管理-業(yè)務(wù)分類：提供為了支撐業(yè)務(wù)需要，因此標(biāo)簽?zāi)夸洃?yīng)重點(diǎn)圍繞業(yè)務(wù)分類進(jìn)行設(shè)計(jì)，標(biāo)簽的分類應(yīng)該是讓用戶易于理解，并且能夠方便、快速地檢索到所需標(biāo)簽 6.標(biāo)簽分類管理-管理分類：提供面向標(biāo)簽的管理和運(yùn)營(yíng)，標(biāo)識(shí)標(biāo)簽所屬的組織、范圍，實(shí)現(xiàn)標(biāo)簽共享和標(biāo)簽私有的統(tǒng)一管理，并能夠輔助標(biāo)簽的運(yùn)營(yíng)。 7.標(biāo)簽分類管理-技術(shù)分類：提供面向標(biāo)簽開發(fā)維護(hù)，從技術(shù)角度描述標(biāo)簽，方便標(biāo)簽進(jìn)行規(guī)則定義和維護(hù)。技術(shù)分類可從標(biāo)簽值域、標(biāo)簽規(guī)則、標(biāo)簽生產(chǎn)方式、標(biāo)簽狀態(tài)周期幾個(gè)維度進(jìn)行分類 8.標(biāo)簽規(guī)則管理-標(biāo)簽元數(shù)據(jù)管理：標(biāo)簽元數(shù)據(jù)體系構(gòu)建了標(biāo)簽的邏輯框架，體現(xiàn)標(biāo)簽的定義、統(tǒng)計(jì)、控制、意義、來源等。用戶在使用標(biāo)簽數(shù)據(jù)時(shí)可以首先查看其元數(shù)據(jù)以便能夠獲取自己所需的信息，使標(biāo)簽的使用變得準(zhǔn)確而高效。 #9.標(biāo)簽規(guī)則管理-標(biāo)簽規(guī)則管理：提供生成標(biāo)簽的依據(jù)，標(biāo)簽規(guī)則管理就是實(shí)現(xiàn)對(duì)標(biāo)簽規(guī)則的設(shè)計(jì)、創(chuàng)建與管理，對(duì)外提供統(tǒng)一的規(guī)則接口，對(duì)標(biāo)簽規(guī)則進(jìn)行解析驗(yàn)證和加載執(zhí)行。 10.標(biāo)簽規(guī)則管理-標(biāo)簽生命周期管理：提供標(biāo)簽可視化編輯、標(biāo)簽創(chuàng)建任務(wù)執(zhí)行策略設(shè)置、標(biāo)簽的注冊(cè)審批等功能；支持對(duì)超過當(dāng)前數(shù)據(jù)周期的標(biāo)簽數(shù)據(jù)進(jìn)行更新操作；支持對(duì)標(biāo)簽使用情況進(jìn)行統(tǒng)計(jì)，分析標(biāo)簽的使用頻次。 #11.標(biāo)簽規(guī)則管理-標(biāo)簽計(jì)算：提供在線、離線標(biāo)簽計(jì)算，以便能夠支持平臺(tái)沉淀的大量歷史數(shù)據(jù)的標(biāo)簽計(jì)算，也支持對(duì)實(shí)時(shí)流入的事件進(jìn)行標(biāo)簽計(jì)算 12.標(biāo)簽規(guī)則管理-標(biāo)簽畫像:提供基于應(yīng)急管理部規(guī)范的應(yīng)急要素及其已有的標(biāo)簽構(gòu)建該要素的畫像，形成對(duì)要素的全方位、多角度、面向各業(yè)務(wù)場(chǎng)景的刻畫與描述。 13.標(biāo)簽地圖:提供以樹形結(jié)構(gòu)展示標(biāo)簽分類目錄，當(dāng)選中某級(jí)目錄時(shí)，顯示目錄下有查看權(quán)限的標(biāo)簽列表，再選中某標(biāo)簽時(shí)，可展示該標(biāo)簽的詳細(xì)信息 14.標(biāo)簽評(píng)論:提供對(duì)任意標(biāo)簽都可以發(fā)表評(píng)論，以及對(duì)任意標(biāo)簽都可以打分 15.智能標(biāo)簽服務(wù):提供利用標(biāo)簽工程引擎將標(biāo)簽的創(chuàng)建、查詢、分析給服務(wù)化，是將標(biāo)簽作為一類資源服務(wù)提供給專業(yè)部門，幫助業(yè)務(wù)任務(wù)挖掘出事件所需要的潛在業(yè)務(wù)信息，對(duì)偵破分析提供有價(jià)值的洞察和參考，為應(yīng)急管理人員制定精準(zhǔn)化決策提供支撐。標(biāo)簽工程負(fù)偏離
負(fù)偏離? (-2分)無效投標(biāo)?
基本滿足要求
正偏離
17新增知識(shí)圖譜及通用服務(wù)★1.提供原廠售后服務(wù)承諾函蓋章原件和授權(quán)書蓋章原件。 ★2.知識(shí)圖譜創(chuàng)建：提供為構(gòu)建知識(shí)圖譜提供了基礎(chǔ)支撐，提供事與事、事與人、事與組織等等之間的各種關(guān)系分析復(fù)現(xiàn)，提供深層次的研判洞察，為知識(shí)圖譜構(gòu)建提供了統(tǒng)一的入口，支撐用戶構(gòu)建自己的知識(shí)圖譜。 #3.知識(shí)圖譜庫(kù)構(gòu)建：提供構(gòu)建知識(shí)體系包括數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)元、標(biāo)簽、規(guī)則和業(yè)務(wù)模型等構(gòu)建知識(shí)圖譜所需的知識(shí)庫(kù)。 4.知識(shí)圖譜服務(wù)-知識(shí)圖譜檢索服務(wù):提供知識(shí)圖譜服務(wù)關(guān)系查詢引擎在圖譜庫(kù)提供的快速圖遍歷功能基礎(chǔ)上，支持從種子點(diǎn)出發(fā)的多跳關(guān)系查詢、多點(diǎn)之間的關(guān)系推演（即關(guān)系路徑查找 5.知識(shí)圖譜服務(wù)-關(guān)聯(lián)分析/圖析服務(wù):提供可視化數(shù)據(jù)關(guān)聯(lián)分析，在數(shù)億實(shí)體和數(shù)十億的關(guān)系網(wǎng)中，實(shí)時(shí)進(jìn)行關(guān)系挖掘、路徑推演、事件比對(duì)、時(shí)空分析等，并通過可視化交互方式，有效發(fā)現(xiàn)和獲取最有價(jià)值的數(shù)據(jù)。 6.知識(shí)圖譜服務(wù)-多維展示/全息檔案服務(wù):提供基于應(yīng)急管理數(shù)據(jù)資源池整合的各類數(shù)據(jù)資源，對(duì)各類應(yīng)急管理部規(guī)范的各要素之間的關(guān)系背景資料建立完備的檔案，如救援人員檔案將人員及其所屬組織作為整體進(jìn)行綜合呈現(xiàn)，主要包含人員基本信息、關(guān)系網(wǎng)絡(luò)圖、相關(guān)軌跡、地址信息及歷史救援記錄等 7.知識(shí)圖譜服務(wù)-地理展示和時(shí)空比對(duì)服務(wù):提供結(jié)合軌跡分析算法以及部分關(guān)系戰(zhàn)法，支持指揮人員對(duì)數(shù)據(jù)基于時(shí)間-空間的實(shí)體/事件/軌跡進(jìn)行關(guān)聯(lián)分析，時(shí)間分析有時(shí)間軸和動(dòng)態(tài)時(shí)間卷軸，以及對(duì)接EGIS或主流開源地圖，結(jié)合其地理信息數(shù)據(jù)提供多元多維度分析 8.通用應(yīng)用服務(wù)-統(tǒng)一機(jī)構(gòu)管理:主要實(shí)現(xiàn)對(duì)單位內(nèi)部組織機(jī)構(gòu)和臨時(shí)機(jī)構(gòu)的統(tǒng)一管理，支持制定臨時(shí)機(jī)構(gòu)的編碼規(guī)范。各分級(jí)管理員可在機(jī)構(gòu)樹里進(jìn)行新增、修改、刪除，同時(shí)支持機(jī)構(gòu)合并功能。 9.通用應(yīng)用服務(wù)-統(tǒng)一用戶管理:主要包括了應(yīng)急管理用戶管理、外部施工人員管理、個(gè)人信息管理，并提供用戶數(shù)據(jù)批量導(dǎo)入功能。由管理員對(duì)應(yīng)急管理用戶、外部施工人員進(jìn)行管理，個(gè)人信息管理由平臺(tái)用戶自己進(jìn)行維護(hù)。支持按照用戶的業(yè)務(wù)域管理機(jī)制。用戶橫向具有不同的業(yè)務(wù)域，縱向?yàn)橛脩舻膯挝粚蛹?jí)。不同業(yè)務(wù)域的管理員不能相互干涉。 10.通用應(yīng)用服務(wù)-統(tǒng)一權(quán)限管理:實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)的菜單資源和功能的使用權(quán)限統(tǒng)一在用戶管理系統(tǒng)中設(shè)置，為各業(yè)務(wù)系統(tǒng)提供統(tǒng)一的權(quán)限授權(quán)管理，并能夠?qū)ν馓峁?quán)限信息服務(wù)接口。權(quán)限管理用于配置各應(yīng)用系統(tǒng)的權(quán)限信息、應(yīng)用接入，主要包括應(yīng)用注冊(cè)、應(yīng)用資源同步、角色管理等功能。 11.通用應(yīng)用服務(wù)-統(tǒng)一身份認(rèn)證：實(shí)現(xiàn)用戶的統(tǒng)一身份認(rèn)證，支持單點(diǎn)認(rèn)證功能：即用戶在一點(diǎn)登錄后，在訪問不同的業(yè)務(wù)應(yīng)用時(shí)無需重復(fù)登錄，做到一次登錄，即可訪問所有服務(wù)系統(tǒng)。平臺(tái)門戶接收用戶的認(rèn)證請(qǐng)求，將用戶請(qǐng)求信息發(fā)送到統(tǒng)一認(rèn)證平臺(tái)，由統(tǒng)一認(rèn)證平臺(tái)為合法用戶生成用戶身份憑證，并將憑證反饋至平臺(tái)門戶，從而完成用戶登錄認(rèn)證過程。 12.通用應(yīng)用服務(wù)-統(tǒng)一消息服務(wù)：提供統(tǒng)一的消息引擎，提供接口接收各應(yīng)用推送的消息，通過消息隊(duì)列的機(jī)制實(shí)現(xiàn)消息的生產(chǎn)及消費(fèi)。 13.通用應(yīng)用服務(wù)-日志管理：日志管理是針對(duì)日志類數(shù)據(jù)的一站式服務(wù)，對(duì)用戶登陸、退出、查詢、新增、刪除、修改等操作行為的日志進(jìn)行詳細(xì)記錄，完成日志數(shù)據(jù)采集、消費(fèi)、投遞以及查詢分析等功能，提升運(yùn)維、運(yùn)營(yíng)效率及海量日志處理能力。 14.通用應(yīng)用服務(wù)-安全審計(jì) ：安全審計(jì)將用戶所有的操作日志集中記錄管理和分析，不僅可以對(duì)用戶行為進(jìn)行監(jiān)控，并且可以通過集中的審計(jì)數(shù)據(jù)進(jìn)行分析，以便于事后的追責(zé)和認(rèn)定。支持安全日志歸檔功能，管理員可以定期對(duì)日志文件按時(shí)段進(jìn)行歸檔，在歸檔時(shí)生成歸檔文件。 15.通用應(yīng)用服務(wù)-數(shù)據(jù)治理門戶： 提供數(shù)據(jù)治理門戶實(shí)現(xiàn)各數(shù)據(jù)治理業(yè)務(wù)的統(tǒng)一展示、登陸、管理、運(yùn)維等全部?jī)?nèi)容，并按照用戶需求進(jìn)行界面修改及功能實(shí)現(xiàn)知識(shí)圖譜及通用服務(wù)負(fù)偏離
負(fù)偏離? (-2分)無效投標(biāo)?
基本滿足要求
正偏離
18新增資源目錄★1.元數(shù)據(jù)資源目錄:對(duì)平臺(tái)內(nèi)的元數(shù)據(jù)和數(shù)據(jù)代碼的進(jìn)行統(tǒng)一的管理，提供注冊(cè)、更新、啟用、停用、注銷等業(yè)務(wù)功能。 ★2.數(shù)據(jù)資源目錄:構(gòu)建數(shù)據(jù)資源目錄，以原始庫(kù)、資源庫(kù)、主題庫(kù)、專題庫(kù)、配置庫(kù)中的數(shù)據(jù)資源為管理對(duì)象，通過注冊(cè)、更新、啟用、停用、注銷、查詢等業(yè)務(wù)功能，形成標(biāo)準(zhǔn)的、規(guī)范的、統(tǒng)一的數(shù)據(jù)資源目錄，促進(jìn)數(shù)據(jù)資源科學(xué)、有序、安全的開放和共享。 3.標(biāo)簽資源目錄:構(gòu)建標(biāo)簽資源目錄，通過標(biāo)簽資源目錄實(shí)現(xiàn)對(duì)標(biāo)簽?zāi)０遒Y源的共享開放與自定義。注冊(cè)的標(biāo)簽?zāi)０遒Y源信息主要包括標(biāo)簽類別、標(biāo)簽編碼、標(biāo)簽名稱、標(biāo)簽資源摘要、標(biāo)簽輸入數(shù)據(jù)項(xiàng)、所需知識(shí)庫(kù)、計(jì)算表達(dá)式等信息。 #4.算法資源目錄:資源管理中心提供統(tǒng)計(jì)分析算法、聚類算法、分類算法、關(guān)系網(wǎng)絡(luò)算法、文本分析算法、圖像和音視頻分析算法等通用算法。 #5.模型資源目錄:通過模型資源目錄，提供自定義模型的注冊(cè)，注冊(cè)的信息包含模型基本信息、模型引用信息、模型描述信息、模型依賴環(huán)境信息、模型提供單位信息、XML模型標(biāo)準(zhǔn)描述等。 ★6.服務(wù)接口資源目錄 :構(gòu)建服務(wù)接口資源目錄，包括平臺(tái)的數(shù)據(jù)訪問服務(wù)、業(yè)務(wù)服務(wù)。通過服務(wù)接口資源目錄提供服務(wù)的注冊(cè)、發(fā)現(xiàn)與使用。資源目錄負(fù)偏離
負(fù)偏離? (-2分)無效投標(biāo)?
基本滿足要求
正偏離
19新增服務(wù)總線★1.服務(wù)注冊(cè):提供服務(wù)的集中注冊(cè)功能。地方應(yīng)急管理部門基于注冊(cè)功能實(shí)現(xiàn)服務(wù)的創(chuàng)建和維護(hù)。 2.服務(wù)編排:提供服務(wù)的組合功能。地方應(yīng)急管理部門基于服務(wù)編排功能，實(shí)現(xiàn)將已有的不同協(xié)議的服務(wù)進(jìn)行組合，從而生成新的服務(wù)。 3.服務(wù)路由:提供服務(wù)的靜態(tài)路由和智能路由功能。地方應(yīng)急管理部門基于靜態(tài)路由功能實(shí)現(xiàn)消息按預(yù)定的通道進(jìn)行傳輸。 4.協(xié)議適配:提供協(xié)議適配功能。地方應(yīng)急管理部門按照規(guī)定信息的格式和規(guī)則實(shí)現(xiàn)服務(wù)的適配接入。 5.事務(wù)管理:提供事務(wù)管理功能。地方應(yīng)急管理部門基于事務(wù)管理實(shí)現(xiàn)事務(wù)的一致性和完整性。 6.服務(wù)監(jiān)控:提供服務(wù)的監(jiān)控功能。地方應(yīng)急管理部門可以基于管理功能實(shí)現(xiàn)對(duì)系統(tǒng)運(yùn)行情況和各種資源的狀態(tài)信息進(jìn)行監(jiān)控，及時(shí)發(fā)現(xiàn)并定位系統(tǒng)中出現(xiàn)的異常情況。服務(wù)總線負(fù)偏離
負(fù)偏離? (-2分)無效投標(biāo)?
基本滿足要求
正偏離
20新增大數(shù)據(jù)平臺(tái)★1.提供原廠售后服務(wù)承諾函蓋章原件和授權(quán)書蓋章原件。 ★2.提供高級(jí)版許可以及5年軟件訂閱與保障年費(fèi)所有節(jié)點(diǎn) ★3.平臺(tái)組件：sqoop,storm，hdfs,hbase,flume,elasticSearch,kafka,hive,spark,sparkStreaming,yarn,Mepreduce,Redis等所有Hadoop生態(tài)組件。 4.數(shù)據(jù)集成-批量數(shù)據(jù)集成：實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)與關(guān)系型數(shù)據(jù)庫(kù)、文件系統(tǒng)之間交換“數(shù)據(jù)”、“文件”，既可以將數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫(kù)或者文件服務(wù)器導(dǎo)入到HDFS/HBase中，同時(shí)也支持反過來從HDFS/HBase導(dǎo)出到關(guān)系型數(shù)據(jù)庫(kù)或者文件服務(wù)器中。 5.數(shù)據(jù)集成-實(shí)時(shí)集成：利用Apache Flume監(jiān)聽特定的端口（UDP、RPC端口），從而獲得流過端口的數(shù)據(jù)，并且支持多樣化的插件體系，在收集端對(duì)數(shù)據(jù)進(jìn)行過濾等處理，在匯聚端則允許將數(shù)據(jù)直接輸入到大數(shù)據(jù)分布式存儲(chǔ)HDFS。 #6.數(shù)據(jù)集成-分布式消息隊(duì)列：利用kafka進(jìn)行常規(guī)的消息收集、網(wǎng)站活性跟蹤、聚合統(tǒng)計(jì)系統(tǒng)運(yùn)營(yíng)數(shù)據(jù)（監(jiān)控?cái)?shù)據(jù)）、日志收集等大量數(shù)據(jù)的互聯(lián)網(wǎng)服務(wù)的數(shù)據(jù)收集。 #7.數(shù)據(jù)存儲(chǔ)-分布式文件存儲(chǔ)：HDFS是Hadoop的分布式文件系統(tǒng)，實(shí)現(xiàn)大規(guī)模數(shù)據(jù)可靠的分布式讀寫。HDFS分布式文件存儲(chǔ)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，提供了海量數(shù)據(jù)的分布式存儲(chǔ)。 #8.數(shù)據(jù)存儲(chǔ)-分布式數(shù)據(jù)庫(kù)：HBase是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)。 HBase適合于存儲(chǔ)大表數(shù)據(jù)（表的規(guī)?？梢赃_(dá)到數(shù)十億行以及數(shù)百萬列），并且對(duì)大表數(shù)據(jù)的讀、寫訪問可以達(dá)到實(shí)時(shí)級(jí)別。 #9.數(shù)據(jù)存儲(chǔ)-分布式數(shù)據(jù)倉(cāng)庫(kù)：Hive是建立在Hadoop上的數(shù)據(jù)倉(cāng)庫(kù)框架，提供大數(shù)據(jù)平臺(tái)批處理計(jì)算能力，能夠?qū)Y(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行批量分析匯總完成數(shù)據(jù)計(jì)算。 10.數(shù)據(jù)存儲(chǔ)-內(nèi)存數(shù)據(jù)庫(kù)：Redis是基于網(wǎng)絡(luò)的，高性能的key-value數(shù)據(jù)庫(kù)，彌補(bǔ)了memcached這類key-value存儲(chǔ)的不足，在部分場(chǎng)合可以對(duì)關(guān)系數(shù)據(jù)庫(kù)起到很好的補(bǔ)充作用，滿足實(shí)時(shí)的高并發(fā)需求。 #11.數(shù)據(jù)存儲(chǔ)-全文檢索庫(kù)：ElasticSearch是一個(gè)基于Lucene的搜索服務(wù)器。它提供了一個(gè)分布式多用戶能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java開發(fā)的，并作為Apache許可條款下的開放源碼發(fā)布，是當(dāng)前流行的企業(yè)級(jí)搜索引擎。 #12.數(shù)據(jù)計(jì)算-離線計(jì)算能力：離線處理，通常是指對(duì)海量數(shù)據(jù)進(jìn)分析和處理，形成結(jié)果數(shù)據(jù)，供下一步數(shù)據(jù)應(yīng)用使用的場(chǎng)景。離線處理對(duì)處理時(shí)間要求不高，但是所處理數(shù)據(jù)量較大，占用計(jì)算存儲(chǔ)資源較多，通常通過MR或者Spark作業(yè)或者SQL作業(yè)實(shí)現(xiàn)。 #13.數(shù)據(jù)計(jì)算-流計(jì)算能力：實(shí)時(shí)流處理，通常是指對(duì)實(shí)時(shí)數(shù)據(jù)源進(jìn)行快速分析，迅速觸發(fā)下一步動(dòng)作的場(chǎng)景。實(shí)時(shí)數(shù)據(jù)對(duì)分析處理速度要求極高，數(shù)據(jù)處理規(guī)模巨大，對(duì)CPU和內(nèi)存要求很高，但是通常數(shù)據(jù)不落地，對(duì)存儲(chǔ)量要求不高。實(shí)時(shí)處理，通常通過Spark Streaming任務(wù)實(shí)現(xiàn)。 14.數(shù)據(jù)計(jì)算-交互查詢能力：交互查詢平臺(tái)主要承載對(duì)數(shù)據(jù)進(jìn)行交互式的分析和查詢，查詢響應(yīng)要求較高，能夠?qū)崿F(xiàn)人機(jī)之間交互，查詢通常比較復(fù)雜。專題庫(kù)的數(shù)據(jù)通常已經(jīng)被預(yù)處理過，按照適合交互查詢的數(shù)據(jù)模型進(jìn)行組織。專題庫(kù)數(shù)據(jù)量巨大，對(duì)CPU和內(nèi)存要求很高，對(duì)于存儲(chǔ)要求也很高。交互查詢方式，以復(fù)雜SQL查詢最為常見，也有簡(jiǎn)單的快讀檢索. 15.數(shù)據(jù)計(jì)算-實(shí)時(shí)檢索能力：實(shí)時(shí)檢索，通常是指數(shù)據(jù)實(shí)時(shí)寫入，對(duì)海量數(shù)據(jù)基于索引主鍵實(shí)時(shí)查詢，查詢響應(yīng)要求較高，查詢條件相對(duì)比較簡(jiǎn)單。查詢條件復(fù)雜的可以根據(jù)關(guān)鍵詞在全域數(shù)據(jù)中通過索引搜索主鍵后，通過主鍵查詢。全域數(shù)據(jù)既包含了結(jié)構(gòu)化數(shù)據(jù)又包含了文本等非結(jié)構(gòu)化數(shù)據(jù)。 16.數(shù)據(jù)安全管理-用戶認(rèn)證與角色授權(quán)：大數(shù)據(jù)平臺(tái)提供對(duì)外訪問時(shí)，用戶需通過安全認(rèn)證。可以提供：WebUI身份認(rèn)證、CLI命令行身份認(rèn)證、API身份認(rèn)證等三種方式來對(duì)外生工角色授權(quán)和用戶認(rèn)知。 17.數(shù)據(jù)安全管理-數(shù)據(jù)加密：應(yīng)急數(shù)據(jù)基于HBase、Hive、hdfs等組件進(jìn)行存儲(chǔ)，為了保證數(shù)據(jù)存儲(chǔ)的安全，數(shù)據(jù)應(yīng)以密文的形式存儲(chǔ)在硬盤上，不會(huì)因?yàn)橛脖P泄露、或底層OS被攻破導(dǎo)致數(shù)據(jù)泄露。 18.數(shù)據(jù)安全管理-多租戶隔離：大數(shù)據(jù)平臺(tái)需提供可視化的多級(jí)租戶管理，與單位組織結(jié)構(gòu)和業(yè)務(wù)模式相匹配，簡(jiǎn)化系統(tǒng)資源分配與管理 19.數(shù)據(jù)安全管理-安全審計(jì)：大數(shù)據(jù)平臺(tái)支持記錄審計(jì)日志，審計(jì)日志可用于安全事件中定位問題原因及劃分事故責(zé)任，大數(shù)據(jù)資源池審計(jì)日志中記錄了用戶操作信息，可以快速定位系統(tǒng)是否遭受惡意的操作和攻擊。大數(shù)據(jù)平臺(tái)負(fù)偏離
負(fù)偏離? (-2分)無效投標(biāo)?
基本滿足要求
正偏離
共 20 條，當(dāng)前 1/1 頁(yè)
1
需求公示：
序號(hào)供應(yīng)商提問時(shí)間提問內(nèi)容回復(fù)內(nèi)容