數(shù)據(jù)中臺(tái)系統(tǒng)：泛普軟件的數(shù)據(jù)核心樞紐建設(shè)

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

 　　數(shù)據(jù)中臺(tái)系統(tǒng)

　　數(shù)據(jù)中臺(tái)建設(shè)是指將集團(tuán)內(nèi)部的數(shù)據(jù)資源進(jìn)行整合，搭建一個(gè)高效、可靠、安全、可擴(kuò)展的數(shù)據(jù)共享平臺(tái)，泛普軟件實(shí)現(xiàn)數(shù)據(jù)在集團(tuán)內(nèi)部的共享、交換、加工、挖掘和應(yīng)用。

　　定位：智能化體系的數(shù)據(jù)核心，實(shí)現(xiàn)數(shù)據(jù)匯聚、清洗、治理、分析與服務(wù)，為各業(yè)務(wù)系統(tǒng)與大模型提供數(shù)據(jù)支撐。數(shù)據(jù)匯聚：整合 OA、招標(biāo)、監(jiān)理、全詢等系統(tǒng)數(shù)據(jù)，以及無人機(jī)、傳感器等硬件數(shù)據(jù)，形成統(tǒng)一數(shù)據(jù)資源池。 數(shù)據(jù)治理：建立行業(yè)數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)質(zhì)量規(guī)則，實(shí)現(xiàn)數(shù)據(jù)清洗、去重、補(bǔ)全，保障數(shù)據(jù)準(zhǔn)確性與一致性。 數(shù)據(jù)服務(wù)：提供數(shù)據(jù)查詢、數(shù)據(jù)接口、數(shù)據(jù)分析等服務(wù)，支持各業(yè)務(wù)系統(tǒng)按需調(diào)用，同時(shí)為大模型訓(xùn)練與推理提供高質(zhì)量數(shù)據(jù)。 數(shù)據(jù)安全：建立數(shù)據(jù)分級(jí)分類管理機(jī)制，實(shí)現(xiàn)數(shù)據(jù)訪問權(quán)限管控、操作日志追溯，保障數(shù)據(jù)安全合規(guī)。

　　工程企業(yè)管理系統(tǒng)里數(shù)據(jù)中臺(tái)是系統(tǒng)數(shù)據(jù)樞紐，打破各業(yè)務(wù)系統(tǒng)數(shù)據(jù)孤島;整合、清洗、標(biāo)準(zhǔn)化分散數(shù)據(jù)，沉淀核心數(shù)據(jù)資產(chǎn);向上層門戶的駕駛艙、工作臺(tái)輸出統(tǒng)一可信數(shù)據(jù)，支撐可視化與業(yè)務(wù)操作。

　　(1)治理體系

　　為了保障數(shù)據(jù)治理項(xiàng)目順利實(shí)施，在數(shù)據(jù)治理之前，前期我們需要針對(duì)治理的項(xiàng)目建立規(guī)章制度和實(shí)施組織。

　　(一)管理制度

　　系統(tǒng)自帶管理制度標(biāo)準(zhǔn)模板，按照實(shí)際調(diào)研情況，在標(biāo)準(zhǔn)模板基礎(chǔ)上進(jìn)行細(xì)化和調(diào)整，形成項(xiàng)目企業(yè)自己的數(shù)據(jù)管理制度。

　　(二)管理組織

　　在實(shí)施數(shù)據(jù)治理以前，需要先確定管理組織，管理組織分為 3 個(gè)功能點(diǎn)：企業(yè)組織管理、治理組織維護(hù)、企業(yè)項(xiàng)目查看。

　　(2)治理工具

　　(一)資產(chǎn)目錄梳理

　　數(shù)據(jù)治理需要先規(guī)劃出來資產(chǎn)目錄，資產(chǎn)目錄主要分為分組、主體域和業(yè)務(wù)域三級(jí)內(nèi)容。

　　(二)主數(shù)據(jù)梳理

　　在資產(chǎn)目錄節(jié)點(diǎn)下面，我們需要先梳理項(xiàng)目的主數(shù)據(jù)內(nèi)容形成邏輯模型。工程項(xiàng)目管理系統(tǒng)包括數(shù)據(jù)歸屬部門、產(chǎn)生源頭，以及主數(shù)據(jù)明細(xì)表的內(nèi)容，梳理沒問題以后，點(diǎn)擊發(fā)布生成實(shí)體模型。

　　(三)數(shù)據(jù)字典梳理

　　數(shù)據(jù)字典是系統(tǒng)最常用的基礎(chǔ)數(shù)據(jù)，只有數(shù)據(jù)字典數(shù)據(jù)一致統(tǒng)一了，相關(guān)的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)才能在這個(gè)統(tǒng)一規(guī)范下面進(jìn)行梳理和關(guān)聯(lián)。梳理完成以后點(diǎn)擊發(fā)布到實(shí)體庫里面，供其他系統(tǒng)調(diào)用。

　　(四)業(yè)務(wù)對(duì)象梳理

　　在資產(chǎn)目錄節(jié)點(diǎn)下面，我們需要按資產(chǎn)目錄梳理項(xiàng)目的業(yè)務(wù)數(shù)據(jù)內(nèi)容形成邏輯模型。包括數(shù)據(jù)使用部門、對(duì)應(yīng)相關(guān)系統(tǒng)，以及業(yè)務(wù)數(shù)據(jù)明細(xì)表的內(nèi)容(明細(xì)表里面包括是否唯一、是否關(guān)聯(lián)數(shù)據(jù)字典、主數(shù)據(jù)等)，梳理沒問題以后，點(diǎn)擊發(fā)布生成實(shí)體模型。

　　(五)業(yè)務(wù)邏輯視圖

　　我們可以通過業(yè)務(wù)邏輯視圖來查看業(yè)務(wù)對(duì)象梳理建立的邏輯關(guān)系是否準(zhǔn)確，如果有問題，可以返回業(yè)務(wù)對(duì)象梳理，對(duì)已有問題的對(duì)象進(jìn)行修正。

　　(六)分析指標(biāo)梳理

　　當(dāng)梳理完業(yè)務(wù)對(duì)象以后，那么就要從這些業(yè)務(wù)對(duì)象里面梳理出來分析指標(biāo)，這些分析指標(biāo)發(fā)布以后，后續(xù)可以按照分析指標(biāo)規(guī)則出具體指標(biāo)數(shù)據(jù)。

　　(七)數(shù)據(jù)發(fā)布驗(yàn)證

　　梳理完的主數(shù)據(jù)、業(yè)務(wù)對(duì)象發(fā)布以后，會(huì)創(chuàng)建物理實(shí)體表，所以在創(chuàng)建之前需要先驗(yàn)證是否正確，如果判斷不正確，會(huì)提示不能發(fā)布。

　　(3)源數(shù)據(jù)管理

　　源數(shù)據(jù)庫，主要是通過離線工具或者接口服務(wù)把歷史原始未梳理的數(shù)據(jù)一比一同步到 ODS 庫里面，然后通過梳理工具梳理以后放到 DW 數(shù)據(jù)倉庫里面。

　　(一)源數(shù)據(jù)分類

　　類似資產(chǎn)目錄，用結(jié)構(gòu)樹的方式設(shè)置源數(shù)據(jù)的管理歸屬分類。這些分類可以與崗位進(jìn)行關(guān)聯(lián)，這樣該崗位才能看到具體的分類下面的表，如果沒有設(shè)置，則只能管理員看到。

　　(二)源數(shù)據(jù)模型

　　按照源數(shù)據(jù)分類，我們需要建立對(duì)應(yīng)的表結(jié)構(gòu)，包括表名、表描述以及明細(xì)里面的表字段設(shè)置。設(shè)置沒問題，點(diǎn)擊發(fā)布生成實(shí)體表信息

　　(三)源數(shù)據(jù)采集

　　按照源數(shù)據(jù)模型生成的實(shí)體表，我們通過接口或者 ETL 工具導(dǎo)入數(shù)據(jù)，這些數(shù)據(jù)可以是第三方系統(tǒng)數(shù)據(jù)庫，也可以是 xls 表格等內(nèi)容。