項目背景:測試

目前，省內各地政府部門和機構均建立起自己的信息化系統。但由于諸多因素的影響，即使同一地區的政府機構間也無法進行合理、有效的溝通。不同信息系統產生的數據形式不同，數據可能是存放于數據庫、FTP服務器上的某些文本文件等等。

因此需要一個平臺能使所有需要利用的但質量太差以及缺乏關聯機制的數據結合為一個整體，擔當信息橋梁。在客戶接入端實現數據的自動提取與轉換，同時支持手工錄入與審核數據，數據使用權限等。它應該是一個為不同數據庫、不同數據格式之間，進行數據交換而提供服務的平臺，能解決企業、政府機構在不同信息庫間信息數據無法自由轉換的問題。

同和第三方數據交換平臺是一個專注于數據處理的技術平臺，它能通過自動+人工干預的方式實現異域數據的加工和關聯，提供了豐富的數據導入、處理和應用方式，充分考慮多種應用場合，實現方便的定制功能，使得操作人員在數據處理層面上有多種多樣的方式選擇，可以根據不同數據來源和去向定制各異的數據導入、加工匹配與應用規則。最終得到用戶要求的優質數據。下圖為上述文字的解釋。

功能綜述

    1.數據采集

    通過任務定制的方式把原始數據導入此交換平臺。數據導入的方式主要支持：數據庫直連、FTP服務器獲取文件，人工文件上傳，人工數據錄入。其中數據庫直連可以支持ORACLE、MySQL、DB2等主流數據庫；數據文件可以支持excel、csv、txt等。根據用戶配置的頻率，轉換規則，把數據遷移到此交換平臺，由平臺自身數ORACLE數據庫統一管理。此功能塊主要實現了各種數據形式的統一轉換，并且遷移到本交換平臺。我們把此環節獲得的數據叫做原始數據。

    2.數據加工

    用戶可以針對已經導入平臺的原始數據進行加工、與其他現有數據進行關聯匹配。平臺提供了多種規則讓用戶可以靈活定制出想要的最終數據。在自動加工未達到預期效果時可以進行人工干預，而且平臺會記錄和學習此次人工干預動作，在今后的自動加工中人性化處理。同時平臺也提供了強大的模糊匹配功能，類似搜索引擎的模糊搜索。對無法確定是否精確匹配的數據建立模糊關系，讓用戶人為判斷。

    3.數據應用

    我們對數據進行加工的目的也就是對成品數據進行利用。本功能模塊為加工好的最終數據提供了各種應用渠道。包括了直接界面查詢、excel數據導出、數據庫外部推送、web服務接口暴露、RPC遠程調用接口暴露等等。

    4.數據監控

    此功能模塊對數據的生命周期有一個完全的監控作用。數據導入、加工任務進行的進度、詳細執行情況在這里一目了然。

    5.綜合查詢

    此平臺可以根據不同需求分布式多節點靈活部署，此功能模塊相當一部分功能用于查看子節點連接情況以及數據加工處理情況。

    同時也提供了對平臺使用人員的管理查詢功能，如查詢有哪些逾期未采集的數據單元。

    6.系統管理

    此模塊主要提供了系統管理級別的功能，比如使用人員管理、崗位權限管理、菜單管理、平臺系統初始化配置、服務器性能監控等。

技術體系

系統架構示意圖：

典型應用

    2012年同和第三方數據交換平臺在常州、徐州、揚州地稅局試點應用，取得了滿意的效果。目前已在江蘇全省推廣使用。