1 緒論

 

1.1 研究背景

隨著信息技術的發展，大數據時代的到來，以云計算、物聯網等技術為關鍵核心技術的政府采購電子交易模式正在顛覆傳統的采購模式，把政府采購人、采購代理機構、采購管理部門、采購審批機構、評審專家、供應商、電子交易平臺等多個角色同時有效的聯系在一起，實現政府網上采購交易信息的互聯互通。這將在很大程度上降低采購的成本，提高采購效率，從而實現對政府采購的監督達到公開透明、公正公平的目的，對政府采購來說，這是一種全新理念和改革創新，促使了傳統政府采購模式走上一次徹底的變革，也將變成未來政府采購最主要的發展趨勢。目前，我國政府采購網上交易模式的探索時間尚短，在網上采購協議商品模式順利運行的同時也呈現出很多缺點。隨著政府網上采購協議商品類別的增加以及采購方式的不斷變化，政府采購業務處理系統中積累了大量有價值的數據，但只有少部分被政府采購相關者用于基本統計分析[1]。隨著數據倉庫技術和數據挖掘技術的不斷成熟，給政府采購網上交易資金大數據分析帶來了機會。政府采購數據倉庫是獨立于業務處理系統的數據庫，無論政府采購業務處理系統是升級還是更替，都不影響建立的政府采購數據倉庫里存儲的數據。而政府采購資金數據挖掘能為政府網上采購的政策制定和監督管理提供有依據的數據支持，即它是對大量采購資金相關數據進行挖掘、分析、綜合和推理，力圖發現各政府網上采購因素間的關聯性，力圖解決網上采購相關實際應用問題。本研究是站在重慶市政府采購管理部門的角度，基于協議供貨商品對省（市）及各下屬區縣的政府采購網上交易資金數據進行挖掘與分析，基于數據倉庫和數據挖掘技術，在政府采購協議商品網上交易模式的應用需求基礎上，建立政府采購數據倉庫和從屬數據集市，進而對網上采購協議商品的交易資金數據進行挖掘與分析。

..........

 

1.2 研究意義

大數據時代，政府網上采購已成為必然趨勢。隨著采購規模壯大，上級監管部門也需要加強政府網上采購合理化和規范化管理，但政府采購相關者很多，針對全方位監督，當前信息化水平遠遠不夠，需要增大各方監管力度。本研究集中對重慶市政府采購網上交易資金的歷史數據轉換成有價值的采購知識，多角度指導政府網上采購相關策略，并分析該決策如何為政府采購管理部門加大采購資金監管工作力度并幫助采購人提供采購便利。現今政府采購監管部門主要通過政府采購業務處理系統來實現統計分析并以此為監督參考，一旦政府采購業務系統發生變化，歷史數據將無法再利用，統計分析也將不能持續。此外，某些區縣使用的政府采購管理系統與省市級使用的系統不同，監管部門不能對區縣政府網上采購的實現監管。政府采購監管部門無論是制定政策還是監督管理都需要有效數據參考。自重慶市政府采購電子交易平臺建成以來，年采購資金交易額從 2012 年網上交易平臺建立的 0.4 億增長至 2017 年 12 億之多，政府采購網上交易日數據量也從零逐漸向幾十萬、幾百萬甚至幾千萬變化，目前日平均產生的采購數據大小達 800 M以上。面對如此多的政府采購數據，監管部門只統計了較少數據，不知道如何實現網上交易資金數據更多的價值，將不能發現政府網上采購中存在的有用規律和問題。大數據時代，隨著網上采購數據的增加，政府采購相關者的需求也從基本統計分析轉變為政府采購大數據分析（數據之間的關聯性等），因此傳統分析方法已不能滿足需要，數據倉庫技術和數據挖掘技術與之契合。政府采購數據倉庫的建立將實現政府采購數據結構的一致性，改善監管部門因數據結構不同而無法獲取各區域的采購數據問題，即使各區域政府采購管理系統被替換，政府監管部門也能實現對各區域的采購監管。數據挖掘技術應用于政府采購數據不僅能區別于傳統統計分析進行多維分析，還能深層次挖掘網上交易資金數據的價值，政府采購管理部門也可根據應用需求去監管政府采購相關者和采購行為本身，比如從反腐倡廉的角度利用關聯規則挖掘幫助監管部門發現采購人與供應商之間的關系，從歷史成交資金角度根據實時動態時序圖把控采購商品的價格變化等。此外，政府采購數據倉庫的建立解決了數據挖掘的數據預處理過程，提高了挖掘工作效率。

.........

 

2 理論基礎和技術綜述

 

2.1 政府網上采購協議商品的相關理論

2.1.1 政府網上采購協議商品概述

根據中華人民共和國頒布的《政府采購法》，政府采購的定義是指各個級別的國家機關單位、事業單位以及團體組織，使用財政性資金采購的依法制定集中采購目錄范圍內或者采購限額標準范圍以上的工程、貨物和服務行為[18]。政府采購網上交易模式近年隨著信息化水平不斷發展和采購模式不斷變化而誕生，目前還沒有標準一致的定義。中國政府就政府采購電子化的含義指出，它是將政府采購基礎設施融合信息技術產生的在線管理、執行與報告等過程的應用[19]。專著《政府采購電子化理論探索與實踐》一書中闡明政府采購電子化是指政府部門采用順應時代的信息技術，確認各個部門采購工程、貨物和服務的一種政府采購形式，其沖出時間與空間的障礙，增強政府采購信息的透明度，幫助政府采購相關活動尋找捷徑[20]。政府網上采購的主體主要包括采購人、供應商和廠商、采購代理機構、政府采購的監督管理部門、平臺代理機構和第三方價格管理等，其中，采購人、采購代理機構、供應商與廠商在政府采購網上交易活動中享有相應的權利并承擔其義務，即政府采購當事人。政府網上采購協議商品主要是完成采購人與供應商網上交流并最終完成采購交易的過程。

.........

 

2.2 數據倉庫技術

數據倉庫的概念是在 20 世紀 80 年代由“數據倉庫之父”William. H. Inmon在“Building The Data Warehouse”（《建立數據倉庫》）一書中首次提出的，并被廣泛接受。他解釋的政府采購數據倉庫是一個面向應用主題的、相較穩定的、可以集成的、反映歷史數據變化的數據集，集中用于支持應用管理決策[22]。數據倉庫主要是將政府網上采購長期積累的海量采購數據，進行系統的分析整理，然后利用各分析方法進行復雜數據分析，幫助政府采購相關者從大量的采購信息中，快速有效地分析出有價值的采購知識，從而有利于相關政府采購決策者擬定并快速回應外在環境的變動[23]。

.........

 

3 搭建政府采購數據倉庫......21

3.1 搭建政府采購數據倉庫的目的...........21

3.2 政府采購網上交易資金數據來源.......22

3.3 政府采購網上交易資金數據結構分析.......22

3.4 政府采購數據倉庫的主題確定...........22

3.5 政府采購數據倉庫模型設計.......24

3.6 清洗、轉換和加載過程.......35

3.7 創建從屬數據集市.......37

4 政府網上采購交易資金數據挖掘分析......41

4.1 基于協議商品的政府網上采購需求分析...........41

4.2 政府網上采購交易資金挖掘概述.......45

4.3 基于文本挖掘的政府采購文本分析...........47

4.4 基于關聯規則算法的政府采購行為分析...........53

4.5 基于時間序列算法的網上交易資金預測分析...........62

4.6 本章小結.......69

5 結論與研究展望..........71

 

4 政府網上采購交易資金數據挖掘分析

 

數據挖掘方法眾多，不同應用對應不同方法。本節結合政府網上采購需求，從政府網上采購的四個階段系統概述網上交易資金數據挖掘方法和分析維度，但由于數據有限性和保密性，本節僅采用文本挖掘、關聯規則挖掘和時間序列算法這三種具體方法分別闡述文本信息、采購行為和交易規模的挖掘流程。

 

4.1 基于協議商品的政府網上采購需求分析

本節基于政府網上直接采購協議商品和詢價采購商品的交易流程及對政府網上采購現狀的調查分析，提出將對政府網上采購交易資金進行數據挖掘的分析需求。

 

4.1.1 政府網上采購協議商品的業務流程

政府采購電子交易平臺涉及到的主要角色包括采購人、供應商以及財政監督管理部門，通過該平臺完成商品的在線查找、網上訂單、網上合同，同時數據來源與合同結果、政府采購業務系統（網上申報系統）進行有效對接，實現政府采購數據信息共享。在整個政府網上采購協議商品業務流程中，首先政府采購人通過需求提交網上采購申請并由主管部門匯總審核采購申請，然后由財政業務科室審核申請的網上采購財政資金，再由政府采購科確定申請的采購方式和采購組織形式，最后由政府采購科根據政府采購人申請的具體網上采購內容下達網上采購計劃，并由國庫科據此網上采購資金申請生成網上采購用款計劃，待采購合同生成審核成功之后劃撥財政網上采購資金。政府網上采購協議商品的業務流程如圖 4.1 所示。由于政府采購網上交易模式分為直接采購和詢價采購，直接采購業務流程直接執行采購計劃即可，而詢價采購業務流程需要進行詢價信息發布、審核、開標、供應商報價、中標信息發布和生成訂單等采購步驟，相對比較復雜。政府網上詢價采購業務流程如圖 4.2 所示。

.......

 

結論

 

本研究根據數據倉庫、數據挖掘技術的理論方法與實踐操作相結合，初步完成了數據挖掘技術在政府采購網上交易模式的應用探索。本文主要開展了以下工作：（1）根據數據倉庫的設計方法，設計了政府采購數據倉庫的概念模型、邏輯模型、物理模型，建立了政府采購數據倉庫；（2）基于搭建的政府采購數據倉庫，根據應用分析建立了從屬數據集市；（3）分析了政府網上采購業務流程，根據網上交易流程中存在的實際應用問題，提出了政府網上采購資金數據挖掘的分析需求；（4）基于政府采購數據倉庫，應用文本挖掘、關聯規則挖掘和時間序列算法分別對政府采購文本數據、采購行為和資金交易規模進行了挖掘分析，并提出應用和相關建議。本研究僅對數據挖掘在政府采購網上交易模式中做了應用初探，對政府網上的分析需求還不夠深入，還需要后期深入調研，進一步提出更有價值的采購需求。對于數據挖掘方面的研究，還要付出更多的努力，以完成對數據挖掘分析的深入研究，在這方面，還需不斷的實踐和努力。

..........

參考文獻（略）