序言：寫作是分享個人見解和探索未知領(lǐng)域的橋梁，我們?yōu)槟x了8篇的電商數(shù)據(jù)分析報告樣本，期待這些樣本能夠為您提供豐富的參考和啟發(fā)，請盡情閱讀。

第1篇

【關(guān)鍵詞】數(shù)據(jù)管控 元數(shù)據(jù) 數(shù)據(jù)質(zhì)量 數(shù)據(jù)生命周期 數(shù)據(jù)安全

中圖分類號：TP315 文獻標(biāo)識碼：B 文章編號：1006-1010（2014）-13-0010-05

1 引言

在大數(shù)據(jù)時代，數(shù)據(jù)是企業(yè)的核心戰(zhàn)略資產(chǎn)，隨著電信運營商大數(shù)據(jù)平臺建設(shè)和應(yīng)用的推廣，大數(shù)據(jù)的“5V”典型特征（Volume、Variety、Velocity、Veracity、Value）對現(xiàn)有的數(shù)據(jù)管控體系提出了新的挑戰(zhàn)[1-2]，數(shù)據(jù)不準(zhǔn)確、同一數(shù)據(jù)在多個系統(tǒng)或應(yīng)用中重復(fù)出現(xiàn)且不一致、數(shù)據(jù)定義或數(shù)據(jù)項缺失、數(shù)據(jù)屬性不完整、數(shù)據(jù)生成不及時、數(shù)據(jù)含義不清晰等“錯、重、缺、慢、亂”問題逐漸暴露，其原因主要來自以下4個方面：

（1）在信息體系方面，元數(shù)據(jù)平臺能力顯性化不足，數(shù)據(jù)生命周期管理分散。由于運營商大數(shù)據(jù)平臺的數(shù)據(jù)源來自于各個分散的內(nèi)部IT系統(tǒng)、業(yè)務(wù)平臺、通信網(wǎng)絡(luò)、互聯(lián)網(wǎng)和外部合作伙伴，元數(shù)據(jù)管理不全面且未平臺化，各數(shù)據(jù)源的系統(tǒng)信息架構(gòu)不一致，數(shù)據(jù)模型不固化，數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、不清晰，指標(biāo)口徑存在差異，數(shù)據(jù)加工規(guī)則、映射關(guān)系不準(zhǔn)確。

（2）在技術(shù)實現(xiàn)方面，缺乏貫穿數(shù)據(jù)流轉(zhuǎn)全程監(jiān)控平臺，主要依賴各分包廠商自行保障數(shù)據(jù)質(zhì)量，技術(shù)體系分散，無法銜接。總部對各省業(yè)務(wù)系統(tǒng)（數(shù)據(jù)源）環(huán)境了解不全面；數(shù)據(jù)采集過程存在數(shù)據(jù)傳輸延遲、數(shù)據(jù)傳輸失真的現(xiàn)象，缺乏數(shù)據(jù)稽核規(guī)則、數(shù)據(jù)異常處理規(guī)則；數(shù)據(jù)加工過程中，數(shù)據(jù)處理方法不合理，數(shù)據(jù)整合能力不強，數(shù)據(jù)服務(wù)缺乏節(jié)奏控制；數(shù)據(jù)后，缺少監(jiān)控及管理措施；此外，還缺乏有效的數(shù)據(jù)備份恢復(fù)機制；沒有平衡好數(shù)據(jù)安全、生產(chǎn)效率和使用方便之間的矛盾，對敏感數(shù)據(jù)的定義、范圍也有待規(guī)范化。

（3）在流程執(zhí)行方面，缺乏企業(yè)級數(shù)據(jù)質(zhì)量保障流程及考核機制，各廠商間的數(shù)據(jù)質(zhì)量管理項目流程缺乏協(xié)同。數(shù)據(jù)采集過程中，缺失數(shù)據(jù)錄入審核流程，存在部分省份人為調(diào)整數(shù)據(jù)的現(xiàn)象；數(shù)據(jù)流轉(zhuǎn)的流程不暢，部分省份數(shù)據(jù)上傳流程有問題；數(shù)據(jù)加工過程中，缺乏數(shù)據(jù)稽核流程，數(shù)據(jù)維護、調(diào)整流程執(zhí)行力不強，監(jiān)控不嚴格。

（4）在管理措施方面，缺乏企業(yè)級數(shù)據(jù)管控組織、責(zé)任和培訓(xùn)體系。缺乏人員獎懲機制，部分省份貫徹規(guī)范不力；人員培訓(xùn)不到位，基層人員缺乏相關(guān)技能，各省支撐能力存在差異。

為解決這些問題，運營商亟需完善其數(shù)據(jù)管控平臺，擴展數(shù)據(jù)管控能力，深入前移數(shù)據(jù)管控節(jié)點、完善數(shù)據(jù)管控范圍，建立起一套企業(yè)級的數(shù)據(jù)管控體系，實現(xiàn)企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)剛性落地，加強數(shù)據(jù)生產(chǎn)、加工、使用全過程的透明管控，有效預(yù)防、監(jiān)控、分析和處理數(shù)據(jù)質(zhì)量問題。

2 運營商企業(yè)級數(shù)據(jù)管控體系

電信運營商的企業(yè)級數(shù)據(jù)管控體系目標(biāo)是實現(xiàn)智能化、自動化的數(shù)據(jù)管控，從生產(chǎn)源頭進行監(jiān)控并提升數(shù)據(jù)質(zhì)量，實現(xiàn)企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)剛性落地、數(shù)據(jù)生產(chǎn)加工全過程透明管控，并具備質(zhì)量問題預(yù)測能力[3-5]。

數(shù)據(jù)管控體系可以分為管理域、核心域和支撐域這3個域，各個領(lǐng)域之間既相互聯(lián)系，又具有相對的獨立性，如圖1所示。其中，管理域?qū)崿F(xiàn)數(shù)據(jù)管控組織、崗位、流程的管理和考核；核心域?qū)崿F(xiàn)數(shù)據(jù)質(zhì)量問題的預(yù)防、監(jiān)控、分析和數(shù)據(jù)問題處理；通過支撐域完成底層技術(shù)實現(xiàn)，支撐域?qū)崿F(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)管理與元數(shù)據(jù)管理，是數(shù)據(jù)管控平臺的底層技術(shù)支撐。

對電信運營商而言，數(shù)據(jù)質(zhì)量問題是最大的痛點。數(shù)據(jù)質(zhì)量與其他管控領(lǐng)域的互動最為密切，因此建議運營商將數(shù)據(jù)管控以數(shù)據(jù)質(zhì)量為中心。數(shù)據(jù)質(zhì)量管理的目標(biāo)是實現(xiàn)從數(shù)據(jù)生成到數(shù)據(jù)加工及應(yīng)用全過程的透明管控，預(yù)防、監(jiān)控、分析、處理數(shù)據(jù)質(zhì)量問題。

數(shù)據(jù)質(zhì)量管理由數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)質(zhì)量問題分析和數(shù)據(jù)質(zhì)量問題處理構(gòu)成。

（1）數(shù)據(jù)質(zhì)量監(jiān)控主要包括：數(shù)據(jù)管控平臺與納管系統(tǒng)間的接口傳輸和采集監(jiān)控，實現(xiàn)接口文件級校驗、接口文件記錄級校驗和接口及時性監(jiān)控，對接口上傳數(shù)據(jù)是否及時（包括遲傳或者未傳）、接口上傳數(shù)據(jù)是否重傳、接口上傳數(shù)據(jù)重傳次數(shù)等進行監(jiān)控；指標(biāo)的邏輯性、完整性、一致性和及時性檢查以及波動監(jiān)控；統(tǒng)一編碼變更監(jiān)控、編碼映射關(guān)系變更監(jiān)控；模型變更監(jiān)控和模型一致性檢查；實體變更監(jiān)控、實體完整性監(jiān)控，監(jiān)控各個業(yè)務(wù)系統(tǒng)（特別是已經(jīng)正式上線運行的業(yè)務(wù)系統(tǒng)）數(shù)據(jù)庫的實體對象及其變更情況；數(shù)據(jù)加工、數(shù)據(jù)稽核、數(shù)據(jù)和頁面監(jiān)控等。

（2）數(shù)據(jù)質(zhì)量問題分析主要包括：數(shù)據(jù)質(zhì)量問題自動定位，根據(jù)數(shù)據(jù)加工過程鏈路關(guān)系圖、接口采集鏈路關(guān)系圖、數(shù)據(jù)稽核鏈路關(guān)系圖（按血緣關(guān)系配置）、編碼或?qū)嶓w鏈路關(guān)系圖（按血緣關(guān)系配置），設(shè)置重點監(jiān)控節(jié)點，并對重點監(jiān)控節(jié)點進行監(jiān)控預(yù)警規(guī)則配置，對出現(xiàn)質(zhì)量告警的節(jié)點進行數(shù)據(jù)質(zhì)量狀況分析以及血統(tǒng)分析，找到問題出現(xiàn)的根源節(jié)點，實現(xiàn)對數(shù)據(jù)質(zhì)量問題的快速定位。數(shù)據(jù)質(zhì)量問題分析，可采用編碼映射影響分析，指標(biāo)口徑影響分析，問題分析報告管理，數(shù)據(jù)質(zhì)量報告管理等。

（3）數(shù)據(jù)質(zhì)量問題處理則主要負責(zé)根據(jù)數(shù)據(jù)質(zhì)量問題報告的問題列表和問題明細列表，完成數(shù)據(jù)質(zhì)量問題工單的生成、分配、派發(fā)、接收、協(xié)同處理、反饋、結(jié)果評估和知識沉淀。數(shù)據(jù)質(zhì)量監(jiān)控如遇異常情況，會自動觸發(fā)質(zhì)量問題分析流程、數(shù)據(jù)問題處理流程以及通知流程，并支持數(shù)據(jù)質(zhì)量監(jiān)控報告的自動生成。

數(shù)據(jù)質(zhì)量管理及數(shù)據(jù)管控的關(guān)鍵點包括數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)生命周期管理和數(shù)據(jù)安全管理。

（1）數(shù)據(jù)標(biāo)準(zhǔn)管理的目標(biāo)是建設(shè)企業(yè)級的數(shù)據(jù)標(biāo)準(zhǔn)體系，規(guī)范企業(yè)數(shù)據(jù)管理流程和制度，在全企業(yè)各IT系統(tǒng)落地執(zhí)行，實現(xiàn)標(biāo)準(zhǔn)（包括基本指標(biāo)、維度、指標(biāo)樹、編碼、模型）管理、檢索和比對，以及標(biāo)準(zhǔn)執(zhí)行日常核查和應(yīng)用上線標(biāo)準(zhǔn)化審核等核心支撐能力。其中，應(yīng)用上線標(biāo)準(zhǔn)化審核是基于指標(biāo)比對、編碼比對和模型比對等功能，檢查、審核新上線應(yīng)用的指標(biāo)、編碼、模型等是否遵從企業(yè)的數(shù)據(jù)標(biāo)準(zhǔn)要求，從源頭上管控企業(yè)級數(shù)據(jù)標(biāo)準(zhǔn)的執(zhí)行。標(biāo)準(zhǔn)執(zhí)行日常核查則是從多個維度，針對已運行的納管生產(chǎn)系統(tǒng)選取抽樣的生產(chǎn)模型、編碼對象進行比對，實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化執(zhí)行結(jié)果的常態(tài)化檢查機制。

（2）元數(shù)據(jù)管理的目標(biāo)是顯性化支撐企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)化，提供元數(shù)據(jù)采集、信息維護和變更管理，以及元數(shù)據(jù)地圖分析、血統(tǒng)分析、影響分析、活躍度分析、冗余性分析和實體差異分析等元數(shù)據(jù)基礎(chǔ)應(yīng)用，為數(shù)據(jù)管控體系的數(shù)據(jù)導(dǎo)入、維護、質(zhì)量管理、數(shù)據(jù)分析提供基礎(chǔ)。

其中，數(shù)據(jù)地圖分析是以拓撲圖的形式對數(shù)據(jù)管控平臺納管系統(tǒng)的各類數(shù)據(jù)實體、數(shù)據(jù)處理過程的元數(shù)據(jù)進行分層次的圖形化展現(xiàn)，并通過不同層次的圖形展現(xiàn)粒度控制；血統(tǒng)分析幫助了解業(yè)務(wù)流程，檢查指標(biāo)數(shù)據(jù)，驗證指標(biāo)實際加工過程是否滿足指標(biāo)計算口徑的定義，達到對質(zhì)量進行輔助檢查的作用；影響分析幫助發(fā)現(xiàn)因某個實體發(fā)生變化或修改時可能會受到影響的實體，并評估這個范圍，進行優(yōu)化整理；活躍度分析顯示哪些指標(biāo)的運行效率、穩(wěn)定性等對系統(tǒng)的影響相對更大，需要重點保障，降低系統(tǒng)的風(fēng)險指數(shù)；冗余性分析從業(yè)務(wù)規(guī)則、實體定義、業(yè)務(wù)定義等元數(shù)據(jù)角度去審查數(shù)據(jù)是否冗余，并將冗余數(shù)據(jù)以列表的形式展示處理，并支持數(shù)據(jù)導(dǎo)出；實體差異分析實現(xiàn)2個實體屬性與血統(tǒng)鏈路圖的差異性比較，從而幫助客戶選擇合適的統(tǒng)計口徑。

（3）數(shù)據(jù)生命周期管理的目標(biāo)是將存儲分級管理規(guī)范化，降低成本，實現(xiàn)完善的遷移方案，規(guī)范生產(chǎn)應(yīng)用遷移需求，實現(xiàn)歸檔數(shù)據(jù)的自查詢能力，提升歷史高價值數(shù)據(jù)的再利用支撐能力。數(shù)據(jù)生命周期管理由配置管理、執(zhí)行管理和執(zhí)行監(jiān)控分析構(gòu)成。

配置管理包括：對象管理，確定數(shù)據(jù)生命周期管理的對象；要素管理，負責(zé)配置價值要素、時效要素、成本要素、風(fēng)險要素等；策略管理，配置數(shù)據(jù)的分級存儲策略（在線/近線/離線的階段和周期）、備份策略（時間、地址、對象、條件）、壓縮策略（壓縮對象、壓縮比、壓縮執(zhí)行時間）等；設(shè)備管理，維護管理被管控的數(shù)據(jù)對象所涉及的存儲設(shè)備信息；策略映射管理，將要素、策略和設(shè)備信息等映射到具體的數(shù)據(jù)對象上，形成最終可執(zhí)行的具體的數(shù)據(jù)生命周期管理規(guī)則。

執(zhí)行管理實現(xiàn)企業(yè)級的數(shù)據(jù)壓縮、備份、分級存儲、清理等數(shù)據(jù)生命周期過程的調(diào)度、執(zhí)行和控制管理。

執(zhí)行監(jiān)控分析主要對備份、分級存儲、壓縮等執(zhí)行結(jié)果進行顯性化監(jiān)控和分析，可對具體的數(shù)據(jù)對象的各種存儲分級狀態(tài)（在線/近線/離線）進行分析。

（4）數(shù)據(jù)安全管理的目標(biāo)是提升敏感數(shù)據(jù)訪問控制、保證系統(tǒng)操作安全、加強應(yīng)用訪問權(quán)限等能力，在不降低安全支撐能力的基礎(chǔ)上，提升數(shù)據(jù)提供效率。數(shù)據(jù)安全管理由權(quán)限管理、加密管理和數(shù)據(jù)安全日志分析構(gòu)成。權(quán)限管理包括數(shù)據(jù)用戶安全和開發(fā)/維護過程安全。加密管理包括關(guān)鍵數(shù)據(jù)加密管理、密鑰管理、加密內(nèi)容查詢和加密算法管理。數(shù)據(jù)安全日志分析包括敏感數(shù)據(jù)訪問分析、應(yīng)用訪問日志監(jiān)控、主機操作監(jiān)控、異常操作數(shù)據(jù)庫分析、數(shù)據(jù)操作監(jiān)控和異常下載預(yù)警等。

3 運營商數(shù)據(jù)管控組織架構(gòu)

對照電信運營商的企業(yè)組織架構(gòu)，數(shù)據(jù)管控建議采用“一級管理、二級維護、三級應(yīng)用”的模式，數(shù)據(jù)管控組織覆蓋集團總部和省分公司，包括數(shù)據(jù)管理域和生產(chǎn)業(yè)務(wù)域，組織架構(gòu)圖如圖2所示。

運營商數(shù)據(jù)管控組織架構(gòu)中各角色的職責(zé)如表1所示。

為保障數(shù)據(jù)管控工作的有序開展，需要建立相應(yīng)的數(shù)據(jù)管控流程、培訓(xùn)和考核制度，規(guī)范數(shù)據(jù)管控流程，定期開展數(shù)據(jù)管控培訓(xùn)，全面考核數(shù)據(jù)管控相關(guān)角色的支撐能力，確保數(shù)據(jù)質(zhì)量的可靠性、有效性和權(quán)威性。考核周期可以分為月度考核、季度考核、年度考核。在考核初期，考核人為被考核人制定考核計劃，明確考核內(nèi)容和考核規(guī)則，考核計劃需經(jīng)過被考核人確認和上級領(lǐng)導(dǎo)批準(zhǔn)；在考核期末，可以先由被考核人自評，然后考核人根據(jù)被考核人的表現(xiàn)和指標(biāo)，為考核人打分，考核結(jié)果經(jīng)過被考核人確認和上級領(lǐng)導(dǎo)批準(zhǔn)后生效，考核結(jié)果作為員工定崗、升職和獎金發(fā)放的依據(jù)。考核方式可以采用主觀考核和客觀考核2種方式，數(shù)據(jù)管控平臺能夠提供數(shù)據(jù)的內(nèi)容的，采用客觀量化考核，并由平臺周期性自動執(zhí)行，對于系統(tǒng)不能夠提供數(shù)據(jù)的內(nèi)容，由相關(guān)管理人員人工打分。

4 結(jié)束語

企業(yè)級數(shù)據(jù)管控體系的建立、完善和維護，在采用先進技術(shù)手段建立數(shù)據(jù)管控平臺的同時，更需要建立起配套的企業(yè)級數(shù)據(jù)管控組織、責(zé)任、流程、培訓(xùn)和考核體系。

鑒于運營商目前已經(jīng)累積了大量的數(shù)據(jù)管控問題并不斷產(chǎn)生新問題，需要分2步解決數(shù)據(jù)管控問題，一是數(shù)據(jù)管控環(huán)境初始化，有效解決歷史質(zhì)量問題，形成經(jīng)驗規(guī)則；二是在歷史經(jīng)驗規(guī)則的基礎(chǔ)上不斷優(yōu)化，這將是一個長期的過程，應(yīng)該得到領(lǐng)導(dǎo)層的高度重視和有效參與。

參考文獻：

[1] 童曉渝，張云勇，房秉毅，等. 大數(shù)據(jù)時代電信運營商的機遇[J]. 信息通信技術(shù)， 2013（1）： 6-9.

[2] 李勇，曹文娟. 電信運營商大數(shù)據(jù)策略的“攻”與“防”[J]. 通訊世界， 2013（4）： 39-40.

[3] 葉丹. 初探電信運營商數(shù)據(jù)管控體系[J]. 通信世界， 2009（43）： 12-13.

[4] 李曉東. 電力企業(yè)數(shù)據(jù)中心數(shù)據(jù)管控的研究與應(yīng)用[J]. 電力信息化， 2012（8）： 60-64.

[5] 賈紅龍. 論煙草行業(yè)數(shù)據(jù)中心建設(shè)中的數(shù)據(jù)質(zhì)量管理[J]. 信息技術(shù)與信息化， 2009（6）： 33-38.

作者簡介