金融企業(yè)早期的IT發(fā)展以應(yīng)用系統(tǒng)建設(shè)為主，應(yīng)用系統(tǒng)的主要功能是為了編制業(yè)務(wù)報(bào)表，這時(shí)候的特征是“記錄型”系統(tǒng)，各業(yè)務(wù)部門站在支持本部門工作的角度，提出系統(tǒng)建設(shè)需求，數(shù)據(jù)來(lái)源通常大多只涉及本部門，系統(tǒng)開(kāi)發(fā)表現(xiàn)為“輕數(shù)據(jù)、重功能”，業(yè)務(wù)數(shù)據(jù)是“信息孤島型”的。

隨著IT對(duì)業(yè)務(wù)的支撐能力增強(qiáng)，跨部門跨系統(tǒng)的協(xié)作增強(qiáng)，需要的是企業(yè)全局整體層面的共享型數(shù)據(jù)，早期建立的部門級(jí)、孤島型的系統(tǒng)和數(shù)據(jù)越來(lái)越不能滿足業(yè)務(wù)發(fā)展需要。數(shù)據(jù)質(zhì)量的問(wèn)題也日益影響數(shù)據(jù)統(tǒng)計(jì)分析的質(zhì)量，包括數(shù)據(jù)邏輯問(wèn)題，數(shù)據(jù)準(zhǔn)確性問(wèn)題，重復(fù)記錄問(wèn)題，數(shù)據(jù)缺失問(wèn)題等。在業(yè)務(wù)操作和管理層面，數(shù)據(jù)質(zhì)量問(wèn)題不僅影響單個(gè)業(yè)務(wù)正常開(kāi)展，還會(huì)影響與該業(yè)務(wù)相關(guān)的企業(yè)業(yè)務(wù)順利開(kāi)展；在決策層面，數(shù)據(jù)質(zhì)量問(wèn)題會(huì)影響到管理層的決策依據(jù)是否準(zhǔn)確、客觀。

那么評(píng)價(jià)數(shù)據(jù)質(zhì)量的標(biāo)準(zhǔn)是什么呢？經(jīng)過(guò)業(yè)界十多年的實(shí)踐經(jīng)驗(yàn)積累，數(shù)據(jù)質(zhì)量可以用以下因素來(lái)度量，包括完整性、規(guī)范性、一致性、準(zhǔn)確性、唯一性和關(guān)聯(lián)性。如下圖所示：

▌第一步 評(píng)估企業(yè)數(shù)據(jù)質(zhì)量

如何提高數(shù)據(jù)質(zhì)量，第一步是要對(duì)企業(yè)數(shù)據(jù)進(jìn)行評(píng)估，從以下方面分析數(shù)據(jù)的質(zhì)量：

完整性：所有必須的數(shù)據(jù)都存在嗎？

符合性：數(shù)據(jù)都是以標(biāo)準(zhǔn)格式存儲(chǔ)的嗎？哪些數(shù)據(jù)是非標(biāo)準(zhǔn)數(shù)據(jù)？

一致性：數(shù)據(jù)與其代表的業(yè)務(wù)含義是否一致，哪些信息是自相矛盾的？

準(zhǔn)確性：數(shù)據(jù)準(zhǔn)確表示數(shù)據(jù)是否經(jīng)過(guò)審核或者數(shù)據(jù)有可驗(yàn)證途徑？

重復(fù)性：哪些數(shù)據(jù)記錄是重復(fù)記錄的，重復(fù)記錄的原因是什么？

關(guān)聯(lián)性：數(shù)據(jù)的重要關(guān)聯(lián)關(guān)系是否記錄，而是準(zhǔn)確的？

時(shí)效性：數(shù)據(jù)的壽命是否滿足用戶要求？

針對(duì)以上幾個(gè)方面，客戶評(píng)價(jià)企業(yè)數(shù)據(jù)的質(zhì)量狀況，以及影響分析。

▌第二步 識(shí)別影響數(shù)據(jù)質(zhì)量的因素

數(shù)據(jù)質(zhì)量是數(shù)據(jù)分析和數(shù)據(jù)價(jià)值進(jìn)一步挖掘的基礎(chǔ)，沒(méi)有良好的數(shù)據(jù)質(zhì)量基礎(chǔ)，近年來(lái)比較熱門的管理駕駛艙、大數(shù)據(jù)分析等就成了空中樓閣，基礎(chǔ)數(shù)據(jù)的不準(zhǔn)確直接導(dǎo)致分析結(jié)論的不準(zhǔn)確，那么，影響數(shù)據(jù)質(zhì)量的因素有哪些呢？

根據(jù)統(tǒng)計(jì)分析，造成數(shù)據(jù)質(zhì)量不佳的原因包括數(shù)據(jù)產(chǎn)生環(huán)節(jié)（也稱數(shù)據(jù)源環(huán)節(jié)）和數(shù)據(jù)加工環(huán)節(jié)，具體如下：

1 ▏缺乏企業(yè)級(jí)的數(shù)據(jù)標(biāo)準(zhǔn)

由于缺乏統(tǒng)一企業(yè)級(jí)數(shù)據(jù)標(biāo)準(zhǔn)，造成不同部門對(duì)相同信息項(xiàng)的業(yè)務(wù)含義理解的不一致，比如賬戶余額，有的理解為期末余額，有的理解為期初余額。數(shù)據(jù)背后的業(yè)務(wù)含義不一致，直接導(dǎo)致統(tǒng)計(jì)結(jié)果的大相徑庭。

2 ▏員工錄入信息不準(zhǔn)確

導(dǎo)致員工錄入信息不準(zhǔn)確主要是兩個(gè)因素：

第一個(gè)因素，缺乏統(tǒng)一的錄入標(biāo)準(zhǔn)和約束。比如客戶名稱，企業(yè)沒(méi)有規(guī)定對(duì)公客戶的名稱是企業(yè)營(yíng)業(yè)執(zhí)照的全名，這樣會(huì)導(dǎo)致出現(xiàn)各種不同的簡(jiǎn)稱。

第二個(gè)因素，由于員工錄入時(shí)引入了錯(cuò)誤的信息，書(shū)寫(xiě)錯(cuò)誤，比如身份證號(hào)碼填寫(xiě)錯(cuò)誤；或者信息理解錯(cuò)誤，比如金額單位，直接把元看成萬(wàn)元；或者收集的信息不正確。

3 ▏新舊系統(tǒng)切換或數(shù)據(jù)的ETL過(guò)程問(wèn)題

數(shù)據(jù)新舊系統(tǒng)切換，以及數(shù)據(jù)的抽取、轉(zhuǎn)換和加載環(huán)節(jié)造成技術(shù)錯(cuò)誤和非技術(shù)錯(cuò)誤，包括數(shù)據(jù)的重復(fù)抽取、數(shù)據(jù)加載轉(zhuǎn)換規(guī)則錯(cuò)誤等。

企業(yè)在引用了數(shù)據(jù)質(zhì)量不佳的外部數(shù)據(jù)。

4 ▏客戶數(shù)據(jù)

客戶錄入的信息不準(zhǔn)確。

5 ▏系統(tǒng)改造

系統(tǒng)改造時(shí)，數(shù)據(jù)的孤立修改，影響到上下游數(shù)據(jù)問(wèn)題。

企業(yè)可對(duì)照上述的幾個(gè)方面，識(shí)別出造成數(shù)據(jù)質(zhì)量不佳的根本原因，進(jìn)行有針對(duì)性的數(shù)據(jù)質(zhì)量提升。

▌第三步 建立企業(yè)級(jí)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)

無(wú)論是數(shù)據(jù)統(tǒng)計(jì)，還是大數(shù)據(jù)分析，建立企業(yè)級(jí)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)是提高數(shù)據(jù)質(zhì)量不可避免的環(huán)節(jié)。

人們發(fā)現(xiàn)，從部門級(jí)視角建立的系統(tǒng)，各系統(tǒng)的數(shù)據(jù)定義、數(shù)據(jù)采集自成體系，孤島型數(shù)據(jù)的數(shù)據(jù)價(jià)值很難發(fā)揮出來(lái)，呈現(xiàn)出內(nèi)部數(shù)據(jù)交換和外部數(shù)據(jù)交換兩方面的問(wèn)題。內(nèi)部數(shù)據(jù)交換問(wèn)題表現(xiàn)在同一信息在不同的系統(tǒng)需要重復(fù)錄入；跨系統(tǒng)的數(shù)據(jù)定義存在二義性，相同業(yè)務(wù)含義的數(shù)據(jù)在不同系統(tǒng)中表現(xiàn)形式不同，不同業(yè)務(wù)含義的數(shù)據(jù)在不同系統(tǒng)表現(xiàn)上相同，造成數(shù)據(jù)統(tǒng)計(jì)、分析的困難和不準(zhǔn)確。外部數(shù)據(jù)交換問(wèn)題表現(xiàn)在當(dāng)需要與上級(jí)部門和子公司交換信息時(shí)，由于數(shù)據(jù)定義的不統(tǒng)一，造成數(shù)據(jù)報(bào)表需要手工作業(yè)。

以客戶名稱為例，由于缺乏統(tǒng)一的數(shù)據(jù)規(guī)范，客戶名稱在系統(tǒng)中錄入的簡(jiǎn)稱隨意，同一用戶的名稱繁多，造成用戶管理和用戶市場(chǎng)策略不能順利推行。

數(shù)據(jù)標(biāo)準(zhǔn)是為了使企業(yè)內(nèi)外部使用和交換的數(shù)據(jù)是一致和準(zhǔn)確的，經(jīng)協(xié)商一致制定并由相關(guān)主管機(jī)構(gòu)批準(zhǔn)，共同使用和重復(fù)使用的一種規(guī)范性文件。數(shù)據(jù)標(biāo)準(zhǔn)化是通過(guò)一整套的數(shù)據(jù)規(guī)范、管控流程和技術(shù)工具來(lái)確保銀行的各種重要信息，包括產(chǎn)品、客戶、機(jī)構(gòu)、財(cái)務(wù)、項(xiàng)目等在全企業(yè)內(nèi)外的使用和交換都是一致、準(zhǔn)確的過(guò)程。

數(shù)據(jù)標(biāo)準(zhǔn)化體系三要素：

數(shù)據(jù)標(biāo)準(zhǔn)字典，描述數(shù)據(jù)信息項(xiàng)的業(yè)務(wù)屬性、技術(shù)屬性和管理屬性，業(yè)務(wù)屬性包括信息項(xiàng)中文名稱、英文名稱、業(yè)務(wù)含義、使用       規(guī)則；技術(shù)屬性包括數(shù)據(jù)類型和長(zhǎng)度等；管理數(shù)據(jù)包括數(shù)據(jù)標(biāo)準(zhǔn)的管理部門、管理責(zé)任人、源系統(tǒng)等。

數(shù)據(jù)標(biāo)準(zhǔn)管理規(guī)范和流程，為數(shù)據(jù)標(biāo)準(zhǔn)持續(xù)有效更新維護(hù)，以及數(shù)據(jù)標(biāo)準(zhǔn)落地執(zhí)行保駕護(hù)航。

數(shù)據(jù)標(biāo)準(zhǔn)管理系統(tǒng)，提供數(shù)據(jù)標(biāo)準(zhǔn)查詢和內(nèi)容維護(hù)，以及數(shù)據(jù)標(biāo)準(zhǔn)在數(shù)據(jù)結(jié)構(gòu)中的檢核機(jī)制。

▌第四步 數(shù)據(jù)標(biāo)準(zhǔn)落地執(zhí)行

數(shù)據(jù)標(biāo)準(zhǔn)的落地包括兩個(gè)層面，一個(gè)是業(yè)務(wù)層面落地，二是IT層面。

數(shù)據(jù)標(biāo)準(zhǔn)在業(yè)務(wù)層面落地，是數(shù)據(jù)標(biāo)準(zhǔn)落地的關(guān)鍵環(huán)節(jié)。包括

業(yè)務(wù)部門在制定管理規(guī)范和工作手冊(cè)時(shí)，信息項(xiàng)名稱和業(yè)務(wù)含義，要與數(shù)據(jù)標(biāo)準(zhǔn)一致。

業(yè)務(wù)人員在進(jìn)行信息項(xiàng)錄入的時(shí)候，數(shù)據(jù)內(nèi)容要與業(yè)務(wù)含義一致。

業(yè)務(wù)人員在提系統(tǒng)建設(shè)需求時(shí)，信息項(xiàng)名稱、業(yè)務(wù)含義應(yīng)與數(shù)據(jù)標(biāo)準(zhǔn)一致。

在IT層面的落地，包括新系統(tǒng)建設(shè)和老系統(tǒng)改造。新系統(tǒng)建設(shè)時(shí)，系統(tǒng)數(shù)據(jù)模型，以及數(shù)據(jù)庫(kù)字段設(shè)計(jì)都應(yīng)遵從數(shù)據(jù)標(biāo)準(zhǔn)；老系統(tǒng)改造，是指原有系統(tǒng)根據(jù)業(yè)務(wù)需求，對(duì)關(guān)鍵業(yè)務(wù)指標(biāo)進(jìn)行改造。老系統(tǒng)中的信息項(xiàng)與數(shù)據(jù)標(biāo)準(zhǔn)檢核，結(jié)果是標(biāo)準(zhǔn)遵從、部分遵從和不遵從，對(duì)于部分遵從和不遵從的部分，進(jìn)行修改、合并、分拆或刪除，使之與標(biāo)準(zhǔn)一致。在制定數(shù)據(jù)標(biāo)準(zhǔn)改造方案時(shí)，要對(duì)上下游數(shù)據(jù)的影響進(jìn)行判斷，及時(shí)通知上下游系統(tǒng)數(shù)據(jù)項(xiàng)的變化，共同分析變化的影響以及應(yīng)對(duì)措施。

數(shù)據(jù)標(biāo)準(zhǔn)的落地和執(zhí)行，讓數(shù)據(jù)有章可循，有規(guī)則可依，可以極大地提高數(shù)據(jù)質(zhì)量。

▌第五步 建立以元數(shù)據(jù)為基礎(chǔ)的數(shù)據(jù)質(zhì)量體系

簡(jiǎn)單地說(shuō)，元數(shù)據(jù)是數(shù)據(jù)的數(shù)據(jù)，也就是數(shù)據(jù)的屬性。數(shù)據(jù)庫(kù)中的錄入的數(shù)值，比如金額3，它不是孤立的數(shù)值，而是有其業(yè)務(wù)含義和使用規(guī)則，也即業(yè)務(wù)屬性，只有在明確其業(yè)務(wù)屬性的情況下，才能對(duì)其進(jìn)行分析和利用。此外，它還有技術(shù)屬性、管理屬性、上下游關(guān)系等。

采用元數(shù)據(jù)管理的方法，即數(shù)據(jù)屬性管理的辦法，將數(shù)據(jù)的業(yè)務(wù)屬性、技術(shù)屬性和管理屬性明確下來(lái)，這樣明確的業(yè)務(wù)屬性可以消除業(yè)務(wù)二義性；統(tǒng)一的技術(shù)屬性有利于數(shù)據(jù)的邏輯集中；明確的管理屬性有利于數(shù)據(jù)質(zhì)量職責(zé)清晰，管理責(zé)任清晰。

另外，建立元數(shù)據(jù)為基礎(chǔ)的表級(jí)血統(tǒng)分析、影響分析，字段級(jí)血統(tǒng)分析、影響分析，明確數(shù)據(jù)之間的上下游關(guān)系，一方面便于對(duì)數(shù)據(jù)進(jìn)行影響分析，另一方面，便于數(shù)據(jù)的維護(hù)和故障排查。

▌第六步 數(shù)據(jù)質(zhì)量檢核和持續(xù)完善

針對(duì)企業(yè)數(shù)據(jù)質(zhì)量問(wèn)題產(chǎn)生，可以從以下方面提升數(shù)據(jù)質(zhì)量：

1 ▏針對(duì)員工錄入問(wèn)題，可以制定數(shù)據(jù)檢核規(guī)則，持續(xù)進(jìn)行數(shù)據(jù)質(zhì)量檢核

對(duì)于數(shù)據(jù)錄入的邏輯錯(cuò)誤，設(shè)置檢核規(guī)則，比如首筆貸款發(fā)放時(shí)間不能早于合同簽訂時(shí)間。對(duì)于員工輸入筆誤，比如身份證信息，用身份證檢核規(guī)則進(jìn)行檢查。對(duì)于用戶名稱輸入不準(zhǔn)確的情況，可以與用戶標(biāo)準(zhǔn)庫(kù)的用戶名稱進(jìn)行比對(duì)，檢查其是否與標(biāo)準(zhǔn)名稱相符。

針對(duì)員工信息掌握不準(zhǔn)確的問(wèn)題，從流程審核上進(jìn)行控制，關(guān)鍵數(shù)據(jù)和信息輸入需要有人員審核，也就是將記錄型系統(tǒng)改造成流程型系統(tǒng)。

另外，在應(yīng)用系統(tǒng)的輸入頁(yè)面，增加輸入項(xiàng)解釋、非空判斷，對(duì)于其它系統(tǒng)里已有的信息，通過(guò)建立關(guān)聯(lián)關(guān)系導(dǎo)入系統(tǒng)，避免重復(fù)錄入。員工填寫(xiě)信息時(shí)，盡量地讓用戶對(duì)輸入信息進(jìn)行選擇，而不是完全手工輸入信息。

2 ▏新舊系統(tǒng)切換或數(shù)據(jù)的ETL過(guò)程問(wèn)題

新舊系統(tǒng)切換時(shí)，仔細(xì)分析新舊系統(tǒng)數(shù)據(jù)項(xiàng)的業(yè)務(wù)含義，識(shí)別出具有二義性的信息項(xiàng)，比如不同系統(tǒng)中相同的名稱，其業(yè)務(wù)含義不一樣，對(duì)這樣的信息要進(jìn)行仔細(xì)分析。同時(shí)，避免重復(fù)導(dǎo)入，避免技術(shù)問(wèn)題引入問(wèn)題數(shù)據(jù)。

3 ▏客戶數(shù)據(jù)錄入

客戶數(shù)據(jù)錄入時(shí)，增加對(duì)錄入數(shù)據(jù)的判斷和檢查。對(duì)于可以標(biāo)準(zhǔn)化枚舉的信息項(xiàng)，盡量讓客戶選擇，而不是手工輸入，這樣保證數(shù)據(jù)的規(guī)范性。

4 ▏系統(tǒng)改造

建立以元數(shù)據(jù)為基礎(chǔ)的數(shù)據(jù)血緣分析，當(dāng)系統(tǒng)改造時(shí)，采用該工具分析系統(tǒng)改造對(duì)本系統(tǒng)數(shù)據(jù)的影響，以及上下游的關(guān)聯(lián)影響。

總之，數(shù)據(jù)質(zhì)量管理貫穿數(shù)據(jù)的全生命周期，是一個(gè)長(zhǎng)期的、需要持續(xù)開(kāi)展的工作，需要業(yè)務(wù)人員和技術(shù)人員共同努力，才能獲得高質(zhì)量的數(shù)據(jù)，滿足數(shù)據(jù)的完整性、規(guī)范性、一致性、準(zhǔn)確性、唯一性和關(guān)聯(lián)性需求，持續(xù)提升企業(yè)的數(shù)據(jù)價(jià)值，支持業(yè)務(wù)管理和業(yè)務(wù)決策。

想了解更多IT資訊，請(qǐng)?jiān)L問(wèn)中培偉業(yè)官網(wǎng)：中培偉業(yè)