數(shù)據(jù)質(zhì)量低，你會損失什么？
大數(shù)據(jù)是物聯(lián)網(wǎng)數(shù)據(jù)感知、云計(jì)算數(shù)據(jù)計(jì)算、三網(wǎng)融合數(shù)據(jù)服務(wù)實(shí)現(xiàn)的核心基礎(chǔ)。大數(shù)據(jù)時代的到來對學(xué)校存儲和管理數(shù)據(jù)、從數(shù)據(jù)中提取有價(jià)值的信息提出了挑戰(zhàn)。對大數(shù)據(jù)進(jìn)行有效分析的前提是必須要保證數(shù)據(jù)的質(zhì)量，專業(yè)的數(shù)據(jù)分析工具只有在高質(zhì)量的大數(shù)據(jù)環(huán)境中才能提取出隱含的、準(zhǔn)確的、有用的信息。
然而，由于大數(shù)據(jù)具有復(fù)雜、多樣、多變等特點(diǎn)，學(xué)校要想保證大數(shù)據(jù)的高質(zhì)量卻并非易事，數(shù)據(jù)質(zhì)量很難保證。下文重點(diǎn)從流程、技術(shù)和管理三方面來分析大數(shù)據(jù)環(huán)境下保證大數(shù)據(jù)質(zhì)量的挑戰(zhàn)及重要性。從流程的角度，可以將數(shù)據(jù)生產(chǎn)過程分為數(shù)據(jù)收集、數(shù)據(jù)存儲和數(shù)據(jù)使用三個階段，三個階段對保證大數(shù)據(jù)質(zhì)量分別提出了不同的挑戰(zhàn)。大數(shù)據(jù)的多樣性決定了數(shù)據(jù)來源的復(fù)雜性。大數(shù)據(jù)的數(shù)據(jù)來源眾多，數(shù)據(jù)結(jié)構(gòu)隨著數(shù)據(jù)來源的不同而各異，學(xué)校要想保證從多個數(shù)據(jù)源獲取的結(jié)構(gòu)復(fù)雜的大數(shù)據(jù)的質(zhì)量并有效地對數(shù)據(jù)進(jìn)行整合，是一項(xiàng)艱巨的任務(wù)。來自于大量不同數(shù)據(jù)源的數(shù)據(jù)之間存在著沖突、不一致或相互矛盾的現(xiàn)象。在數(shù)據(jù)獲取階段保證數(shù)據(jù)定義的一致性、元數(shù)據(jù)定義的統(tǒng)一性及數(shù)據(jù)質(zhì)量是大數(shù)據(jù)為各學(xué)校提出的挑戰(zhàn)。另外，由于大數(shù)據(jù)的變化速度較快，有些數(shù)據(jù)的“有效期”非常短，如果沒有實(shí)時地收集所需的數(shù)據(jù)，有可能收集到的就是“過期的”、無效的數(shù)據(jù)，在一定程度上會影響大數(shù)據(jù)的質(zhì)量。數(shù)據(jù)收集階段是整個數(shù)據(jù)生命周期的開始，這個階段的數(shù)據(jù)質(zhì)量對后續(xù)階段的數(shù)據(jù)質(zhì)量起著直接的決定性的影響。因此，學(xué)校應(yīng)該重視源頭上的大數(shù)據(jù)質(zhì)量問題，為大數(shù)據(jù)的分析和應(yīng)用提供高質(zhì)量的數(shù)據(jù)基礎(chǔ)。由于大數(shù)據(jù)的多樣性，單一的數(shù)據(jù)結(jié)構(gòu)已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足大數(shù)據(jù)存儲的需要，學(xué)校應(yīng)該使用專門的數(shù)據(jù)庫技術(shù)和專用的數(shù)據(jù)存儲設(shè)備進(jìn)行大數(shù)據(jù)的存儲，保證數(shù)據(jù)存儲的有效性。數(shù)據(jù)存儲是實(shí)現(xiàn)高水平數(shù)據(jù)質(zhì)量的基本保障，如果數(shù)據(jù)不能被一致、完整、有效的存儲，數(shù)據(jù)質(zhì)量將無從談起。因此，學(xué)校要想充分挖掘大數(shù)據(jù)的核心價(jià)值，首先必須完成傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)存儲處理方式向同時兼具結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)存儲處理方式的轉(zhuǎn)變，不斷完善大數(shù)據(jù)環(huán)境下高校數(shù)據(jù)庫的建設(shè)，為保證大數(shù)據(jù)質(zhì)量提供基礎(chǔ)保障。同時，學(xué)校應(yīng)該根據(jù)大數(shù)據(jù)結(jié)構(gòu)的要求和特點(diǎn)合理地設(shè)計(jì)數(shù)據(jù)存儲和使用規(guī)則，以方便對數(shù)據(jù)的快速讀取。如果數(shù)據(jù)存儲不合理，不僅會浪費(fèi)系統(tǒng)的存儲空間，而且還會給后期的數(shù)據(jù)使用帶來極大的不便，甚至?xí)a(chǎn)生錯誤、無效的數(shù)據(jù)，難以保證數(shù)據(jù)質(zhì)量。數(shù)據(jù)價(jià)值的發(fā)揮在于對數(shù)據(jù)的有效分析和應(yīng)用，大數(shù)據(jù)涉及的使用人員眾多，很多時候是同步地、不斷地對數(shù)據(jù)進(jìn)行提取、分析、更新和使用。舉例來說，由于大數(shù)據(jù)規(guī)模龐大、變化速度快，對數(shù)據(jù)的處理速度要求較高，如果數(shù)據(jù)處理不及時，有些變化速度快的數(shù)據(jù)就失去了其最有價(jià)值的階段。本文的技術(shù)視角主要是指從數(shù)據(jù)庫技術(shù)、數(shù)據(jù)質(zhì)量監(jiān)控技術(shù)、數(shù)據(jù)分析技術(shù)的角度來研究保證大數(shù)據(jù)質(zhì)量的挑戰(zhàn)及其重要性。大數(shù)據(jù)及其相關(guān)分析技術(shù)的應(yīng)用能夠?yàn)閷W(xué)校提供更加準(zhǔn)確的預(yù)測信息、更好的決策基礎(chǔ)以及更精準(zhǔn)的干預(yù)政策，然而如果大數(shù)據(jù)的數(shù)據(jù)質(zhì)量不高，所有這些優(yōu)勢都將化為泡影。在大數(shù)據(jù)時代，學(xué)校的數(shù)據(jù)量不僅巨大，而且數(shù)據(jù)結(jié)構(gòu)種類繁多，數(shù)據(jù)之間的關(guān)系也較為復(fù)雜，若要識別、檢測大數(shù)據(jù)中錯誤、缺失、無效、延遲的數(shù)據(jù)，往往需要遍歷數(shù)百萬甚至數(shù)億條記錄或語句，從這個角度來講，大數(shù)據(jù)環(huán)境為數(shù)據(jù)質(zhì)量的監(jiān)控和管理帶來了巨大的挑戰(zhàn)。這種情況下，這就要求各學(xué)校應(yīng)根據(jù)實(shí)際業(yè)務(wù)的需要，在配備高效的數(shù)據(jù)存儲設(shè)備的同時，開發(fā)、設(shè)計(jì)或引進(jìn)先進(jìn)的、智能化的、專業(yè)的大數(shù)據(jù)分析技術(shù)和方法，以實(shí)現(xiàn)大數(shù)據(jù)中數(shù)據(jù)質(zhì)量問題的監(jiān)控，以及對大數(shù)據(jù)的整合、分析、可視化等操作，充分地提取、挖掘大數(shù)據(jù)潛在的應(yīng)用價(jià)值。管理視角主要探討學(xué)校高層管理者、專業(yè)管理和技術(shù)分析人員對保證大數(shù)據(jù)質(zhì)量的重要性。首先，大數(shù)據(jù)的管理需要高層管理者的重視和支持。只有這樣，一系列跟大數(shù)據(jù)有關(guān)的應(yīng)用及發(fā)展規(guī)劃才能有望得到推動，保證大數(shù)據(jù)質(zhì)量的各項(xiàng)規(guī)章制度才能得到順利的貫徹和落實(shí)。如果高層管理者缺乏大數(shù)據(jù)意識以及對大數(shù)據(jù)價(jià)值的正確理解，通常會給大數(shù)據(jù)管理帶來阻礙。缺少高層管理者的支持，學(xué)校對大數(shù)據(jù)管理、分析和應(yīng)用的重視程度就會有所降低，大數(shù)據(jù)的質(zhì)量就無法得到全面、有效的保證，從而將會大大弱化大數(shù)據(jù)價(jià)值的發(fā)揮。因此，企業(yè)應(yīng)該在高層管理的領(lǐng)導(dǎo)和帶領(lǐng)下，加強(qiáng)大數(shù)據(jù)質(zhì)量意識，建立完善的數(shù)據(jù)質(zhì)量保證制度。其次，專業(yè)數(shù)據(jù)管理人員的配備是保證大數(shù)據(jù)質(zhì)量不可或缺的部分。由于大數(shù)據(jù)本身的復(fù)雜性增加了大數(shù)據(jù)管理的難度，既懂得數(shù)據(jù)分析技術(shù)，同時又諳熟學(xué)校各項(xiàng)業(yè)務(wù)的新型復(fù)合型管理人員是當(dāng)下應(yīng)用大數(shù)據(jù)方案最急需的人才，而首席數(shù)據(jù)官( Chief Data Officer，CDO) 就是這類人才的典型代表。任命 CDO 來專門負(fù)責(zé)大數(shù)據(jù)所有權(quán)管理、定義元數(shù)據(jù)標(biāo)準(zhǔn)、制定并實(shí)施大數(shù)據(jù)管理決策等一系列活動是十分必要的。此外，在大數(shù)據(jù)生產(chǎn)過程的任何一個環(huán)節(jié)，學(xué)校都應(yīng)該配備相應(yīng)的專業(yè)人員，通過熟悉掌握數(shù)據(jù)的產(chǎn)生流程進(jìn)行數(shù)據(jù)質(zhì)量的監(jiān)控，例如在數(shù)據(jù)獲取階段，應(yīng)指定專門人員負(fù)責(zé)記錄定義并記錄元數(shù)據(jù)，以便于數(shù)據(jù)的解釋，保證學(xué)校各管理部門人員對數(shù)據(jù)的一致、正確理解，保證大數(shù)據(jù)源頭的質(zhì)量。像互聯(lián)網(wǎng)、云計(jì)算以及物聯(lián)網(wǎng)等技術(shù)一樣，大數(shù)據(jù)時代的到來勢必會再次讓信息技術(shù)領(lǐng)域煥然一新。如何保證大數(shù)據(jù)的質(zhì)量，如何提取并利用隱藏在大數(shù)據(jù)中的信息以完善學(xué)校信息系統(tǒng)、提升數(shù)據(jù)決策能力，成為教育信息化領(lǐng)域從業(yè)人員必須面對的問題。因此，從數(shù)據(jù)收集、數(shù)據(jù)存儲到數(shù)據(jù)使用，學(xué)校必須制定詳細(xì)、縝密的數(shù)據(jù)質(zhì)量管理制度，在數(shù)據(jù)庫設(shè)計(jì)時要考慮各個方面可能發(fā)生的種種意外情形，利用專門的數(shù)據(jù)質(zhì)量監(jiān)控系統(tǒng)和可視化平臺，任命專業(yè)的數(shù)據(jù)管理人才加強(qiáng)對大數(shù)據(jù)的管理，提高學(xué)校內(nèi)部的數(shù)據(jù)質(zhì)量管理意識，以保證大數(shù)據(jù)的數(shù)據(jù)質(zhì)量，從而挖掘出更多準(zhǔn)確、有效、有價(jià)值的信息。作者：宗威、吳鋒
圖片來源：網(wǎng)絡(luò)
內(nèi)容來源：中國教育信息化（ID：zgjyxxh）
1. 優(yōu)學(xué)云測評推出培訓(xùn)機(jī)構(gòu)個性化教學(xué)解決方案
2. 優(yōu)學(xué)云測評推出中小學(xué)校個性化教學(xué)解決方案
3. 優(yōu)學(xué)云測評推出招生平臺流量提升方案
4. 優(yōu)學(xué)云測評推出企業(yè)人才發(fā)展平臺解決方案——人才庫管理
5. 優(yōu)學(xué)云測評幫助個性化教育成為現(xiàn)實(shí)
優(yōu)學(xué)云測評精選的每一篇文章都會注明來源和作者（除非找不到），文章版權(quán)歸原作者所有，若有侵犯權(quán)益，請聯(lián)系我們刪除。本文所述內(nèi)容僅代表作者觀點(diǎn)，不代表優(yōu)學(xué)云測評立場。對于本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、準(zhǔn)確性和合法性本公眾號不作任何保證或承諾。