大數(shù)據(jù)來源、體量、類型、速度和量化的方式所帶來的變化,給統(tǒng)計(jì)思維也帶來新的挑戰(zhàn)。
從傳統(tǒng)數(shù)據(jù)分析到大數(shù)據(jù)分析,統(tǒng)計(jì)思維需要發(fā)生三方面的改變。①認(rèn)識(shí)數(shù)據(jù)思維的變化。需要將數(shù)據(jù)對(duì)象從結(jié)構(gòu)型數(shù)據(jù)擴(kuò)展到一切數(shù)據(jù),重新思考數(shù)據(jù)的定義和分類方法,并以此為基礎(chǔ)發(fā)展和創(chuàng)新統(tǒng)計(jì)分析方法。②收集數(shù)據(jù)。需要對(duì)數(shù)據(jù)進(jìn)行分類、篩選,有針對(duì)性地刪除垃圾數(shù)據(jù)、不重要或次重要的數(shù)據(jù)。此外,大數(shù)據(jù)庫還需要將不同的信息分散在不同的硬盤或計(jì)算機(jī)上,促使識(shí)別、整理、提煉、汲取、分配和存儲(chǔ)元數(shù)據(jù),便于后期實(shí)現(xiàn)數(shù)據(jù)的選取、調(diào)用、更新和匹配,成為重要的統(tǒng)計(jì)思考問題。③分析數(shù)據(jù)思維的變化。數(shù)據(jù)分析思維需要在統(tǒng)計(jì)分析過程、統(tǒng)計(jì)模型選擇、實(shí)證分析思路、推斷分析邏輯等方面發(fā)生變化,同時(shí)統(tǒng)計(jì)分析評(píng)價(jià)的標(biāo)準(zhǔn)也要有所調(diào)整。
關(guān)于大數(shù)據(jù)統(tǒng)計(jì)模型和方法的選取,應(yīng)避免越復(fù)雜越好的認(rèn)識(shí)。①一個(gè)正確的統(tǒng)計(jì)模型應(yīng)當(dāng)在形式上是簡(jiǎn)單的。②一個(gè)正確的統(tǒng)計(jì)模型開始時(shí)可能不如一個(gè)精雕細(xì)琢過的錯(cuò)誤模型更準(zhǔn)準(zhǔn)確,但是,如果認(rèn)定大方向是對(duì)的,就應(yīng)堅(jiān)持下去。③大量準(zhǔn)確的數(shù)據(jù)對(duì)研發(fā)統(tǒng)計(jì)模型很重要。④正確的統(tǒng)計(jì)模型也可能受噪聲干擾,指標(biāo)選取也許不夠準(zhǔn)確,但不應(yīng)該用一種湊合的修正方法加以彌補(bǔ),而要找到噪聲的根源。
聯(lián)系客服