對于超級菜鳥來說,首要任務(wù)是要了解什么是數(shù)據(jù)分析?
數(shù)據(jù)分析是一種從數(shù)據(jù)中獲取洞見,并驅(qū)動商業(yè)決策的知識發(fā)現(xiàn)行為。
這里分兩點來講,一是如何從數(shù)據(jù)中獲取洞見?數(shù)據(jù)往往是冰冷的,不會說話,作為專業(yè)的數(shù)據(jù)分析人員,無疑是要具備非常豐富的業(yè)務(wù)知識,才能通過數(shù)據(jù)知道已經(jīng)發(fā)生了什么?即將要發(fā)生什么?諸如python、excel、Fine BI是實現(xiàn)數(shù)據(jù)分析挖掘的重要工具,很多初學(xué)者往往重視工具,而忽略作為數(shù)據(jù)分析人員應(yīng)該要具備的專業(yè)素養(yǎng)。
二是如何驅(qū)動商業(yè)決策?這可能不是普通數(shù)據(jù)分析師所能決定的層面,但作為優(yōu)秀的數(shù)據(jù)分析人員,需要具備敏銳的商業(yè)眼光。單純的數(shù)據(jù)分析結(jié)果是沒有任何助益的,將分析結(jié)果與真實場景結(jié)合,產(chǎn)生有指導(dǎo)性的結(jié)論,才是一個數(shù)據(jù)分析師的價值所在。
我知道,大家很在意怎么去學(xué)習(xí)數(shù)據(jù)分析過程,對于python、R、sql、tableau、FineBI等等充滿了疑惑和向往,這也是我當(dāng)初接觸數(shù)據(jù)分析時候的心態(tài)。很多東西要學(xué),該學(xué)哪一樣?怎么學(xué)習(xí)?學(xué)到什么程度?下面就要講到數(shù)據(jù)分析工具。
一般來說,如果想要成為高階的數(shù)據(jù)分析師,至少要掌握三類工具——自助式BI工具、取數(shù)工具、編程語言。這三類工具的選型標(biāo)準(zhǔn)都是不一樣的,對于超級菜鳥來說,優(yōu)先級是先學(xué)會自助式工具,保證能夠盡快上手?jǐn)?shù)據(jù)分析,掌握數(shù)據(jù)分析的基本知識;其次,再學(xué)一種取數(shù)工具,接觸數(shù)據(jù)庫的概念;最后,再高一等級要學(xué)會編程,甚至是數(shù)據(jù)分析庫,具體選型我下面一一介紹。
1、自助式BI工具
什么叫做自助式分析工具呢?其實很簡單,就是專門面向業(yè)務(wù)人員的BI分析工具,可以完全擺脫IT人的束縛,對于超級菜鳥來說,學(xué)習(xí)成本和門檻也比較低,能夠很容易上手,獨立完成數(shù)據(jù)分析工作。
這里我推薦FineBI,它是一種能連接各類數(shù)據(jù)源,對原始數(shù)據(jù)(尤其是大數(shù)據(jù)量)進行快速分析,制作明細(xì)報表和酷炫可視化圖表的工具,在IT信息部門分類準(zhǔn)備好數(shù)據(jù)業(yè)務(wù)包的前提下,給與數(shù)據(jù),讓業(yè)務(wù)人員或領(lǐng)導(dǎo)自行分析,滿足即席數(shù)據(jù)分析需求,是分析型產(chǎn)品。
其實FineBI的使用感同Tableau類似,都主張可視化的探索性分析,有點像加強版的數(shù)據(jù)透視表。上手簡單,可視化庫豐富。可以充當(dāng)數(shù)據(jù)報表的門戶,也可以充當(dāng)各業(yè)務(wù)分析的平臺。
而對于新手來說,F(xiàn)ineBI的學(xué)習(xí)難度比較低,但是分析性能很強大,更重要的是個人版免費,完全可以支持個人進行自助式分析;即使你已經(jīng)成為了企業(yè)的數(shù)據(jù)分析師,仍然需要FineBI來脫離IT部門,去IT化是一種大趨勢,所以說不得不學(xué)。
(下載鏈接見文末)
2、取數(shù)工具
一般企業(yè)的數(shù)據(jù)保存在本地數(shù)據(jù)庫或者公有云里,有的會采用mysql、oracle、mongodb等,有的會采用hbase、parquet等。我會建議初學(xué)者把sql學(xué)精,有余力者可以看看hbase、parquet等大數(shù)據(jù)存儲方式。
sql是數(shù)據(jù)領(lǐng)域最常用的語言,無論是hive、spark、flink都支持sql,以至于機器學(xué)習(xí)也支持sql,像阿里開源的sqlflow。sql永不落伍。
3、編程語言
Python和R是數(shù)據(jù)分析領(lǐng)域的絕代雙驕,我覺得這兩個都適合作為數(shù)據(jù)分析的核心語言,但最好選擇一個來學(xué)。
由于很多咨詢我的人問的都是關(guān)于python的問題,我自己也是在用python工作,所以這里講一下用python來做數(shù)據(jù)分析的利與弊。
python這幾年的火爆程度堪稱編程界的小鮮肉,雖然它誕生也快30年了,但風(fēng)頭正勁。作為一門高級編程語言,python除了不善于開發(fā)底層應(yīng)用,幾乎可以做任何事情。拿數(shù)據(jù)分析來說,從數(shù)據(jù)庫操作、數(shù)據(jù)IO、數(shù)據(jù)清洗、數(shù)據(jù)可視化,到機器學(xué)習(xí)、批量處理、腳本編寫、模型優(yōu)化、深度學(xué)習(xí),python都能完美地完成,而且提供了不同的庫供你選擇。
除此之外,Jupyter notebook是進行數(shù)據(jù)分析非常優(yōu)秀的交互式工具,為初學(xué)者提供了方便的實驗平臺。
4、數(shù)據(jù)分析庫
除了上面提高的三類工具,其實還有一類數(shù)據(jù)分析庫,是比較適合高等數(shù)據(jù)分析師的,如果你還是一名剛剛?cè)腴T的新手,可以忽略這一小節(jié)的內(nèi)容。
pandas是一款不斷進步的python數(shù)據(jù)科學(xué)庫,它的數(shù)據(jù)結(jié)構(gòu)十分適合做數(shù)據(jù)處理,并且pandas納入了大量分析函數(shù)方法,以及常用統(tǒng)計學(xué)模型、可視化處理。如果你使用python做數(shù)據(jù)分析,在數(shù)據(jù)預(yù)處理的過程,幾乎九成的工作需要使用pandas完成。
numpy是python的數(shù)值計算庫,包括pandas之類的很多分析庫都建立在numpy基礎(chǔ)上。
numpy的核心功能包括:
numpy之于數(shù)值計算特別重要是因為它可以高效處理大數(shù)組的數(shù)據(jù)。這是因為:
matplotlib和seaborn是python主要的可視化工具,建議大家都去學(xué)學(xué),數(shù)據(jù)的展現(xiàn)和數(shù)據(jù)分析同樣重要。
sklearn和keras,sklearn是python機器學(xué)庫,涵蓋了大部分機器學(xué)習(xí)模型。keras是深度學(xué)習(xí)庫,它包含高效的數(shù)值庫Theano和TensorFlow。?