CDA level I考試大綱 Part1 數(shù)據(jù)分析概念與統(tǒng)計(jì)學(xué)基礎(chǔ) 占考試比例的30%；
共分5個(gè)知識(shí)方向，考試占比分布如下：數(shù)據(jù)分析概念，方法論 流程 5% 描述性統(tǒng)計(jì)分析 12% 推斷性統(tǒng)計(jì)分析8% 方差分析2% 一元線性回歸分析3%；
第1個(gè)知識(shí)方向的筆記，數(shù)據(jù)分析概念，方法論 流程，再考試題目中出題概率占5%；
一、數(shù)據(jù)分析概念
目標(biāo)：以數(shù)據(jù)為分析對(duì)象，以探索數(shù)據(jù)內(nèi)的有用信息為主要途徑，以解決業(yè)務(wù)需求為最終目標(biāo)而建立的一整套分析流程
流程：業(yè)務(wù)理解，數(shù)據(jù)采集，數(shù)據(jù)清洗，數(shù)據(jù)探索，數(shù)據(jù)可視化，數(shù)據(jù)建模，模型結(jié)果可視化，分析結(jié)果的業(yè)務(wù)應(yīng)用；
目的：是為業(yè)務(wù)發(fā)展答疑解惑；
分析層次：描述了 過去發(fā)生了什么，現(xiàn)在正在發(fā)生什么以及未來可能發(fā)生什么。
分析級(jí)別：常規(guī)報(bào)表，即席查詢，多維分析，警報(bào)；描述階段 統(tǒng)計(jì)分析，預(yù)報(bào)（時(shí)間序列預(yù)測(cè)），預(yù)測(cè)型模型（預(yù)測(cè)性 prdictive模型），優(yōu)化；挖掘階段
數(shù)據(jù)挖掘（Data mining）是一個(gè)跨學(xué)科的計(jì)算機(jī)科學(xué)分支，是用人工智能，機(jī)器學(xué)習(xí)，統(tǒng)計(jì)學(xué)和數(shù)據(jù)庫的交叉方法在相對(duì)較大型的數(shù)據(jù)集中發(fā)現(xiàn)模式的計(jì)算過程。
大數(shù)據(jù)對(duì)傳統(tǒng)小數(shù)據(jù)分析的拓展及區(qū)別聯(lián)系： 數(shù)據(jù)上：小數(shù)據(jù)重抽樣，大數(shù)據(jù)重全體；
方法上：小數(shù)據(jù)重實(shí)證，大數(shù)據(jù)重優(yōu)化；
目標(biāo)上：小數(shù)據(jù)重解釋，大數(shù)據(jù)重預(yù)測(cè)；
數(shù)據(jù)分析目標(biāo)的意義過程及本質(zhì)： 數(shù)據(jù)分析涉及到公司運(yùn)營的方方面面；重頭戲是客戶和市場(chǎng)。
二、數(shù)據(jù)分析的方法論：
CRISP-DM：將數(shù)據(jù)挖掘項(xiàng)目生命周期分為6個(gè)階段
業(yè)務(wù)理解(Business understanding）
數(shù)據(jù)理解（Data Understanding）
數(shù)據(jù)準(zhǔn)備（Data preparation）
建模（modeling）
模型評(píng)估（evaluation）
模型發(fā)布（deployment）
SEMMA：SAS公司根據(jù)CRISP-DM進(jìn)行了拓展,將數(shù)據(jù)分析分為了5個(gè)步驟：
數(shù)據(jù)整理（sample）構(gòu)造分析用的到的數(shù)據(jù)，將散落在內(nèi)部和外部的數(shù)據(jù)進(jìn)行整合。
樣本探索（explore）對(duì)數(shù)據(jù)質(zhì)量進(jìn)行探索。變量質(zhì)量：錯(cuò)誤值，恰當(dāng)性，缺失值，一致性，平穩(wěn)性，重復(fù)值，及時(shí)性）變量錯(cuò)誤時(shí) 是否可以修改，是否可以使用的問題
變量修改（modify）數(shù)據(jù)質(zhì)量問題的修改涉及：改正錯(cuò)誤編碼，缺失值填補(bǔ)，單位統(tǒng)一等操作，變量分布情況的修改涉及：函數(shù)轉(zhuǎn)換和標(biāo)準(zhǔn)化方法。
建模（model）選取合適的模型
模型檢驗(yàn)（assess）模型樣本內(nèi)驗(yàn)證
三、數(shù)據(jù)分析師在業(yè)務(wù)流程中的作用角色和職責(zé)：
數(shù)據(jù)分析師在業(yè)務(wù)與數(shù)據(jù)間起到協(xié)調(diào)的作用，是業(yè)務(wù)問題能否成功轉(zhuǎn)換成統(tǒng)計(jì)問題的關(guān)鍵。協(xié)調(diào)者，數(shù)據(jù)分析師，報(bào)告人的角色決定了數(shù)據(jù)分析師是一名綜合性人才。
大綱要求熟知領(lǐng)會(huì)知識(shí)點(diǎn)：衡量數(shù)據(jù)集中趨勢(shì)，離中趨勢(shì)和數(shù)據(jù)分布的常用指標(biāo)及計(jì)算方法；統(tǒng)計(jì)圖形的繪制 元素調(diào)整，可視化效果---條形圖，線圖，直方圖，盒須圖，散點(diǎn)圖，氣泡圖，馬賽克圖，玫瑰圖 明確統(tǒng)計(jì)圖形對(duì)統(tǒng)計(jì)指標(biāo)表達(dá)上的對(duì)應(yīng)關(guān)系。
一、數(shù)據(jù)的計(jì)量尺度：
計(jì)量分類：名義測(cè)量：（nominal measurement）最低的測(cè)量等級(jí)，這類變量一般不做高低大小區(qū)分，數(shù)值僅代表某些分類和屬性。
次序測(cè)量：（ordinal measurement）量化水平高于名義測(cè)量，數(shù)值代表了一些有序分類，具有一定的順序性
連續(xù)變量測(cè)量（間距測(cè)量）：（interval measurement）量化程度更高一些。取值不再是類的編碼，采用了一定單位的實(shí)際測(cè)量值?？蛇M(jìn)行加減運(yùn)算。不能乘除。0值不是物理上的絕對(duì)0；
連續(xù)變量測(cè)量（比例測(cè)量）：（ratio measurement）最高級(jí)的測(cè)量等級(jí)，具有間距測(cè)量額所有性質(zhì)，且0值有物理上的絕對(duì)意義，可以進(jìn)行加減乘除。
變量分類：分類變量：通?？梢詸z查變量的 眾數(shù)，分類取值的百分比間的差別大小，有無太小的比例（異常值）
頻次：每個(gè)水平出現(xiàn)的次數(shù)
百分比：每個(gè)水平出現(xiàn)的頻數(shù)/總數(shù)
累積頻次與累積百分比：僅對(duì)于次序變量有意義，分別計(jì)算累積頻次和百分比
順序變量：眾數(shù)，頻次，百分比，累積頻次與百分比，四分位差
連續(xù)變量：中心水平，離散程度，偏度和峰度
以上變量順序量化水平是由低到高的，低水平變量統(tǒng)計(jì)量可以用于高水平，但高水平統(tǒng)計(jì)量不一定能用于低水平。
二、中心水平：
統(tǒng)計(jì)量：均值，中位數(shù)和眾數(shù)；
眾數(shù)：出現(xiàn)次數(shù)最多的變量值?？赡軟]有或者有幾個(gè)眾數(shù)。
中位數(shù)：排序后處于中間位置的值，一定要先排序，一般用M表示
均值（四分位數(shù)）：定義方式類似于中位數(shù)，中位數(shù) 百分之50對(duì)應(yīng)的數(shù)值。Q1稱為下四分位數(shù)，Q3稱為上四分位數(shù)，Q2稱為中位數(shù)。
均值（算數(shù)平均數(shù)）：樣本平均數(shù)：X拔=樣本之和除以樣本數(shù)量n 總體平均數(shù)：μ=總體數(shù)據(jù)之和除以總體數(shù)量N
均值（加權(quán)平均數(shù)）：樣本加權(quán)平均數(shù)：x拔=樣本乘以權(quán)重后的加和除以權(quán)重之和=樣本乘以權(quán)重后的加和除以樣本數(shù)量n 總體加權(quán)平均數(shù)：μ=樣本乘以權(quán)重后加和除以權(quán)重之和=樣本乘以權(quán)重后的加和除以整體數(shù)量N
均值（幾何平均數(shù)）：適用于計(jì)算比率數(shù)據(jù)的平均，主要用于計(jì)算平均增長率。G=所有數(shù)據(jù)乘積后開n次方；
眾數(shù)和中位數(shù)不易受到極端值得影響，平均數(shù)易受到極端值得影響。
眾數(shù)和中位數(shù)適合在非對(duì)稱情況下使用，眾數(shù)不是唯一的。
三、離散程度：
當(dāng)知道一個(gè)變量的中心水平后，還想知道這個(gè)指標(biāo)到底有多大的代表性。 如果變量變化范圍特別小，甚至是常數(shù)，這個(gè)水平變量就非常有代表意義。
離散程度度量指標(biāo)：異眾比率：非眾數(shù)組的頻數(shù)占總頻數(shù)的比例；r=1-（眾數(shù)頻數(shù)/總體頻數(shù)）主要用于測(cè)量分類變量的離散程度。
極差：最大值減去最小值
四分位差：上分位數(shù)減去下分位數(shù)；Q3-Q1=IQR
方差：總體方差：σ方=（樣本值-總體平均數(shù)μ）的平方之和除以總體數(shù)量N；
樣本方差：S方=（樣本值-樣本平均數(shù)X拔）的平方之和除以(樣本數(shù)量n-1)；
標(biāo)準(zhǔn)差：總體標(biāo)準(zhǔn)差 σ=總體方差σ方開平方；
樣本標(biāo)準(zhǔn)差S=樣本方差S方開平方；
方差在統(tǒng)計(jì)學(xué)中也稱二階中心距，實(shí)際是每個(gè)取值到均值之間的距離均值。標(biāo)準(zhǔn)差是描述分析中使用最多的。
零階矩表示這些點(diǎn)的 總概率（也就是1）；
一階矩表示 期望；
二階（中心）矩表示 方差；
三階（中心）矩表示 偏斜度；
四階（中心）矩表示 峰度
偏度：用戶刻畫偏態(tài)的程度（統(tǒng)計(jì)數(shù)據(jù)峰值與平均值不相等的頻率分布）。
偏態(tài)有兩種情況： 左偏，變量在負(fù)的方向有嚴(yán)重拖尾，從小到大排序如下：mean（平均數(shù)）median（中位數(shù)）mode（眾數(shù)）
右偏，在正的方向有嚴(yán)重拖尾。從小到大排序如下：mode（眾數(shù)）median（中位數(shù)）mean（平均數(shù)）
峰度：變量向兩邊拖尾的情況。相比正態(tài)分布，變量是尖峰的， 超過2倍標(biāo)準(zhǔn)差數(shù)值的概論會(huì)大于5%；超過3倍標(biāo)準(zhǔn)差數(shù)值的概論會(huì)大于1%；表明出現(xiàn)較大偏離值的可能性提高了。
正態(tài)分布 峰度系數(shù)=3，厚尾（峰度值>3）尖峰，瘦尾（峰度值<3）平頂
四、統(tǒng)計(jì)圖形繪制，圖形元素調(diào)整 可視化效果與應(yīng)用
條形圖： 很好的展現(xiàn)變量分布情況。但是連續(xù)變量不可能做出條形圖。
盒須圖： 箱線圖，提供了中位數(shù)，均值，上下分位點(diǎn)的信息?？梢粤私庾兞康闹行乃?，也可以了解變量的變化范圍。 內(nèi)限：最大值和最小值；最大值為 上分位點(diǎn)加上1.5倍的內(nèi)分位距（IQR）最小值 下分位點(diǎn)-1.5倍的內(nèi)分位距 超過1.5倍的內(nèi)分位距的取值稱為異常值，或離群值。 IQR=Q3-Q1;
玫瑰圖： 南丁格爾玫瑰圖。 它可以用轉(zhuǎn)角，扇形面積，以及顏色展現(xiàn)數(shù)據(jù)的不同維度。
聯(lián)系客服
