導讀：在Python中，進行數(shù)據(jù)分析的一個主要工具就是Pandas。Pandas是Wes McKinney在大型對沖基金AQR公司工作時開發(fā)的，后來該工具開源了，主要由社區(qū)進行維護和更新。

Pandas具有NumPy的ndarray所不具有的很多功能，比如集成時間序列、按軸對齊數(shù)據(jù)、處理缺失數(shù)據(jù)等常用功能。Pandas最初是針對金融分析而開發(fā)的，所以很適合用于量化投資。

作者：趙志強 劉志偉

來源：華章科技

在使用Pandas之前，需要導入Pandas包。慣例是將pandas簡寫為pd，命令如下：

Pandas包含兩個主要的數(shù)據(jù)結(jié)構(gòu)：Series和DataFrame。其中最常用的是DataFrame，下面我們先來學習一下DataFrame。

01 DataFrame入門

DataFrame是一個表格型的數(shù)據(jù)結(jié)構(gòu)。每列都可以是不同的數(shù)據(jù)類型（數(shù)值、字符串、布爾值等）。

DataFrame既有行索引也有列索引，這兩種索引在DataFrame的實現(xiàn)上，本質(zhì)上是一樣的。但在使用的時候，往往是將列索引作為區(qū)分不同數(shù)據(jù)的標簽。DataFrame的數(shù)據(jù)結(jié)構(gòu)與SQL數(shù)據(jù)表或者Excel工作表的結(jié)構(gòu)非常類似，可以很方便地互相轉(zhuǎn)換。

下面先來創(chuàng)建一個DataFrame，一種常用的方式是使用字典，這個字典是由等長的list或者ndarray組成的，示例代碼如下：

data={'A':['x','y','z'],'B':[1000,2000,3000],'C':[10,20,30]}df=pd.DataFrame(data,index=['a','b','c'])df

運行結(jié)果如圖3-2所示。

▲圖3-2

我們可以看到，DataFrame主要由如下三個部分組成。

• 數(shù)據(jù)，位于表格正中間的9個數(shù)據(jù)就是DataFrame的數(shù)據(jù)部分。
• 索引，最左邊的a、b、c是索引，代表每一行數(shù)據(jù)的標識。這里的索引是顯式指定的。如果沒有指定，會自動生成從0開始的數(shù)字索引。
• 列標簽，表頭的A、B、C就是標簽部分，代表了每一列的名稱。

下文列出了DataFrame函數(shù)常用的參數(shù)。其中，“類似列表”代表類似列表的形式，比如列表、元組、ndarray等。一般來說，data、index、columns這三個參數(shù)的使用頻率是最高的。

• data：ndarray/字典/類似列表 | DataFrame數(shù)據(jù)；數(shù)據(jù)類型可以是ndarray、嵌套列表、字典等
• index：索引/類似列表 | 使用的索引；默認值為range(n)
• columns：索引/類似列表 | 使用的列標簽；默認值為range(n)
• dtype：dtype | 使用（強制）的數(shù)據(jù)類型；否則通過推導得出；默認值為None
• copy：布爾值 | 從輸入復制數(shù)據(jù)；默認值為False

其中data的數(shù)據(jù)類型有很多種。

下文列舉了可以作為data傳給DataFrame函數(shù)的數(shù)據(jù)類型。

可以傳給DataFrame構(gòu)造器的數(shù)據(jù)：

• 二維ndarray：可以自行指定索引和列標簽
• 嵌套列表或者元組：類似于二維ndarray
• 數(shù)據(jù)、列表或元組組成的字典：每個序列變成一列。所有序列長度必須相同
• 由Series組成的字典：每個Series會成為一列。如果沒有指定索引，各Series的索引會被合并
• 另一個DataFrame：該DataFrame的索引將會被沿用

前面生成了一個DataFrame，變量名為df。下面我們來查看一下df的各個屬性值。

獲取df數(shù)據(jù)的示例代碼如下：

輸出結(jié)果如下：

array([['x', 1000, 10],       ['y', 2000, 20],       ['z', 3000, 30]], dtype=object)

獲取df行索引的示例代碼如下：

輸出結(jié)果如下：

Index(['a', 'b', 'c'], dtype='object')

獲取df列索引（列標簽）的示例代碼如下：

輸出結(jié)果如下：

Index(['A', 'B', 'C'], dtype='object')

可以看到，行索引和列標簽都是Index數(shù)據(jù)類型。

創(chuàng)建的時候，如果指定了列標簽，那么DataFrame的列也會按照指定的順序進行排列，示例代碼如下：

運行結(jié)果如圖3-3所示。

▲圖3-3

如果某列不存在，為其賦值，會創(chuàng)建一個新列。我們可以用這種方法來添加一個新的列：

df['D']=10df

運行結(jié)果如圖3-4所示。

▲圖3-4

使用del命令可以刪除列，示例代碼如下：

運行結(jié)果如圖3-5所示。

▲圖3-5

添加行的一種方法是先創(chuàng)建一個DataFrame，然后再使用append方法，代碼如下：

new_df=pd.DataFrame({'A':'new','B':4000,'C':40},index=['d'])df=df.append(new_df)df

運行結(jié)果如圖3-6所示。

▲圖3-6

或者也可以使用loc方法來添加行，示例代碼如下：

運行結(jié)果如圖3-7所示。

▲圖3-7

loc方法將在后面的內(nèi)容中詳細介紹。

索引的存在，使得Pandas在處理缺漏信息的時候非常靈活。下面的示例代碼會新建一個DataFrame數(shù)據(jù)df2。

df2=pd.DataFrame([1,2,3,4,5],index=['a','b','c','d','z'],columns=['E'])df2

運行結(jié)果如圖3-8所示。

▲圖3-8

如果現(xiàn)在想要合并df和df2，使得df有一個新的列E，那么可以使用join方法，代碼如下：

運行結(jié)果如圖3-9所示。

▲圖3-9

可以看到，df只接受索引已經(jīng)存在的值。由于df2中沒有索引e，所以是NaN值，而且df2索引為z的值已經(jīng)丟失了。為了保留df2中索引為z的值，我們可以提供一個參數(shù)，告訴Pandas如何連接。示例代碼如下：

df.join(df2,how='outer')

運行結(jié)果如圖3-10所示。

▲圖3-10

在上述代碼中，how='outer'表示使用兩個索引中所有值的并集。連接操作的其他選項還有inner（索引的交集）、left（默認值，調(diào)用方法的對象的索引值）、right（被連接對象的索引值）等。

在金融數(shù)據(jù)分析中，我們要分析的往往是時間序列數(shù)據(jù)。下面介紹一下如何基于時間序列生成DataFrame。為了創(chuàng)建時間序列數(shù)據(jù)，我們需要一個時間索引。這里先生成一個DatetimeIndex對象的日期序列，代碼如下：

輸出結(jié)果如下：

DatetimeIndex(['2016-01-01', '2016-01-02', '2016-01-03', '2016-01-04',               '2016-01-05', '2016-01-06', '2016-01-07', '2016-01-08'],dtype='da                   tetime64[ns]', freq='D')

可以看到，使用Pandas的date_range函數(shù)生成的是一個DatetimeIndex對象。date_range函數(shù)的參數(shù)及說明如下所示：

• start：字符串/日期時間 | 開始日期；默認為None
• end：字符串/日期時間 | 結(jié)束日期；默認為None
• periods：整數(shù)/None | 如果start或者end空缺，就必須指定；從start開始，生成periods日期數(shù)據(jù)；默認為None
• freq：dtype | 周期；默認是D，即周期為一天。也可以寫成類似5H的形式，即5小時。其他的頻率參數(shù)見下文
• tz：字符串/None | 本地化索引的時區(qū)名稱
• normalize：布爾值 | 將start和end規(guī)范化為午夜；默認為False
• name：字符串 | 生成的索引名稱

date_range函數(shù)頻率的參數(shù)及說明如下所示：

• B：交易日
• C：自定義交易日（試驗中）
• D：日歷日
• W：每周
• M：每月底
• SM：半個月頻率（15號和月底）
• BM：每個月份最后一個交易日
• CBM：自定義每個交易月
• MS：日歷月初
• SMS：月初開始的半月頻率（1號，15號）
• BMS：交易月初
• CBMS：自定義交易月初
• Q：季度末
• BQ：交易季度末
• QS：季度初
• BQS：交易季度初
• A：年末
• BA：交易年度末
• AS：年初
• BAS：交易年度初
• BH：交易小時
• H：小時
• T，min：分鐘
• S：秒
• L，ms：毫秒
• U，us：微秒
• N：納秒

接下來，我們再基于dates來創(chuàng)建DataFrame，代碼如下：

運行結(jié)果如圖3-11所示。

▲圖3-11

有了df，我們就可以使用多個基于DataFrame的內(nèi)建方法了，下面來看看相關(guān)的示例。

按列求總和，代碼如下：

df.sum()

輸出結(jié)果如下：

按列求均值，代碼如下：

df.mean()

輸出結(jié)果如下：

按列求累計總和，代碼如下：

df.cumsum()

運行結(jié)果如圖3-12所示。

▲圖3-12

使用describe一鍵生成多種統(tǒng)計數(shù)據(jù)，代碼如下：

運行結(jié)果如圖3-13所示。

▲圖3-13

可以根據(jù)某一列的值進行排序，代碼如下：

df.sort_values('A')

運行結(jié)果如圖3-14所示。

▲圖3-14

根據(jù)索引（日期）排序（這里是倒序），代碼如下：

運行結(jié)果如圖3-15所示。

▲圖3-15

選取某一列，返回的是Series對象，可以使用df.A，代碼如下：

df['A']

輸出結(jié)果如下：

使用[]選取某幾行，代碼如下：

df[0:5]

運行結(jié)果如圖3-16所示。

▲圖3-16

根據(jù)標簽（Label）選取數(shù)據(jù)，使用的是loc方法，代碼如下：

輸出結(jié)果如下：

A   -1.142350B   -1.999351C    0.772343D   -0.851840Name: 2016-01-01 00:00:00, dtype: float64

再來看兩個示例代碼。

運行結(jié)果如圖3-17所示。

▲圖3-17

df.loc['20160102':'20160106',['A','C']]

運行結(jié)果如圖3-18所示。

▲圖3-18

需要注意的是，如果只有一個時間點，那么返回的值是Series對象，代碼如下：

輸出結(jié)果如下：

A   -0.816178C   -0.595195Name: 2016-01-02 00:00:00, dtype: float64

如果想要獲取DataFrame對象，需要使用如下命令：

運行結(jié)果如圖3-19所示。

▲圖3-19

上面介紹的是loc方法，是按標簽（索引）來選取數(shù)據(jù)的。有時候，我們會希望按照DataFrame的絕對位置來獲取數(shù)據(jù)，比如，如果想要獲取第3行第2列的數(shù)據(jù)，但不想按標簽（索引）獲取，那么這時候就可以使用iloc方法。

根據(jù)位置選取數(shù)據(jù)，代碼如下：

df.iloc[2]

輸出結(jié)果如下：

再來看一個示例：

df.iloc[3:6,1:3]

運行結(jié)果如圖3-20所示。

▲圖3-20

注意：對于DataFrame數(shù)據(jù)類型，可以使用[]運算符來進行選取，這也是最符合習慣的。但是，對于工業(yè)代碼，推薦使用loc、iloc等方法。因為這些方法是經(jīng)過優(yōu)化的，擁有更好的性能。

有時，我們需要選取滿足一定條件的數(shù)據(jù)。這個時候可以使用條件表達式來選取數(shù)據(jù)。這時傳給df的既不是標簽，也不是絕對位置，而是布爾數(shù)組（Boolean Array）。下面來看一下示例。

例如，尋找A列中值大于0的行。首先，生成一個布爾數(shù)組，代碼如下：

輸出結(jié)果如下：

2016-01-01    False2016-01-02    False2016-01-03     True2016-01-04     True2016-01-05     True2016-01-06     True2016-01-07     True2016-01-08    FalseFreq: D, Name: A, dtype: bool

可以看到，這里生成了一個Series類型的布爾數(shù)組?？梢酝ㄟ^這個數(shù)組來選取對應(yīng)的行，代碼如下：

運行結(jié)果如圖3-21所示。

▲圖3-21

從結(jié)果可以看到，A列中值大于0的所有行都被選擇出來了，同時也包括了BCD列。

現(xiàn)在我們要尋找df中所有大于0的數(shù)據(jù)，先生成一個全數(shù)組的布爾值，代碼如下：

df>0

運行結(jié)果如圖3-22所示。

▲圖3-22

下面來看一下使用df>0選取出來的數(shù)據(jù)效果。由圖3-23可以看到，大于0的數(shù)據(jù)都能顯示，其他數(shù)據(jù)顯示為NaN值。

運行結(jié)果如圖3-23所示。

▲圖3-23

再來看一下如何改變df的值。首先我們?yōu)閐f添加新的一列E，代碼如下：

df['E']=0df

運行結(jié)果如圖3-24所示。

▲圖3-24

使用loc改變一列值，代碼如下：

運行結(jié)果如圖3-25所示。

▲圖3-25

使用loc改變單個值，代碼如下：

df.loc['2016-01-01','E'] = 2df

運行結(jié)果如圖3-26所示。

▲圖3-26

使用loc改變一列值，代碼如下：

運行結(jié)果如圖3-27所示。

▲圖3-27

可以看到，使用loc的時候，x索引和y索引都必須是標簽值。對于這個例子，使用日期索引明顯不方便，需要輸入較長的字符串，所以使用絕對位置會更好。這里可以使用混合方法，DataFrame可以使用ix來進行混合索引。比如，行索引使用絕對位置，列索引使用標簽，代碼如下：

df.ix[1,'E'] = 3df

運行結(jié)果如圖3-28所示。

▲圖3-28

ix的處理方式是，對于整數(shù)，先假設(shè)為標簽索引，并進行尋找；如果找不到，就作為絕對位置索引進行尋找。所以運行效率上會稍差一些，但好處是這樣操作比較方便。

對于ix的用法，需要注意如下兩點。

• 假如索引本身就是整數(shù)類型，那么ix只會使用標簽索引，而不會使用位置索引，即使沒能在索引中找到相應(yīng)的值（這個時候會報錯）。
• 如果索引既有整數(shù)類型，也有其他類型（比如字符串），那么ix對于整數(shù)會直接使用位置索引，但對于其他類型（比如字符串）則會使用標簽索引。

總的來說，除非想用混合索引，否則建議只使用loc或者iloc來進行索引，這樣可以避免很多問題。

02 Series

Series類似于一維數(shù)組，由一組數(shù)據(jù)以及相關(guān)的數(shù)據(jù)標簽（索引）組成。示例代碼如下：

Out:

0    11    42    63    24    3

在這段代碼中，我們首先導入pandas并命名為pd，然后向Series函數(shù)傳入一個列表，生成一個Series對象。在輸出Series對象的時候，左邊一列是索引，右邊一列是值。由于沒有指定索引，因此會自動創(chuàng)建0到（N-1）的整數(shù)索引。也可以通過Series的values和index屬性獲取其值和索引。示例代碼如下：

Out:

array([1, 4, 6, 2, 3], dtype=int64)

Out:

Int64Index([0, 1, 2, 3, 4], dtype='int64')

當然，我們也可以對索引進行定義，代碼如下：

Out:

a    1b    2c    3d    4

在這里，我們將索引定義為a、b、c、d。這時也可以用索引來選取Series的數(shù)據(jù)，代碼如下：

Out:

1

Out:

b    2c    3

對Series進行數(shù)據(jù)運算的時候也會保留索引。示例代碼如下：

Out:

b    2c    3d    4

Out:

a     3b     6c     9d    12

Series最重要的功能之一是在不同索引中對齊數(shù)據(jù)。示例代碼如下：

Out:

a   NaNb     6c     8d   NaN

Series的索引可以通過賦值的方式直接修改，示例代碼如下：

Out:

Index([u'a', u'b', u'c', u'd'], dtype='object')

Out:

Index([u'w', u'x', u'y', u'z'], dtype='object')

Out:

w    1x    2y    3z    4