Pandas

・Pandas入門

今現在、プロジェクトでPythonのライブラリ「Pandas」を使っているので、覚書も含め纏めたいと思います。 不備などありましたら、ご指摘をお願い致します。

・Pandasとは

Pandasとはデータ解析、操作を迅速で快適かつ簡単に行なうことができるPythonで作られたオープンソースライブラリになります。 開発者であるWes McKinneyは、財務データを定量分析するための高性能で柔軟なツールを欲しており、AQR Capital Managementにて2008年にpandasの開発を開始した。 AQRを去る前に上司を説得し、ライブラリの一般公開が可能となった。 別のAQR従業員であるChang Sheは、2012年からこのライブラリの２番目の主要コントリビューターとなった。同時期に、Pythonコミュニティでライブラリが普及し、さらに多くのコントリビューターがプロジェクトに加わることになった。 2015年、pandasはNumFOCUS（アメリカ合衆国における501(c)(3)非営利慈善団体）の財政出資プロジェクトとして署名した。

・Pandasのインストール

pip install pandas

・使い方 Pandasを利用するには通例、以下のようにPandasライブラリを読み込みます。

import pandas as pd

・Pandasのデータ構造

Pandasでは1次元配列のSeries、2次元配列のDataframe、3次元配列のPanelが用意されています。 今回はよく利用するSeries、Dataframeについてまとめていきます。

・Series生成 Seriesの生成は以下のようになります。

pandas.Series(data=None, index=None, dtype=None, name=None, copy=False, fastpath=False)

各パラメータの説明

pd.Series(["name1","name2","name3"])

dtype: object

・DataFrame生成 DataFrameの生成は以下のようになります。

pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=None)

各パラメータの説明

data_list = [["name1", "address1", "M", pd.Timestamp("20000101"), 170.0, 60.0],["name2", "address2", "F", pd.Timestamp("20000102"), 160.0, 50.0],["name3", "address3", "M", pd.Timestamp("20000103"), 180.0, 70.0]]

df = pd.DataFrame(data_list, columns=["col1", "col2", "col3", "col4", "col5", "col6"])

・列データの追加

new_data_list = [1,2,1] df["col7"] = new_data_list

## 要素の選択 列を指定した取得方法（二つは同一結果）

df["col1"]

Name: col1, dtype: object

df.col1

Name: col1, dtype: object

行を指定した取得方法

df[0:2]

index col1 col2 col3 col4 col5 col6 0 name1 address1 M 2000-01-01 170.0 60.0 1 name2 address2 F 2000-01-02 160.0 50.0

数値で位置を指定した行の取得方法

df.iloc[2]

Name: 2, dtype: object

行および列を数値位置で指定しての取得方法。

df.iloc[[0, 2], [0, 2]]

行を指定しての取得方法

df.iloc[[0,2], :]

Boolean indexing

df[df["col5"] > 160]

df[df["col6"].isin([50.0, 70.0])]

・グループ化

データ

data_list = [["name1", "address1", "M", pd.Timestamp("20000101"), 170.0, 60.0,1],["name2", "address2", "F", pd.Timestamp("20000102"), 160.0, 50.0,2],["name3", "address3", "M", pd.Timestamp("20000103"), 180.0, 70.0,1],["name4", "address4", "F", pd.Timestamp("20000104"), 150.0, 40.0,1],["name5", "address5", "M", pd.Timestamp("20000105"), 190.0, 80.0,2],["name6", "address6", "M", pd.Timestamp("20000106"), 200.0, 90.0,1],["name7", "address7", "F", pd.Timestamp("20000107"), 140.0, 40.0,1],["name8", "address8", "F", pd.Timestamp("20000108"), 150.0, 50.0,2],["name9", "address9", "F", pd.Timestamp("20000109"), 170.0, 60.0,1],["name10", "address10", "M", pd.Timestamp("20000110"), 170.0, 60.0,2]] df = pd.DataFrame(data_list, columns=["col1", "col2", "col3", "col4", "col5", "col6", "col7"])

列を指定してグループ化した結果を取得する方法。

gp_df = df.groupby("col3") df.loc[gp_df['col5'].idxmax(),:]

複数列を指定してグループ化した結果を取得する方法。

gp_df = df.groupby(["col3","col7"]) df.loc[gp_df['col5'].idxmax(),:]

・マージ処理

concat 縦方向に単純に結合する方法。

データ1

data_list = [["101","name1", "address1", "M", pd.Timestamp("20000101"), 170.0, 60.0,1],["102","name2", "address2", "F", pd.Timestamp("20000102"), 160.0, 50.0,2],["103","name3", "address3", "M", pd.Timestamp("20000103"), 180.0, 70.0,1],["104","name4", "address4", "F", pd.Timestamp("20000104"), 150.0, 40.0,1],["105","name5", "address5", "M", pd.Timestamp("20000105"), 190.0, 80.0,2]] df = pd.DataFrame(data_list, columns=["ID","col1", "col2", "col3", "col4", "col5", "col6", "col7"])

データ2

data_list2 = [["106","name6", "address6", "M", pd.Timestamp("20000106"), 200.0, 90.0,1],["107","name7", "address7", "F", pd.Timestamp("20000107"), 140.0, 40.0,1],["108","name8", "address8", "F", pd.Timestamp("20000108"), 150.0, 50.0,2],["109","name9", "address9", "F", pd.Timestamp("20000109"), 170.0, 60.0,1],["110","name10", "address10", "M", pd.Timestamp("20000110"), 170.0, 60.0,2]] df2 = pd.DataFrame(data_list2, columns=["ID","col1", "col2", "col3", "col4", "col5", "col6", "col7"])

結合結果

pd.concat([df,df2],ignore_index=True)

merge 横方向に結合する方法。

データ3

data_list = [["101","name1", "address1", "M", pd.Timestamp("20000101"), 170.0, 60.0,1],["102","name2", "address2", "F", pd.Timestamp("20000102"), 160.0, 50.0,2],["104","name4", "address4", "F", pd.Timestamp("20000104"), 150.0, 40.0,1],["105","name5", "address5", "M", pd.Timestamp("20000105"), 190.0, 80.0,2],["106","name6", "address6", "M", pd.Timestamp("20000106"), 200.0, 90.0,1],["107","name7", "address7", "F", pd.Timestamp("20000107"), 140.0, 40.0,1],["110","name10", "address10", "M", pd.Timestamp("20000110"), 170.0, 60.0,2]] df = pd.DataFrame(data_list, columns=["ID","col1", "col2", "col3", "col4", "col5", "col6", "col7"])

データ4

data_list2 = [["101",100,10,50],["102",90,20,60],["103",80,30,70],["105",60,50,90],["106",50,60,100],["108",30,80,20],["109",20,90,30]] df2 = pd.DataFrame(data_list2, columns=["ID","science","english","math"])

INNER JOINでの結合方法

pd.merge(df,df2,how="inner",on="ID")

結合結果

LEFT JOINでの結合方法

pd.merge(df,df2,how="left",on="ID")

結合結果

RIGHT JOINでの結合方法

pd.merge(df,df2,how="right",on="ID")

結合結果

・データの入出力

CSVデータの入出力方法

df.to_csv("foo.csv") pd.read_csv("foo.csv")

Excelデータの入出力方法

df.to_excel("foo.xlsx", sheet_name="Sheet1") pd.read_excel("foo.xlsx", "Sheet1", index_col=None, na_values=["NA"])

・まとめ

基本的なpandasの使い方をまとめました。 pandasは他にも色々便利な機能も用意されているので、今後利用した際にまとめたいと思います。