100 個 pandas 數據分析函數總結

經過一段時間的整理,本期將分享我認爲比較常規的 100 個實用函數,這些函數大致可以分爲六類,分別是統計彙總函數、數據清洗函數、數據篩選、繪圖與元素級運算函數、時間序列函數和其他函數。

一、統計彙總函數

數據分析過程中,必然要做一些數據的統計彙總工作,那麼對於這一塊的數據運算有哪些可用的函數可以幫助到我們呢?具體看如下幾張表。

1# 統計z中個元素的頻次
2print(z.value_counts())
3
4a = pd.Series([1,5,10,15,25,30])
5# 計算a中各元素的累計百分比
6print(a.cumsum() / a.cumsum()[a.size - 1])
7

二、數據清洗函數

同樣,數據清洗工作也是必不可少的工作,在如下表格中羅列了常有的數據清洗的函數。

 1x = pd.Series([10,13,np.nan,17,28,19,33,np.nan,27])
 2#檢驗序列中是否存在缺失值
 3print(x.hasnans)
 4
 5# 將缺失值填充爲平均值
 6print(x.fillna(value = x.mean()))
 7
 8# 前向填充缺失值
 9print(x.ffill())
10

 1income = pd.Series(['12500元','8000元','8500元','15000元','9000元'])
 2# 將收入轉換爲整型
 3print(income.str[:-1].astype(int))
 4
 5gender = pd.Series(['男','女','女','女','男','女'])
 6# 性別因子化處理
 7print(gender.factorize())
 8
 9house = pd.Series(['大寧金茂府 | 3室2廳 | 158.32平米 | 南 | 精裝',
10                   '昌裏花園 | 2室2廳 | 104.73平米 | 南 | 精裝',
11                   '紡大小區 | 3室1廳 | 68.38平米 | 南 | 簡裝'])
12# 取出二手房的面積,並轉換爲浮點型
13house.str.split('|').str[2].str.strip().str[:-2].astype(float)
14

三、數據篩選

數據分析中如需對變量中的數值做子集篩選時,可以巧妙的使用下表中的幾個函數,其中部分函數既可以使用在序列身上,也基本可以使用在數據框對象中。

 1np.random.seed(1234)
 2x = pd.Series(np.random.randint(10,20,10))
 3
 4# 篩選出16以上的元素
 5print(x.loc[x > 16])
 6
 7print(x.compress(x > 16))
 8
 9# 篩選出13~16之間的元素
10print(x[x.between(13,16)])
11
12# 取出最大的三個元素
13print(x.nlargest(3))
14
15y = pd.Series(['ID:1 name:張三 age:24 income:13500',
16               'ID:2 name:李四 age:27 income:25000',
17               'ID:3 name:王二 age:21 income:8000'])
18# 取出年齡,並轉換爲整數
19print(y.str.findall('age:(\d+)').str[0].astype(int))
20

四、繪圖與元素級函數

 1np.random.seed(123)
 2import matplotlib.pyplot as plt
 3x = pd.Series(np.random.normal(10,3,1000))
 4# 繪製x直方圖
 5x.hist()
 6# 顯示圖形
 7plt.show()
 8
 9# 繪製x的箱線圖
10x.plot(kind='box')
11plt.show()
12
13installs = pd.Series(['1280萬','6.7億','2488萬','1892萬','9877','9877萬','1.2億'])
14# 將安裝量統一更改爲“萬”的單位
15def transform(x):
16    if x.find('億') != -1:
17        res = float(x[:-1])*10000
18    elif x.find('萬') != -1:
19        res = float(x[:-1])
20    else:
21        res = float(x)/10000
22    return res
23installs.apply(transform)
24

五、時間序列函數

六、其他函數

 1import numpy as np
 2import pandas as pd
 3
 4np.random.seed(112)
 5x = pd.Series(np.random.randint(8,18,6))
 6print(x)
 7# 對x中的元素做一階差分
 8print(x.diff())
 9
10# 對x中的元素做降序處理
11print(x.sort_values(ascending = False))
12
13y = pd.Series(np.random.randint(8,16,100))
14# 將y中的元素做排重處理,並轉換爲列表對象
15y.unique().tolist()
16

本文由 Readfog 進行 AMP 轉碼,版權歸原作者所有。
來源https://mp.weixin.qq.com/s/m3ciqFz4l2X3NKgqCWKilA