詳解 16 個 pandas 函數,讓你的 “數據清洗” 能力提高 100 倍!
本文介紹
你有沒有這樣一種感覺,爲什麼到自己手上的數據,總是亂七八糟?
作爲一個數據分析師來說,數據清洗是必不可少的環節。有時候由於數據太亂,往往需要花費我們很多時間去處理它。因此掌握更多的數據清洗方法,會讓你的能力調高 100 倍。
本文基於此,講述 pandas 中超級好用的 str 矢量化字符串函數,學了之後,瞬間感覺自己的數據清洗能力提高了。
1 個數據集,16 個 Pandas 函數
數據集是黃同學精心爲大家編造,只爲了幫助大家學習到知識。數據集如下:
import pandas as pd
df ={'姓名':[' 黃同學','黃至尊','黃老邪 ','陳大美','孫尚香'],
'英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
'性別':['男','women','men','女','男'],
'身份證':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
'身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
'家庭住址':['湖北廣水','河南信陽','廣西桂林','湖北孝感','廣東廣州'],
'電話號碼':['13434813546','19748672895','16728613064','14561586431','19384683910'],
'收入':['1.1萬','8.5千','0.9萬','6.5千','2.0萬']}
df = pd.DataFrame(df)
df
結果如下:
觀察上述數據,數據集是亂的。接下來,我們就用 16 個 Pandas 來對上述數據,進行數據清洗。
① cat 函數:用於字符串的拼接
df["姓名"].str.cat(df["家庭住址"],sep='-'*3)
結果如下:
② contains:判斷某個字符串是否包含給定字符
df["家庭住址"].str.contains("廣")
結果如下:
③ startswith/endswith:判斷某個字符串是否以… 開頭 / 結尾
# 第一個行的“ 黃偉”是以空格開頭的
df["姓名"].str.startswith("黃")
df["英文名"].str.endswith("e")
結果如下:
④ count:計算給定字符在字符串中出現的次數
df["電話號碼"].str.count("3")
結果如下:
⑤ get:獲取指定位置的字符串
df["姓名"].str.get(-1)
df["身高"].str.split(":")
df["身高"].str.split(":").str.get(0)
結果如下:
⑥ len:計算字符串長度
df["性別"].str.len()
結果如下:
⑦ upper/lower:英文大小寫轉換
df["英文名"].str.upper()
df["英文名"].str.lower()
結果如下:
⑧ pad+side 參數 / center:在字符串的左邊、右邊或左右兩邊添加給定字符
df["家庭住址"].str.pad(10,fillchar="*") # 相當於ljust()
df["家庭住址"].str.pad(10,side="right",fillchar="*") # 相當於rjust()
df["家庭住址"].str.center(10,fillchar="*")
結果如下:
⑨ repeat:重複字符串幾次
df["性別"].str.repeat(3)
結果如下:
⑩ slice_replace:使用給定的字符串,替換指定的位置的字符
df["電話號碼"].str.slice_replace(4,8,"*"*4)
結果如下:
⑪ replace:將指定位置的字符,替換爲給定的字符串
df["身高"].str.replace(":","-")
結果如下:
⑫ replace:將指定位置的字符,替換爲給定的字符串 (接受正則表達式)
-
replace 中傳入正則表達式,才叫好用;
-
先不要管下面這個案例有沒有用,你只需要知道,使用正則做數據清洗多好用;
df["收入"].str.replace("\d+\.\d+","正則")
結果如下:
⑬ split 方法 + expand 參數:搭配 join 方法功能很強大
# 普通用法
df["身高"].str.split(":")
# split方法,搭配expand參數
df[["身高描述","final身高"]] = df["身高"].str.split(":",expand=True)
df
# split方法搭配join方法
df["身高"].str.split(":").str.join("?"*5)
結果如下:
⑭ strip/rstrip/lstrip:去除空白符、換行符
df["姓名"].str.len()
df["姓名"] = df["姓名"].str.strip()
df["姓名"].str.len()
結果如下:
⑮ findall:利用正則表達式,去字符串中匹配,返回查找結果的列表
- findall 使用正則表達式,做數據清洗,真的很香!
df["身高"]
df["身高"].str.findall("[a-zA-Z]+")
結果如下:
⑯ extract/extractall:接受正則表達式,抽取匹配的字符串 (一定要加上括號)
df["身高"].str.extract("([a-zA-Z]+)")
# extractall提取得到複合索引
df["身高"].str.extractall("([a-zA-Z]+)")
# extract搭配expand參數
df["身高"].str.extract("([a-zA-Z]+).*?([a-zA-Z]+)",expand=True)
結果如下:
今天的文章,就講述到這裏,希望能夠對你有所幫助。
本文由 Readfog 進行 AMP 轉碼,版權歸原作者所有。
來源:https://mp.weixin.qq.com/s/k6vzdHdVhGCxCBnslaD25g