幹掉公式 —— numpy 就該這麼學
文 | 太陽雪
來源:Python 技術「ID: pythonall」
機器學習和數據分析變得越來越重要,但在學習和實踐過程中,常常因爲不知道怎麼用程序實現各種數學公式而感到苦惱,今天我們從數學公式的角度上了解下,用 python 實現的方式方法。
友情提示:不要被公式嚇到,它們都是紙老虎
關於 Numpy
NumPy 是使用 Python 進行科學計算的基礎軟件包。除其他外,它包括:
-
功能強大的 N 維數組對象
-
精密廣播功能函數
-
集成 C/C + 和 Fortran 代碼的工具
-
強大的線性代數、傅立葉變換和隨機數功能
機器學習和數據分析,numpy 是最常用的科學計算庫,可以用極簡的、符合思維習慣的方式完成代碼實現,爲學習和實踐提供了很大的便利
環境準備
創建虛擬環境(可省略),安裝 numpy 包:
pip install numpy
測試安裝:
>>> import numpy
>>>
在下面實踐中,默認將 numpy 引用爲 np:
import numpy as np
...
基礎運算
編程語言大多數運算都是針對簡單數值的,複雜運算是通過相應的數據結構結合程序邏輯計算的。numpy 雖然是針對複雜數據結構(例如矩陣)構造的,但它提供了和簡單數值計算一樣方便的操作。
冪運算
冪運算的運算符爲 **
,即兩個星號(一個星號表示乘),例如計算 x 的平方:x**2
,x 的立方:x**3
,等等
開方,相當於計算 1/2 次方,即 x**(1/2)
或者 x**0.5
,因爲常用 numpy 提供了便捷函數,sqrt
,例如對數字 x 開平方,就是 np.sqrt(x)
.
實際上平方運算也有便捷方法:
np.square
絕對值
絕對值表示一個數軸上的值距原點的距離,表示爲 |x|
,numpy 提供便捷方法abs
來計算,例如 np.abs(x)
,就爲 x 的絕對值
理解向量和矩陣
線性代數是機器學習和數據分析的基礎數學之一,而向量和矩陣式又是線性代數的基礎概念,所以理解向量和矩陣非常重要。
向量
一般數據被分爲標量和向量,標量比較容易理解,即數軸上的一個數值
向量直觀的認識是一組數值,可以理解爲一維數組,但是爲啥常見定義表示:具有方向的數值,方向指的是啥?這個問題困擾了我很多年(苦笑)。實際是因爲在開始學習線性代數時,直接從公式定理開始,而沒有了解它的原理和來源。
向量的方向指的是,向量所在座標系的原點指向該向量在座標系中表示的點的方向,例如在平面直角座標系中,向量 [1,2] 表示 x 軸爲 1,y 軸爲 2 的一個點,從原點,即 [0,0] 點指向這個點的方向,就是這個向量的方向,擴展的三維座標系,再到 n 爲座標系(當然超過三位人類就比較難以理解了),向量元素的個數表示向量屬於幾維座標系,但無論多少維,都可以畫出原點指向向量點的方向。
因爲線性代數研究的是向量及向量組(矩陣)的純數學計算,所以丟棄了座標系的概念,只保留了向量的樣子,所以造成了向量難以理解的現象。
簡單說,向量就是一個數值的數組。
矩陣
理解了向量,矩陣理解起來就容易了,相當於一組向量,即座標系中的多個點的集合,矩陣運算,就相當於多個向量的運算或變換。
可能這裏比較繞或冗餘,先解釋到這裏,後面的文章中會進一步解釋向量和矩陣的實際意義
初始化
numpy 中,提供了多種產生向量和矩陣的方法,例如用 array 可以將 python 數組初始化爲 numpy 矩陣:
m = np.array([(1,2,3),(2,3,4),(3,4,5)])
就可以創建一個 向量維度爲 3,個數爲 3 的矩陣
基本運算
numpy 特別擅長處理向量和矩陣的運算,例如乘法,即給向量中的每個數值乘以乘數,之間寫代碼的話,可以遍歷向量,爲每個值乘以乘數。
用 numpy 就簡單很多:x * 2
,就像做標量運算一樣,感覺向量同一個數值一樣。
-
加法
x+2
, -
減法
x-2
-
處罰
x/2
矩陣冪運算
向量、矩陣既然可以看成一個數,冪運算就很容易理解了,例如矩陣
矩陣 m
m 平方就可以寫成 m**2
, 結果爲:
矩陣平方
矩陣點積
不同維度的矩陣可以做乘法操作,但不是一般的乘法操作,操作被稱爲點積,爲了用 numpy 表示,需要用 dot 函數,例如矩陣 m 和 n
矩陣 m、n
代碼爲 m.dot(n)
,就會得到如下結果:
矩陣點積
求和與連乘
統計學公式中,求和運算很常見,例如對矩陣求和:
矩陣求和
表示對矩陣 m 中所有元素進行求和,nunpy 通過 sum
完成計算: m.sum()
連乘和求和類似,將矩陣中所有元素做乘積運算:
矩陣連乘
numpy 通過 prod
完成計算,如矩陣 m 的連乘爲 m.prod()
實踐
瞭解了上面的各種基礎運算後,做些實踐
計算均值
向量均值公式爲:
向量均值公式
分析公式,其中 n 爲向量 x 的元素數量,numpy 的向量,通過 size 獲取,後面是向量求和,用 sum 完成,最後代碼如下:
(1/x.size)*x.sum()
或者
x.sum()/x.size
實現 Frobenius 範數
現在來個複雜點的,Frobenius 範數,公式如下:
Frobenius 範數公式
先不用糾結 Frobenius 公式的意義,我們只看如何用 python 實現,分析公式,可以看到,首先對矩陣的每個元素做平方運算,然後求和,最後對結果進行開方,那麼就從裏向外寫
矩陣元素求和,根據前面所述,寫成 m**2
,會得到新的矩陣,然後求和,直接可寫爲:
np.sqrt((m**2).sum())
藉助 numpy 實現公式,極爲簡潔。
樣本方差
我們再看一個公式:
樣本方差公式
其中
np.sqrt(((x-(x.sum()/x.size))**2).sum()/(x.size-1))
基本依據上面瞭解的寫法可以理解和寫出,不過括號有點多,如果不參考公式,估計看不清實現的啥,好在 numpy 將均值運算通過 mean 方法簡化了,例如向量 x 的均值,可以寫爲:np.mean(x)
,所以上面的代碼可以簡化爲:
np.sqrt(((x-np.mean(x))**2).sum()/(x.size-1))
上面公式實際上是樣本標準差公式,對於標準差,numpy 提供了簡便方法 std, 直接用 np.std(x)
就可以計算,當然現在我們根據標準差公式:
標準差
很容易寫出來 numpy 實現,趕緊試試吧。
歐拉距離
前面寫模擬疫情擴散時,用到了歐拉距離,當時沒有理解好 numpy 公式表達能力,所以計算時分了三步,現在如果要計算兩個向量之間的歐拉距離,一行代碼就能搞定,先複習下歐拉距離公式,向量 a 與 向量 b 的歐拉距離爲:
歐拉距離公式
numpy 實現爲:
np.sqrt(((a-b)**2).sum())
由於歐拉距離應用廣泛,所以 numpy 在線性代數模塊中實現了,所以瞭解 numpy 實現數學公式的方法後,可以簡化爲:
np.linalg.norm(a-b)
總結
numpy 是個博大精深的數學計算庫,是 python 實現科學計算的基礎,今天我們從數學公式的角度,瞭解瞭如何轉換爲 numpy 的代碼實現,限於篇幅,雖然僅是 numpy 的冰山一角,但卻可以成爲理解 numpy 運算原理的思路,在數據分析或者機器學習,或者論文寫作過程中,即使不瞭解 numpy 中簡潔的運算,也可以根據數學公式寫出代碼實現,進而通過實踐學習和了解 numpy 就更容易了
參考
-
https://blog.csdn.net/garfielder007/article/details/51386683
-
https://blog.csdn.net/robert_chen1988/article/details/102712946
-
https://mathtocode.com/
本文由 Readfog 進行 AMP 轉碼,版權歸原作者所有。
來源:https://mp.weixin.qq.com/s/rjmI-ofWZQz7xWkCxN7_3g