說說 Python 的元編程

提到元這個字,你也許會想到元數據,元數據就是描述數據本身的數據,元類就是類的類,相應的元編程就是描述代碼本身的代碼,元編程就是關於創建操作源代碼 (比如修改、生成或包裝原來的代碼) 的函數和類。主要技術是使用裝飾器、元類、描述符類。本文的主要目的是向大家介紹這些元編程技術,並且給出實例來演示它們是怎樣定製化源代碼的行爲。

裝飾器

裝飾器就是函數的函數,它接受一個函數作爲參數並返回一個新的函數,在不改變原來函數代碼的情況下爲其增加新的功能,比如最常用的計時裝飾器:

from functools import wraps

def timeit(logger=None):
    """
    耗時統計裝飾器,單位是秒,保留 4 位小數
    """

    def decorator(func):
        @wraps(func)
        def wrapper(*args, **kwargs):
            start = time.time()
            result = func(*args, **kwargs)
            end = time.time()
            if logger:
                logger.info(f"{func.__name__} cost {end - start :.4f} seconds")
            else:
                print(f"{func.__name__} cost {end - start :.4f} seconds")
            return result

        return wrapper

    return decorator

(注:比如上面使用 @wraps(func) 註解是很重要的, 它能保留原始函數的元數據) 只需要在原來的函數上面加上 @timeit() 即可爲其增加新的功能:

@timeit()
def test_timeit():
    time.sleep(1)

test_timeit()
#test_timeit cost 1.0026 seconds

上面的代碼跟下面這樣寫的效果是一樣的:

test_timeit = timeit(test_timeit)
test_timeit()

裝飾器的執行順序

當有多個裝飾器的時候,他們的調用順序是怎麼樣的?

假如有這樣的代碼,請問是先打印 Decorator1 還是 Decorator2 ?

from functools import wraps

def decorator1(func):
    @wraps(func)
    def wrapper(*args, **kwargs):
        print('Decorator 1')
        return func(*args, **kwargs)
    return wrapper

def decorator2(func):
    @wraps(func)
    def wrapper(*args, **kwargs):
        print('Decorator 2')
        return func(*args, **kwargs)
    return wrapper

@decorator1
@decorator2
def add(x, y):
    return x + y

add(1,2)

# Decorator 1
# Decorator 2

回答這個問題之前,我先給你打個形象的比喻,裝飾器就像函數在穿衣服,離它最近的最先穿,離得遠的最後穿,上例中 decorator1 是外套,decorator2 是內衣。

add = decorator1(decorator2(add))

在調用函數的時候,就像脫衣服,先解除最外面的 decorator1,也就是先打印 Decorator1,執行到 return func(*args, **kwargs) 的時候會去解除 decorator2,然後打印 Decorator2,再次執行到 return func(*args, **kwargs) 時會真正執行 add() 函數。

需要注意的是打印的位置,如果打印字符串的代碼位於調用函數之後,像下面這樣,那輸出的結果正好相反:

def decorator1(func):
    @wraps(func)
    def wrapper(*args, **kwargs):
        result = func(*args, **kwargs)
        print('Decorator 1')
        return result
    return wrapper

def decorator2(func):
    @wraps(func)
    def wrapper(*args, **kwargs):
        result = func(*args, **kwargs)
        print('Decorator 2')
        return result
    return wrapper

裝飾器不僅可以定義爲函數,也可以定義爲類,只要你確保它實現了__call__()__get__() 方法。

關於裝飾器的其他用法,可以參考前文:

元類

Python 中所有類(object)的元類,就是 type 類,也就是說 Python 類的創建行爲由默認的 type 類控制,打個比喻,type 類是所有類的祖先。我們可以通過編程的方式來實現自定義的一些對象創建行爲。

定一個類繼承 type 類 A,然後讓其他類的元類指向 A,就可以控制 A 的創建行爲。典型的就是使用元類實現一個單例:

class Singleton(type):
    def __init__(self, *args, **kwargs):
        self._instance = None
        super().__init__(*args, **kwargs)

    def __call__(self, *args, **kwargs):
        if self._instance is None:
            self._instance = super().__call__(*args, **kwargs)
            return self._instance
        else:
            return self._instance


class Spam(metaclass=Singleton):
    def __init__(self):
        print("Spam!!!")

元類 Singleton 的__init____new__ 方法會在定義 Spam 的期間被執行,而 __call__方法會在實例化 Spam 的時候執行。

如果想更好的理解元類,可以閱讀 Python 黑魔法之 metaclass

descriptor 類(描述符類)

descriptor 就是任何一個定義了 __get__()__set__()__delete__()的對象,描述器讓對象能夠自定義屬性查找、存儲和刪除的操作。這裏舉官方文檔 [1] 一個自定義驗證器的例子。

定義驗證器類,它是一個描述符類,同時還是一個抽象類:

from abc import ABC, abstractmethod

class Validator(ABC):

    def __set_name__(self, owner, name):
        self.private_name = '_' + name

    def __get__(self, obj, objtype=None):
        return getattr(obj, self.private_name)

    def __set__(self, obj, value):
        self.validate(value)
        setattr(obj, self.private_name, value)

    @abstractmethod
    def validate(self, value):
        pass

自定義驗證器需要從 Validator 繼承,並且必須提供 validate() 方法以根據需要測試各種約束。

這是三個實用的數據驗證工具:

OneOf 驗證值是一組受約束的選項之一。

class OneOf(Validator):

    def __init__(self, *options):
        self.options = set(options)

    def validate(self, value):
        if value not in self.options:
            raise ValueError(f'Expected {value!r} to be one of {self.options!r}')

Number 驗證值是否爲 int 或 float。根據可選參數,它還可以驗證值在給定的最小值或最大值之間。

class Number(Validator):

    def __init__(self, minvalue=None, maxvalue=None):
        self.minvalue = minvalue
        self.maxvalue = maxvalue

    def validate(self, value):
        if not isinstance(value, (int, float)):
            raise TypeError(f'Expected {value!r} to be an int or float')
        if self.minvalue is not None and value < self.minvalue:
            raise ValueError(
                f'Expected {value!r} to be at least {self.minvalue!r}'
            )
        if self.maxvalue is not None and value > self.maxvalue:
            raise ValueError(
                f'Expected {value!r} to be no more than {self.maxvalue!r}'
            )

String 驗證值是否爲 str。根據可選參數,它可以驗證給定的最小或最大長度。它還可以驗證用戶定義的 predicate。

class String(Validator):

    def __init__(self, minsize=None, maxsize=None, predicate=None):
        self.minsize = minsize
        self.maxsize = maxsize
        self.predicate = predicate

    def validate(self, value):
        if not isinstance(value, str):
            raise TypeError(f'Expected {value!r} to be an str')
        if self.minsize is not None and len(value) < self.minsize:
            raise ValueError(
                f'Expected {value!r} to be no smaller than {self.minsize!r}'
            )
        if self.maxsize is not None and len(value) > self.maxsize:
            raise ValueError(
                f'Expected {value!r} to be no bigger than {self.maxsize!r}'
            )
        if self.predicate is not None and not self.predicate(value):
            raise ValueError(
                f'Expected {self.predicate} to be true for {value!r}'
            )

實際應用時這樣寫:

class Component:

    name = String(minsize=3, maxsize=10, predicate=str.isupper)
    kind = OneOf('wood''metal''plastic')
    quantity = Number(minvalue=0)

    def __init__(self, name, kind, quantity):
        self.name = name
        self.kind = kind
        self.quantity = quantity

描述器阻止無效實例的創建:

>>> Component('Widget''metal', 5)      # Blocked: 'Widget' is not all uppercase
Traceback (most recent call last):
    ...
ValueError: Expected <method 'isupper' of 'str' objects> to be true for 'Widget'

>>> Component('WIDGET''metle', 5)      # Blocked: 'metle' is misspelled
Traceback (most recent call last):
    ...
ValueError: Expected 'metle' to be one of {'metal''plastic''wood'}

>>> Component('WIDGET''metal', -5)     # Blocked: -5 is negative
Traceback (most recent call last):
    ...
ValueError: Expected -5 to be at least 0
>>> Component('WIDGET''metal''V')    # Blocked: 'V' isn't a number
Traceback (most recent call last):
    ...
TypeError: Expected 'V' to be an int or float

>>> c = Component('WIDGET''metal', 5)  # Allowed:  The inputs are valid

最後的話

關於 Python 的元編程,總結如下:

如果希望某些函數擁有相同的功能,希望不改變原有的調用方式、不寫重複代碼、易維護,可以使用裝飾器來實現。

如果希望某一些類擁有某些相同的特性,或者在類定義實現對其的控制,我們可以自定義一個元類,然後讓它類的元類指向該類。

如果希望實例的屬性擁有某些共同的特點,就可以自定義一個描述符類。

參考資料

[1]

管方文檔: https://docs.python.org/zh-cn/3/howto/descriptor.html

本文由 Readfog 進行 AMP 轉碼,版權歸原作者所有。
來源https://mp.weixin.qq.com/s/8Mgk7yIiUZSYHgwwxs3wDw