回復“書籍”即可獲贈Python從入門到進階共10本電子書
故立志者,為學之心也;為學者,立志之事也。
對于每一個學習 Python 的同學,想必對 @
符號一定不陌生了,正如你所知, @ 符號是裝飾器的語法糖,@符號后面的函數(shù)就是我們本文的主角:裝飾器。
裝飾器放在一個函數(shù)開始定義的地方,它就像一頂帽子一樣戴在這個函數(shù)的頭上。和這個函數(shù)綁定在一起。在我們調(diào)用這個函數(shù)的時候,第一件事并不是執(zhí)行這個函數(shù),而是將這個函數(shù)做為參數(shù)傳入它頭頂上這頂帽子,這頂帽子我們稱之為 裝飾器
。
曾經(jīng)我在剛轉(zhuǎn)行做程序員時的一次的面試中,被面試官問過這樣的兩個問題:
1、你都用過裝飾器實現(xiàn)過什么樣的功能?
2、如何寫一個可以傳參的裝飾器?
對于當時實戰(zhàn)經(jīng)驗非常有限的我,第一個問題只能回答一些非常簡單的用法,而第二個問題卻沒能回答上來。
當時帶著這兩個問題,我就開始系統(tǒng)的學習裝飾器的所有內(nèi)容。這些一直整理在自己的博客中,今天對其進行了大量的補充和勘誤,發(fā)表在這里分享給大家。希望對剛?cè)腴T以及進階的朋友可以提供一些參考。
裝飾器的使用方法很固定
先定義一個裝飾器(帽子)
再定義你的業(yè)務(wù)函數(shù)或者類(人)
最后把這裝飾器(帽子)扣在這個函數(shù)(人)頭上
就像下面這樣子
def decorator(func):
def wrapper(*args, **kw):
return func()
return wrapper
@decorator
def function():
print('hello, decorator')
實際上,裝飾器并不是編碼必須性,意思就是說,你不使用裝飾器完全可以,它的出現(xiàn),應(yīng)該是使我們的代碼
更加優(yōu)雅,代碼結(jié)構(gòu)更加清晰
將實現(xiàn)特定的功能代碼封裝成裝飾器,提高代碼復用率,增強代碼可讀性
接下來,我將以實例講解,如何編寫出各種簡單及復雜的裝飾器。
首先是日志打印器。
實現(xiàn)的功能:
在函數(shù)執(zhí)行前,先打印一行日志告知一下主人,我要執(zhí)行函數(shù)了。
在函數(shù)執(zhí)行完,也不能拍拍屁股就走人了,咱可是有禮貌的代碼,再打印一行日志告知下主人,我執(zhí)行完啦。
# 這是裝飾器函數(shù),參數(shù) func 是被裝飾的函數(shù)
def logger(func):
def wrapper(*args, **kw):
print('主人,我準備開始執(zhí)行:{} 函數(shù)了:'.format(func.__name__))
# 真正執(zhí)行的是這行。
func(*args, **kw)
print('主人,我執(zhí)行完啦。')
return wrapper
假如,我的業(yè)務(wù)函數(shù)是,計算兩個數(shù)之和。寫好后,直接給它帶上帽子。
@logger
def add(x, y):
print('{} + {} = {}'.format(x, y, x+y))
然后執(zhí)行一下 add 函數(shù)。
add(200, 50)
來看看輸出了什么?
主人,我準備開始執(zhí)行:add 函數(shù)了:
200 + 50 = 250
主人,我執(zhí)行完啦。
再來看看 時間計時器
實現(xiàn)功能:顧名思義,就是計算一個函數(shù)的執(zhí)行時長。
# 這是裝飾函數(shù)
def timer(func):
def wrapper(*args, **kw):
t1=time.time()
# 這是函數(shù)真正執(zhí)行的地方
func(*args, **kw)
t2=time.time()
# 計算下時長
cost_time = t2-t1
print('花費時間:{}秒'.format(cost_time))
return wrapper
假如,我們的函數(shù)是要睡眠10秒。這樣也能更好的看出這個計算時長到底靠不靠譜。
import time
@timer
def want_sleep(sleep_time):
time.sleep(sleep_time)
want_sleep(10)
來看看輸出,如預(yù)期一樣,輸出10秒。
花費時間:10.0073800086975098秒
通過上面兩個簡單的入門示例,你應(yīng)該能體會到裝飾器的工作原理了。
不過,裝飾器的用法還遠不止如此,深究下去,還大有文章。今天就一起來把這個知識點學透。
回過頭去看看上面的例子,裝飾器是不能接收參數(shù)的。其用法,只能適用于一些簡單的場景。不傳參的裝飾器,只能對被裝飾函數(shù),執(zhí)行固定邏輯。
裝飾器本身是一個函數(shù),做為一個函數(shù),如果不能傳參,那這個函數(shù)的功能就會很受限,只能執(zhí)行固定的邏輯。這意味著,如果裝飾器的邏輯代碼的執(zhí)行需要根據(jù)不同場景進行調(diào)整,若不能傳參的話,我們就要寫兩個裝飾器,這顯然是不合理的。
比如我們要實現(xiàn)一個可以定時發(fā)送郵件的任務(wù)(一分鐘發(fā)送一封),定時進行時間同步的任務(wù)(一天同步一次),就可以自己實現(xiàn)一個 periodic_task (定時任務(wù))的裝飾器,這個裝飾器可以接收一個時間間隔的參數(shù),間隔多長時間執(zhí)行一次任務(wù)。
可以這樣像下面這樣寫,由于這個功能代碼比較復雜,不利于學習,這里就不貼了。
@periodic_task(spacing=60)
def send_mail():
pass
@periodic_task(spacing=86400)
def ntp()
pass
那我們來自己創(chuàng)造一個偽場景,可以在裝飾器里傳入一個參數(shù),指明國籍,并在函數(shù)執(zhí)行前,用自己國家的母語打一個招呼。
# 小明,中國人
@say_hello('china')
def xiaoming():
pass
# jack,美國人
@say_hello('america')
def jack():
pass
那我們?nèi)绻麑崿F(xiàn)這個裝飾器,讓其可以實現(xiàn) 傳參
呢?
會比較復雜,需要兩層嵌套。
def say_hello(contry):
def wrapper(func):
def deco(*args, **kwargs):
if contry == 'china':
print('你好!')
elif contry == 'america':
print('hello.')
else:
return
# 真正執(zhí)行函數(shù)的地方
func(*args, **kwargs)
return deco
return wrapper
來執(zhí)行一下
xiaoming()
print('------------')
jack()
看看輸出結(jié)果。
你好!
------------
hello.
以上都是基于函數(shù)實現(xiàn)的裝飾器,在閱讀別人代碼時,還可以時常發(fā)現(xiàn)還有基于類實現(xiàn)的裝飾器。
基于類裝飾器的實現(xiàn),必須實現(xiàn) __call__
和 __init__
兩個內(nèi)置函數(shù)。__init__
:接收被裝飾函數(shù)__call__
:實現(xiàn)裝飾邏輯。
還是以日志打印這個簡單的例子為例
class logger(object):
def __init__(self, func):
self.func = func
def __call__(self, *args, **kwargs):
print('[INFO]: the function {func}() is running...'\
.format(func=self.func.__name__))
return self.func(*args, **kwargs)
@logger
def say(something):
print('say {}!'.format(something))
say('hello')
執(zhí)行一下,看看輸出
[INFO]: the function say() is running...
say hello!
上面不帶參數(shù)的例子,你發(fā)現(xiàn)沒有,只能打印INFO
級別的日志,正常情況下,我們還需要打印DEBUG
WARNING
等級別的日志。這就需要給類裝飾器傳入?yún)?shù),給這個函數(shù)指定級別了。
帶參數(shù)和不帶參數(shù)的類裝飾器有很大的不同。
__init__
:不再接收被裝飾函數(shù),而是接收傳入?yún)?shù)。__call__
:接收被裝飾函數(shù),實現(xiàn)裝飾邏輯。
class logger(object):
def __init__(self, level='INFO'):
self.level = level
def __call__(self, func): # 接受函數(shù)
def wrapper(*args, **kwargs):
print('[{level}]: the function {func}() is running...'\
.format(level=self.level, func=func.__name__))
func(*args, **kwargs)
return wrapper #返回函數(shù)
@logger(level='WARNING')
def say(something):
print('say {}!'.format(something))
say('hello')
我們指定WARNING
級別,運行一下,來看看輸出。
[WARNING]: the function say() is running...
say hello!
絕大多數(shù)裝飾器都是基于函數(shù)和閉包實現(xiàn)的,但這并非制造裝飾器的唯一方式。
事實上,Python 對某個對象是否能通過裝飾器( @decorator
)形式使用只有一個要求:decorator 必須是一個“可被調(diào)用(callable)的對象。
對于這個 callable 對象,我們最熟悉的就是函數(shù)了。
除函數(shù)之外,類也可以是 callable 對象,只要實現(xiàn)了__call__
函數(shù)(上面幾個例子已經(jīng)接觸過了)。
還有容易被人忽略的偏函數(shù)其實也是 callable 對象。
接下來就來說說,如何使用 類和偏函數(shù)結(jié)合實現(xiàn)一個與眾不同的裝飾器。
如下所示,DelayFunc 是一個實現(xiàn)了 __call__
的類,delay 返回一個偏函數(shù),在這里 delay 就可以做為一個裝飾器。(以下代碼摘自 Python工匠:使用裝飾器的小技巧)
import time
import functools
class DelayFunc:
def __init__(self, duration, func):
self.duration = duration
self.func = func
def __call__(self, *args, **kwargs):
print(f'Wait for {self.duration} seconds...')
time.sleep(self.duration)
return self.func(*args, **kwargs)
def eager_call(self, *args, **kwargs):
print('Call without delay')
return self.func(*args, **kwargs)
def delay(duration):
'''
裝飾器:推遲某個函數(shù)的執(zhí)行。
同時提供 .eager_call 方法立即執(zhí)行
'''
# 此處為了避免定義額外函數(shù),
# 直接使用 functools.partial 幫助構(gòu)造 DelayFunc 實例
return functools.partial(DelayFunc, duration)
我們的業(yè)務(wù)函數(shù)很簡單,就是相加
@delay(duration=2)
def add(a, b):
return a+b
來看一下執(zhí)行過程
>>> add # 可見 add 變成了 Delay 的實例
<__main__.DelayFunc object at 0x107bd0be0>
>>>
>>> add(3,5) # 直接調(diào)用實例,進入 __call__
Wait for 2 seconds...
8
>>>
>>> add.func # 實現(xiàn)實例方法
<function add at 0x107bef1e0>
用 Python 寫單例模式的時候,常用的有三種寫法。其中一種,是用裝飾器來實現(xiàn)的。
以下便是我自己寫的裝飾器版的單例寫法。
instances = {}
def singleton(cls):
def get_instance(*args, **kw):
cls_name = cls.__name__
print('===== 1 ====')
if not cls_name in instances:
print('===== 2 ====')
instance = cls(*args, **kw)
instances[cls_name] = instance
return instances[cls_name]
return get_instance
@singleton
class User:
_instance = None
def __init__(self, name):
print('===== 3 ====')
self.name = name
可以看到我們用singleton 這個裝飾函數(shù)來裝飾 User 這個類。裝飾器用在類上,并不是很常見,但只要熟悉裝飾器的實現(xiàn)過程,就不難以實現(xiàn)對類的裝飾。在上面這個例子中,裝飾器就只是實現(xiàn)對類實例的生成的控制而已。
其實例化的過程,你可以參考我這里的調(diào)試過程,加以理解。
在 functools 標準庫中有提供一個 wraps 裝飾器,你應(yīng)該也經(jīng)常見過,那他有啥用呢?
先來看一個例子
def wrapper(func):
def inner_function():
pass
return inner_function
@wrapper
def wrapped():
pass
print(wrapped.__name__)
#inner_function
為什么會這樣子?不是應(yīng)該返回 func
嗎?
這也不難理解,因為上邊執(zhí)行func
和下邊 decorator(func)
是等價的,所以上面 func.__name__
是等價于下面decorator(func).__name__
的,那當然名字是 inner_function
def wrapper(func):
def inner_function():
pass
return inner_function
def wrapped():
pass
print(wrapper(wrapped).__name__)
#inner_function
那如何避免這種情況的產(chǎn)生?方法是使用 functools .wraps 裝飾器,它的作用就是將 被修飾的函數(shù)(wrapped) 的一些屬性值賦值給 修飾器函數(shù)(wrapper) ,最終讓屬性的顯示更符合我們的直覺。
from functools import wraps
def wrapper(func):
@wraps(func)
def inner_function():
pass
return inner_function
@wrapper
def wrapped():
pass
print(wrapped.__name__)
# wrapped
準確點說,wraps 其實是一個偏函數(shù)對象(partial),源碼如下
def wraps(wrapped,
assigned = WRAPPER_ASSIGNMENTS,
updated = WRAPPER_UPDATES):
return partial(update_wrapper, wrapped=wrapped,
assigned=assigned, updated=updated)
可以看到wraps其實就是調(diào)用了一個函數(shù)update_wrapper
,知道原理后,我們改寫上面的代碼,在不使用 wraps的情況下,也可以讓 wrapped.__name__
打印出 wrapped,代碼如下:
from functools import update_wrapper
WRAPPER_ASSIGNMENTS = ('__module__', '__name__', '__qualname__', '__doc__',
'__annotations__')
def wrapper(func):
def inner_function():
pass
update_wrapper(inner_function, func, assigned=WRAPPER_ASSIGNMENTS)
return inner_function
@wrapper
def wrapped():
pass
print(wrapped.__name__)
以上,我們介紹的都是自定義的裝飾器。
其實Python語言本身也有一些裝飾器。比如property
這個內(nèi)建裝飾器,我們再熟悉不過了。
它通常存在于類中,可以將一個函數(shù)定義成一個屬性,屬性的值就是該函數(shù)return的內(nèi)容。
通常我們給實例綁定屬性是這樣的
class Student(object):
def __init__(self, name, age=None):
self.name = name
self.age = age
# 實例化
xiaoming = Student('小明')
# 添加屬性
xiaoming.age=25
# 查詢屬性
xiaoming.age
# 刪除屬性
del xiaoming.age
但是稍有經(jīng)驗的開發(fā)人員,一下就可以看出,這樣直接把屬性暴露出去,雖然寫起來很簡單,但是并不能對屬性的值做合法性限制。為了實現(xiàn)這個功能,我們可以這樣寫。
class Student(object):
def __init__(self, name):
self.name = name
self.name = None
def set_age(self, age):
if not isinstance(age, int):
raise ValueError('輸入不合法:年齡必須為數(shù)值!')
if not 0 < age < 100:
raise ValueError('輸入不合法:年齡范圍必須0-100')
self._age=age
def get_age(self):
return self._age
def del_age(self):
self._age = None
xiaoming = Student('小明')
# 添加屬性
xiaoming.set_age(25)
# 查詢屬性
xiaoming.get_age()
# 刪除屬性
xiaoming.del_age()
上面的代碼設(shè)計雖然可以變量的定義,但是可以發(fā)現(xiàn)不管是獲取還是賦值(通過函數(shù))都和我們平時見到的不一樣。
按照我們思維習慣應(yīng)該是這樣的。
# 賦值
xiaoming.age = 25
# 獲取
xiaoming.age
那么這樣的方式我們?nèi)绾螌崿F(xiàn)呢。請看下面的代碼。
class Student(object):
def __init__(self, name):
self.name = name
self.name = None
@property
def age(self):
return self._age
@age.setter
def age(self, value):
if not isinstance(value, int):
raise ValueError('輸入不合法:年齡必須為數(shù)值!')
if not 0 < value < 100:
raise ValueError('輸入不合法:年齡范圍必須0-100')
self._age=value
@age.deleter
def age(self):
del self._age
xiaoming = Student('小明')
# 設(shè)置屬性
xiaoming.age = 25
# 查詢屬性
xiaoming.age
# 刪除屬性
del xiaoming.age
用@property
裝飾過的函數(shù),會將一個函數(shù)定義成一個屬性,屬性的值就是該函數(shù)return的內(nèi)容。同時,會將這個函數(shù)變成另外一個裝飾器。就像后面我們使用的@age.setter
和@age.deleter
。
@age.setter
使得我們可以使用XiaoMing.age = 25
這樣的方式直接賦值。@age.deleter
使得我們可以使用del XiaoMing.age
這樣的方式來刪除屬性。
property 的底層實現(xiàn)機制是「描述符」,為此我還寫過一篇文章。
這里也介紹一下吧,正好將這些看似零散的文章全部串起來。
如下,我寫了一個類,里面使用了 property 將 math 變成了類實例的屬性
class Student:
def __init__(self, name):
self.name = name
@property
def math(self):
return self._math
@math.setter
def math(self, value):
if 0 <= value <= 100:
self._math = value
else:
raise ValueError('Valid value must be in [0, 100]')
為什么說 property 底層是基于描述符協(xié)議的呢?通過 PyCharm 點擊進入 property 的源碼,很可惜,只是一份類似文檔一樣的偽源碼,并沒有其具體的實現(xiàn)邏輯。
不過,從這份偽源碼的魔法函數(shù)結(jié)構(gòu)組成,可以大體知道其實現(xiàn)邏輯。
這里我自己通過模仿其函數(shù)結(jié)構(gòu),結(jié)合「描述符協(xié)議」來自己實現(xiàn)類 property
特性。
代碼如下:
class TestProperty(object):
def __init__(self, fget=None, fset=None, fdel=None, doc=None):
self.fget = fget
self.fset = fset
self.fdel = fdel
self.__doc__ = doc
def __get__(self, obj, objtype=None):
print('in __get__')
if obj is None:
return self
if self.fget is None:
raise AttributeError
return self.fget(obj)
def __set__(self, obj, value):
print('in __set__')
if self.fset is None:
raise AttributeError
self.fset(obj, value)
def __delete__(self, obj):
print('in __delete__')
if self.fdel is None:
raise AttributeError
self.fdel(obj)
def getter(self, fget):
print('in getter')
return type(self)(fget, self.fset, self.fdel, self.__doc__)
def setter(self, fset):
print('in setter')
return type(self)(self.fget, fset, self.fdel, self.__doc__)
def deleter(self, fdel):
print('in deleter')
return type(self)(self.fget, self.fset, fdel, self.__doc__)
然后 Student 類,我們也相應(yīng)改成如下
class Student:
def __init__(self, name):
self.name = name
# 其實只有這里改變
@TestProperty
def math(self):
return self._math
@math.setter
def math(self, value):
if 0 <= value <= 100:
self._math = value
else:
raise ValueError('Valid value must be in [0, 100]')
為了盡量讓你少產(chǎn)生一點疑惑,我這里做兩點說明:
使用TestProperty
裝飾后,math
不再是一個函數(shù),而是TestProperty
類的一個實例。所以第二個math函數(shù)可以使用 math.setter
來裝飾,本質(zhì)是調(diào)用TestProperty.setter
來產(chǎn)生一個新的 TestProperty
實例賦值給第二個math
。
第一個 math
和第二個 math
是兩個不同 TestProperty
實例。但他們都屬于同一個描述符類(TestProperty),當對 math 對于賦值時,就會進入 TestProperty.__set__
,當對math 進行取值里,就會進入 TestProperty.__get__
。仔細一看,其實最終訪問的還是Student實例的 _math
屬性。
說了這么多,還是運行一下,更加直觀一點。
# 運行后,會直接打印這一行,這是在實例化 TestProperty 并賦值給第二個math
in setter
>>>
>>> s1.math = 90
in __set__
>>> s1.math
in __get__
90
如對上面代碼的運行原理,有疑問的同學,請務(wù)必結(jié)合上面兩點說明加以理解,那兩點相當關(guān)鍵。
讀完并理解了上面的內(nèi)容,你可以說是Python高手了。別懷疑,自信點,因為很多人都不知道裝飾器有這么多用法呢。
在我看來,使用裝飾器,可以達到如下目的:
使代碼可讀性更高,逼格更高;
代碼結(jié)構(gòu)更加清晰,代碼冗余度更低;
剛好我在最近也有一個場景,可以用裝飾器很好的實現(xiàn),暫且放上來看看。
這是一個實現(xiàn)控制函數(shù)運行超時的裝飾器。如果超時,則會拋出超時異常。
有興趣的可以看看。
import signal
class TimeoutException(Exception):
def __init__(self, error='Timeout waiting for response from Cloud'):
Exception.__init__(self, error)
def timeout_limit(timeout_time):
def wraps(func):
def handler(signum, frame):
raise TimeoutException()
def deco(*args, **kwargs):
signal.signal(signal.SIGALRM, handler)
signal.alarm(timeout_time)
func(*args, **kwargs)
signal.alarm(0)
return deco
return wraps
以上,便是我對裝飾器的所有分享。
非常感謝你能閱讀到這里,這篇文章我寫了很久,算是比較干貨的那種,文章有些長,但還是希望花點時間把這些知識點都搞明白,而不要只是收藏。
另外,很多讀者反映送書活動向來都是絕緣體,十分的扎心。于是乎Python進階者想著增加大家的歸屬感,遂決定在明天發(fā)布的文章將第一次嘗試送紅包,一次發(fā)放40個紅包,感謝大家一路的支持和相伴,歡迎大家一起來參與。
------------------ End -------------------