高级语法
本篇是 Python 进阶语法的核心:闭包、装饰器、迭代器、生成器、上下文管理器。它们是写出高质量、Pythonic 代码的必备能力,也是面试的高频考点。
一、闭包
1.1 什么是闭包
闭包 = 函数 + 它引用的外部变量。当一个内层函数引用了外层函数的变量,并且外层函数把内层函数返回,这个内层函数(连同它捕获的外部变量)就构成了闭包(摘自练习代码 chapter02/26.闭包和装饰器.py):
1 | def outer(): |
关键点:外层函数执行结束后,其局部变量本应被回收,但被内层函数引用后,这些变量会被「记住」,生命周期延续。
1.2 用 nonlocal 修改外层变量
闭包内要修改外层变量,必须用 nonlocal 声明(第 5 篇讲过):
1 | def counter(): |
1.3 闭包的价值
- 保存状态:如上面的计数器,不用全局变量、不用类也能携带状态。
- 装饰器的底层机制:装饰器本质上就是闭包的应用(见下一节)。
二、装饰器
装饰器是「在不修改原函数代码的前提下,给函数增强功能」的机制,本质是闭包 + 高阶函数。
2.1 基本原理与 @ 语法糖
1 | def decorator(func): |
@decorator 只是语法糖:它把下面的函数传给 decorator,再用返回的 wrapper 替换原函数名。
2.2 装饰带参数的函数(*args/**kwargs)
原函数有参数、有返回值时,装饰器要用 *args, **kwargs 透传:
1 | import time |
2.3 functools.wraps 保留元信息
装饰器替换了原函数,会丢失原函数的 __name__、__doc__ 等信息。用 @functools.wraps 保留:
1 | from functools import wraps |
经验法则:写装饰器**一律加上
@wraps(func)**,否则调试、日志、文档都会错乱。
2.4 带参数的装饰器
需要给装饰器本身传参数时,外层再套一层函数(三层嵌套):
1 | def repeat(n): # 第一层:接收装饰器参数 |
理解要点:@repeat(3) 先调用 repeat(3) 返回一个装饰器,再用它装饰 greet。
2.5 多层装饰器叠加顺序
1 |
|
简单记:装饰从下往上,执行从上往下。
2.6 类装饰器与内置装饰器
装饰器也可以是类(利用 __call__):
1 | class Timer: |
内置装饰器:@property、@classmethod、@staticmethod(见第 6 篇)、@lru_cache(见第 5 篇)。
2.7 装饰器常见应用
日志记录、计时统计、权限校验、缓存、重试、参数校验——几乎所有「横切关注点」都能用装饰器优雅实现:
1 | def retry(times=3): |
三、迭代器
3.1 可迭代对象 vs 迭代器
这两个概念容易混,务必分清(摘自练习代码 chapter02/28.迭代器与生成器.py):
- 可迭代对象(Iterable):能被
for遍历的对象,如 list、str、dict、tuple、set。它们实现了__iter__方法。 - 迭代器(Iterator):能不断
next()取值、且取完抛StopIteration的对象。实现了__iter__(返回自身)和__next__。
关系:迭代器一定是可迭代对象,可迭代对象不一定是迭代器。
1 | nums = [1, 2, 3] |
判断:
1 | from collections.abc import Iterable, Iterator |
3.2 自定义迭代器
实现 __iter__(返回自身)和 __next__(返回下一个值,取完抛 StopIteration):
1 | class MyIterator: |
实际开发中很少手写迭代器类,因为生成器(下一节)能用更简单的语法完成同样的事。
四、生成器
生成器是「按需生成数据的迭代器」,用多少取多少,不一次性生成全部,极大节省内存,是处理大数据流的核心工具。
4.1 两种创建方式
方式一:生成器表达式(把列表推导式的 [] 换成 ()):
1 | g = (x for x in range(1, 6)) |
方式二:含 yield 的函数:
1 | def my_func(): |
4.2 yield 做了什么
yield 一次做三件事:
- 返回一个值;
- 暂停函数执行(保留当前进度);
- 保存现场(下次
next()从 yield 下一行继续执行)。
这就是生成器「惰性」的根源。
4.3 内存优势(实测)
1 | import sys |
对比之下,生成器在处理千万级、流式数据时几乎是唯一选择(如逐行读大文件、生成无限序列)。
4.4 无限序列
生成器天然适合「无限序列」,因为它是惰性的:
1 | def infinite(): |
4.5 send / close 与 yield from
生成器还支持更高级的交互(日常用得较少,了解即可):
g.send(value):给生成器内部传值,并让 yield 表达式返回该值(需先next(g)启动)。g.close():手动关闭生成器。g.throw(exc):向生成器内部抛异常。yield from:在一个生成器里委托另一个生成器,简化嵌套遍历:
1 | def gen(): |
五、上下文管理器
上下文管理器用于管理资源的获取与释放(文件、锁、数据库连接等),保证无论是否异常,资源都能被正确释放。
5.1 with 语句(最常用)
1 | # 传统写法:容易忘 close,异常时还可能漏掉 |
with 是 try...finally 的语法糖,更简洁、更安全。
5.2 原理:enter 与 exit
任何实现了 __enter__ 和 __exit__ 的对象都能用于 with:
with obj as x:进入时调用obj.__enter__(),返回值赋给x。- 退出 with 块时调用
obj.__exit__(...),即使块内抛异常也会调用。
自定义上下文管理器:
1 | class Resource: |
5.3 contextlib.contextmanager(更简洁)
用 @contextmanager 装饰器 + 生成器,可以用函数快速写上下文管理器:
1 | from contextlib import contextmanager |
yield 之前的代码相当于 __enter__,yield 之后的代码相当于 __exit__,finally 保证异常时也释放。
5.4 contextlib.ExitStack
需要同时管理多个资源时,用 ExitStack 统一管理:
1 | from contextlib import ExitStack |
小结
高级语法是 Python 从「会用」到「精通」的分水岭:
- 闭包:函数 + 捕获的外部变量,能保存状态,是装饰器的底层。
- 装饰器:
@语法糖 +*args/**kwargs+@wraps,可实现计时、日志、缓存、重试等横切功能;带参装饰器是三层嵌套。 - 迭代器:可迭代对象 ≠ 迭代器;
iter()/next()与StopIteration是 for 循环的底层。 - 生成器:
yield/ 生成器表达式,惰性求值、省内存,处理大数据和无限序列的核心。 - 上下文管理器:
with+__enter__/__exit__,或用@contextmanager;保证资源正确释放。