map、filter 与 reduce

是什么，为什么存在

map()、filter() 和 reduce() 都是 高阶函数（higher-order function） ：它们接收另一个函数，用这个函数描述对数据执行的操作。三者承担不同角色：map() 改变元素，filter() 决定元素是否留下，reduce() 把一串元素折叠成一个结果。它们处理的是 可迭代对象（iterable） ，因此输入可以是列表、生成器、文件对象或其他实现迭代协议的对象。

当转换函数或判断函数已经存在时，这些工具能直接组合行为。例如，map(str.strip, lines) 比再写一个只调用 strip() 的循环更紧凑；filter(is_valid, records) 也会把判断规则集中在具名函数中。它们不是所有循环的替代品：若操作需要多处分支、异常恢复或多个副作用，普通 for 循环通常更清楚。

map() 与 filter() 返回 迭代器（iterator） ，而不是列表。它们采用 惰性求值（lazy evaluation） ：创建对象时不会调用转换函数或判断函数，消费者请求下一个元素时才开始工作。这样可以逐项处理输入，但也意味着异常、日志和副作用发生在消费阶段。

reduce() 位于 functools，不是内置函数。它接收一个二元函数，把当前累加结果和下一个输入交给该函数，再把返回值用于下一轮。最终只返回一个值，因此适合表达确实具有单一累加状态、又没有更明确内置操作的归约。

在 Python 中，你也会经常用 列表推导式（list comprehension） 或生成器表达式表达相同工作。选择依据应是结果形状与可读性：已有可调用对象适合 map() 或 filter()，简单表达式适合推导式，具名内置归约如 sum()、any() 和 max() 通常比通用 reduce() 更直接。

工作原理

map(function, iterable, *iterables) 每轮从所有输入各取一个元素，再调用 function。只有一个输入时，函数接收一个实参；有三个输入时，函数就必须接收三个实参。Python 3.14 还提供关键字参数 strict，用于决定多输入长度不一致时是静默停止还是报错。

filter(function, iterable) 每轮从唯一的输入取一个元素，并对函数结果做 真值测试（truth-value testing） 。结果为真就原样产出该元素，结果为假就继续拉取输入。filter() 不返回判断函数的结果，也不会改变留下的元素。

filter(None, iterable) 是特殊形式。此时元素本身接受真值测试，所以 None、False、数值零、空字符串和空容器都会被丢弃。它适合“只保留真值”的契约，不适合把 None 当作唯一缺失标记的数据模型。

reduce(function, iterable, initial) 的运行方式可以写成状态转移：先确定累加器，然后依次计算 accumulator = function(accumulator, item)。如果提供 initial，它就是第一轮累加器，也是空输入的返回值；如果省略它，首个输入会成为累加器，空输入则抛出 TypeError。

三者的关键差异集中在消费方式与输出形状上：

拉取式执行

map() 和 filter() 由下游消费者驱动。调用 next()、进入 for 循环、构造 list()，或者把它们交给 sum()，都会拉取元素。若管道是 filter(predicate, map(transform, source))，每次请求一个输出时，管道会按需重复执行“取源元素、转换、判断”，直到找到一个保留项或输入耗尽。

这套机制不会缓存已经产出的结果。一个 map 或 filter 对象遍历完后，再次遍历只会看到剩余元素，通常就是空序列。若确实需要重复读取，应在所有权清楚的位置物化为列表，而不是让多个调用方争用同一个迭代器。

惰性也会移动失败时机。转换函数即使会对第三个输入抛出异常，创建 map 对象时仍然不会报错；消费前两个元素后，请求第三个元素才会看到异常。测试必须消费到目标分支，不能只断言迭代器成功创建。

多输入 map()

默认的多输入 map() 在最短输入耗尽时结束。这个行为与 zip() 的默认长度规则相似，适合“多余数据可以忽略”的明确契约。若长度差异代表数据损坏，Python 3.14 应使用 strict=True，并确保测试真正消费迭代器，因为长度错误也是惰性触发的。

strict=True 不会预先读取整个输入来比较长度。它仍逐项处理；只有某个输入先耗尽、而另一个输入还有元素时，才抛出 ValueError。因此，无限输入和一次性输入仍可参与 map()，但调用方必须拥有处理消费期异常的边界。

累加器契约

归约函数的返回类型必须能成为下一轮的左实参。若初始值是字典，那么归约函数每次都应返回代表新状态的字典；若第一次返回 None，下一轮就会收到 None。这正是把 dict.update() 直接塞进 lambda 经常失败的原因：该方法原地修改字典并返回 None。

初始值还定义了空输入语义和结果类型。计数通常从整数 0 开始，收集字段可能从空元组或字典开始。Python 3.14 允许写 reduce(function, data, initial=seed)；旧版本只接受第三个位置实参，因此兼容旧运行时的代码仍常写 reduce(function, data, seed)。

示例

下面四个示例依次展示转换与筛选、惰性消费、多输入配对和显式归约。所有输出都来自本地 Python 3.12.13；示例只使用同样适用于已验证目标 Python 3.14 的行为。

转换已付款订单

输入记录以分为单位保存金额，避免在这个示例中引入十进制舍入问题。判断函数先留下已付款订单，转换函数再生成展示字符串。

filter() 传出的仍是原订单字典，只有 map() 把它变成字符串。list() 明确标出物化位置；如果下游只需要逐项写入文件，也可以直接迭代 receipts 对应的 map 对象，不必先构造列表。

这个顺序也表达了业务意图：待付款订单不会进入格式化函数。若转换本身负责校验并可能产生缺失标记，就应明确缺失标记的类型，而不是随手再套一层 filter(None, ...)。

观察惰性管道

转换函数与判断函数都打印调用轨迹。第一次 next() 只拉取到首个错误事件为止，后续 list() 才消费剩余输入。

event_lines = [
    "INFO:started",
    "ERROR:disk full",
    "WARNING:retrying",
    "ERROR:timeout",
]


def parse_event(line):
    print(f"parse {line}")
    level, message = line.split(":", 1)
    return {"level": level, "message": message}


def is_error(event):
    print(f'test {event["level"]}')
    return event["level"] == "ERROR"


errors = filter(is_error, map(parse_event, event_lines))
print("pipeline ready")
print(next(errors))
print(list(errors))
print(list(errors))

pipeline ready
parse INFO:started
test INFO
parse ERROR:disk full
test ERROR
{'level': 'ERROR', 'message': 'disk full'}
parse WARNING:retrying
test WARNING
parse ERROR:timeout
test ERROR
[{'level': 'ERROR', 'message': 'timeout'}]
[]

创建管道后先打印 pipeline ready，证明此时两个函数都没有运行。第一个合格元素之前的输入仍必须处理，所以一次 next() 可以触发多次转换和判断。最后一次 list(errors) 得到空列表，因为同一个迭代器已经耗尽。

这种轨迹也说明日志顺序属于消费方控制。若生成代码把迭代器返回给另一个层级，转换异常和副作用就会跨越原函数边界发生，调用方必须知道自己接管了消费责任。

配对多个输入

operator.mul 已经是二元函数，可以直接交给 map()。两个输入长度不同，因此默认模式只生成两个结果。

from operator import mul

unit_prices = [1250, 800, 500]
quantities = [2, 3]

line_totals = list(map(mul, unit_prices, quantities))

print(line_totals)
print(unit_prices[len(quantities):])

[2500, 2400]
[500]

输出中的 [500] 是没有配对的输入，而不是 map() 的结果。若这代表漏传数量，在 Python 3.14 中应改用 map(mul, unit_prices, quantities, strict=True)；把结果交给 list() 时会抛出 ValueError，使数据不一致显式失败。

不要把这里的“多个输入并行取值”误解为并发执行。map() 在调用它的线程中逐项调用函数；若任务需要线程池、进程池或异步并发，应使用对应执行模型的 API。

用初始值定义归约

下面的归约把付款状态累积进新字典。初始空字典既处理空输入，也让第一轮左实参的类型与后续轮次一致。

from functools import reduce

statuses = ["paid", "paid", "refunded", "paid"]


def add_status(counts, status):
    return {
        **counts,
        status: counts.get(status, 0) + 1,
    }


counts = reduce(add_status, statuses, {})
empty_counts = reduce(add_status, [], {})

print(counts)
print(empty_counts)

{'paid': 3, 'refunded': 1}
{}

add_status() 返回下一轮需要的完整累加器，没有依赖外部可变状态。这个例子刻意展示通用归约；生产代码若需要复杂分组、多个字段或原地更新，具名 for 循环通常更容易检查与扩展。

若任务只是计算金额总和，应写 sum(amounts, start=0)，而不是 reduce(lambda left, right: left + right, amounts, 0)。具名操作同时传达意图与空输入规则，读者不必重新推导二元函数的含义。

陷阱

把惰性迭代器当成可重复容器

修复方法： 明确一个层级拥有消费权。需要重复读取时，在该边界只物化一次并共享列表；需要流式处理时，传递迭代器并测试部分消费、完整消费以及消费期异常。

用 filter(None, ...) 删除缺失值

修复方法： 只删除缺失标记时写出精确判断，例如 filter(lambda value: value is not None, values)。先定义字段是否允许空字符串或零，再决定真值测试是否符合契约。

忽略多输入长度差异

修复方法： 在 Python 3.14 使用 strict=True，并消费管道以触发检查。若不等长是允许的，应明确补充值规则并考虑 itertools.zip_longest()，不要依赖读者猜测默认行为。

省略不该省略的初始值

修复方法： 根据领域定义空输入结果，并提供同类型种子。没有合理单位值时，不要随意捏造默认值；可以先拒绝空输入，或者使用更能表达“可能没有结果”的接口。

让归约函数返回原地修改方法的结果

修复方法： 归约函数必须明确返回下一轮累加器。若设计本来就要反复修改一个容器，用普通循环写出修改与返回边界，通常比把副作用藏进 reduce() 更清晰。

用通用归约遮住具名操作

修复方法： 优先选择描述目标结果的内置函数。需要查看每一步累计值时用 itertools.accumulate()；只有累加状态确实自定义、而且二元转换仍容易说明时，才保留 reduce()。

延伸阅读

• Python 3.14 内置函数：map()
• Python 3.14 内置函数：filter()
• Python 3.14 functools.reduce()
• Python 3.14 函数式编程指南
• Python 3.14 itertools.accumulate()