神经网络可解释性被AI解决了？90%神经元只有一个功能

这是AI领域一项极为关键的进展。

本周五，OpenAI可解释性团队负责人Nick Cammarata发布了一篇长文，在AI界引发震动。他指出，借助现代智能体工具，即便是拥有万亿参数的大模型也基本可读。我们对神经网络“黑箱”的看法被证明是一种误解，原先预期的障碍大多并不存在，可解释性问题有望被攻克，而且可能很快实现。

这或许是可解释性领域的“苦涩教训”：简单的方法，在足够大的规模下，就能奏效。

我们能够训练出强大的AI，却未必清楚它为何会给出特定回答。如果让AI来研究神经网络的“内部运作”，能否揭开这个黑箱？答案似乎是肯定的。

Nick的文章虽然篇幅很长（阅读需要65分钟），但已有一些研究者对其进行了梳理。简单来说，神经网络并非纠缠的线团（多义性的观点是错误的）。你可以直接研究它们自身的神经元，而无需先用第二个模型来“解开”它们。在Qwen-32B中，90%的神经元仅承担一项任务。

这项工作最终可能让我们能够有目的地设计大型语言模型，并塑造它们的行为方式。

让我们看看他大致说了什么：

过去几年，AI可解释性领域一直有一个令人沮丧的前提：神经网络像一团打了死结的线团。当神经元数量不够用时，模型会将毫不相干的概念折叠并塞进同一个神经元，只因为它们恰好互不干扰。要理解它，必须先训练第二个模型（例如稀疏自编码器SAE）来解开这个结。这个被称为“叠加”（superposition）的假说，是整个安全研究路线的基础。

而现在，亲手打下这个地基的人站出来说：是我们看错了，神经网络本来就是清晰的。

“猫和汽车”，也许从来就是同一个东西

机制可解释性试图追踪神经元和计算回路，解释模型如何得出答案。其中一个困难是：一个神经元经常对看似毫无关联的东西产生响应。经典案例来自视觉模型InceptionV1：同一个神经元既识别猫脸，又识别汽车前脸。

过去的重要解释是“叠加”：模型的空间有限，于是将互不相关、又不容易同时出现的概念压进同一组神经元。研究者因此尝试用稀疏自编码器等工具，将这些表征重新拆解成可理解的特征。

Nick如今认为，这个著名案例被误解了。

重新检查图片和连接关系后，他发现，猫脸和汽车前脸共享一个特征：V形。这个神经元还与V形火焰、狐狸脸等相关，而圆形会使其产生负向响应。换句话说，“猫和汽车”是人类给出的分类，网络找到的可能是跨越这些类别的形状规律。

他由此提醒：神经元未必像名词，负责给物体贴标签；它们也可能像动词，负责区分模式，将信息送往不同的下游回路。

我们眼中的混乱，有时只是模型使用了我们没想到的分类方式。

多义性的真相：像树枝一样分叉

另一些神经元确实有多种用途，但作者认为，这也未必源于无关概念的随意混合。

Nick提出了“递归泛化”（recursive generalization）：神经元从一个模式出发，逐渐长出相关分支，分支又继续生长。一个识别“iy”的神经元，可以扩展到“diy”，再扩展到完全不含“iy”的“do it yourself”。一个地质神经元会分枝到名为Cesium的地理JavaScript库。这不是在高维空间里藏匿信息，而是在语义相邻的领地上生长。他强调，叠加（superposition）是最激进、也最难证伪的解释，理应成为最后假设，而他自己曾当了它多年的信徒。

只看训练结束后的响应，这些项目可能显得关系松散；但沿着训练过程追踪，却能看见它们是如何连接起来的。

工具也会制造误解。团队发现，一个被自动解释工具标为“多义逗号神经元”的单元，实际与科罗拉多州有关：它响应当地电话区号、俚语等信息，增强它还会让模型倾向于规划徒步旅行。逗号只是模型汇总前文语境的位置。盯着响应发生的字符，反而会错过真正的含义。

2023年，OpenAI的自动可解释性项目用最宽松的标准也只找到约1.7%的可解释神经元，如今在对Qwen3-32B的初步审查中，作者估计，约90%的神经元正、负“极”各自有一项主要工作，约7%有两项相关工作，约2%—4%尚未理解。这个数字取决于激活阈值，以及如何界定“一项工作”。

稠密模型和MoE模型的结论相近，作者在Kimi K3上得到了同样的结果：他们在Kimi K3上做出了已知首个万亿参数模型的归因图，在捡到钱包的问题里，钱包、现金、证件连通失物招领与诚实，最后输出“归还”。用新工具重审当年的GPT-2 XL，约70%的神经元也已大致是“一回事”。

让AI科学家研究AI内部

这项工作的另一条主线，是智能体改变了研究的规模。

AI可以检查神经元样本、提出解释、追踪上下游连接，再设计实验寻找反例。研究者还让智能体检查了十万张归因图，作者本人也检查了数千张。

如何避免AI编造出一个听起来合理的故事？

一种测试是：第一个智能体研究神经元并写下解释；第二个只看解释，生成一个预计能强烈激活它的新样本，再交给网络测量。作者报告，有些样本的激活强度，超过了他们从百亿token语料中找到的所有例子。团队也生成“看起来接近、实际不该触发”的反例，并通过移除神经元、增强激活等干预，检查解释能否预测模型行为。

解释由此变成了可以被实验推翻的假说。

Cammarata还提出了一个反直觉的观点：理解更多网络，有时会让剩下的部分更容易理解。像填字游戏一样，相邻答案越多，一个空格能填什么就越受约束。较大模型的神经元也可能分工更细，反而更容易辨认。

这让他想到可解释性领域自己的“苦涩的教训”：简单的观察、假设与检验，在足够大的规模下，也许比不断设计精巧的拆解方法更有效。

这仍不是“可解释性已经解决”的宣言。注意力机制、完整模型审计，以及如何将理解转化为可靠的安全改进，都有大量工作待做。但它提供了一个值得认真检验的方向：如果神经网络内部已有可追踪的组织，未来的突破，可能来自一座由AI科学家参与运转的实验室，持续观察模型、提出问题，并逐个验证答案。

参考内容：

https://already-clean.goodfire.com/

https://news.ycombinator.com/item?id=50105647

本文来自微信公众号“机器之心”（ID：almosthuman2014），作者：关注大模型的，36氪经授权发布。