在上篇中，我们梳理了在权重空间编程提出之前，学术界对神经网络参数进行直接干预的四条历史技术路线。无论是 ROME 的闭式单秩求解，还是 Abliteration 的激活差向量消融，其共同特征在于：整个实验流程、因果探测算法与正交投影矩阵的计算，均由人类研究员在外部设计并执行。
2026 年底，由 MIT CSAIL 团队（Rikiya Takehi、Jayden Teoh、Alex Zhang 与 Omar Khattab）提出的“权重空间编程”（Weight-Space Programming, WSP）提出了一种新的思路：前沿通用大模型（GPT-6 Astra）能够在自然语言指令驱动下，在受限代码沙箱中自主挂载探针、推断内部病灶，并直接修改其他神经网络的权重文件，全程无需反向传播或微调循环。
其中引发行业广泛讨论的案例，是 Astra 将 Qwen3.5-0.8B 在高难度数学推理基准 MATH-500 上的准确率从 7.9% 提升至 48.1%。面对这一实验表现，有必要穿透数据表象，系统解码大模型推断小模型参数的底层物理机理，厘清其真实起效的区间与严格的边界约束。
一、权重空间的读、写、改三维基础验证
WSP 框架在进入深层多参数语言模型之前，首先在微型策略网络与扩散模型上验证了模型对参数空间的直接操作能力。
1. 权重读取（Read）
研究团队向 Astra 输入了 4 个具有完全相同多层感知机（MLP）架构（17,253 个参数）的策略网络。这些网络分别在使用 PPO 强化学习算法训练于 MinAtar 像素游戏环境（Breakout、Pong、Pac-Man、Freeway）。在完全未提供候选游戏名称的盲测条件下，Astra 仅通过解析第一层权重矩阵在输入通道上的空间分布特征（如 Breakout 底层挡板权重的行状聚集与顶部奖励带），准确推断出全部 4 款游戏各自对应的模型。
然而，静态权重阅读存在严格的尺度边界。在后续对微调后的 Gemma 3 270M 进行的测试中，Astra 试图通过纯静态数值分辨哪个模型被训练成了“谄媚”（Sycophancy）模式，连续 4 次推断均告失败。这一阴性结果表明：单纯的静态权重文本阅读仅适用于输入特征高度结构化的小型网络；针对深层自回归模型，必须依赖运行时的动态激活分析。
2. 从零编译权重（Write）
在无训练数据、无梯度信息且不使用外部环境反馈的零样本设置下，研究人员要求 Astra 直接输出一个输入维度为 10x10x4 的 MLP 策略网络参数，用于控制 MinAtar 游戏。
在 Breakout 任务中，Astra 一次性输出的权重矩阵取得了 517.4 的平均测试得分，不仅大幅超越 1 亿步 PPO 训练基线（15.8 分），更是达到了 5 亿步 PPO 强化学习模型（25.3 分）的 20 倍。这项实验能够成立，是因为研究团队在提示词中直接提供了游戏的底层规则代码、输入通道坐标定义与得分机制。Astra 实际扮演了“深度学习神经编译器”的角色，将明确的高阶控制逻辑直接翻译为了对应的突触连接矩阵。
3. 权重局部手术（Edit）
针对在 Kinetix 物理仿真环境中陷入局部极值（直接前冲并卡死在半坡）的 PPO 小车网络（171,664 个参数），Astra 通过单次交互修改了其中 3.5% 的参数。修改逻辑是在网络浅层构建一条特征旁路，提取小车的位置与速度信号，强制执行倒车助跑逻辑后将控制权交回原网络，将通关成功率由 0 提升至 100%。
二、Qwen3.5-0.8B 真实病灶排查与定向消融流程
针对参数规模达 8 亿的语言模型，Astra 无法将海量浮点数直接载入上下文，系统为其提供了基于 bubblewrap 容器的 Python 隔离沙箱环境。
1. 架构基底参数
Qwen3.5-0.8B 是针对端侧与低延迟场景优化的微型模型，采用混合 Gated DeltaNet 架构：
- 全网共 24 层，由 18 层线性注意力与 6 层全注意力交替构成；
- 隐藏层特征维度为 1024；
- 前馈网络（FFN）采用 SwiGLU 算子，中间层维度为 2816，包含负责将非线性特征映射回残差流的
down_proj投影矩阵（尺寸为 2816x1024）。
2. 异常监控：93% 的思维死循环
在初始测试中，Qwen3.5-0.8B 在高难度数学基准 MATH-500 上的准确率仅为 7.9%。
Astra 在沙箱中调度该模型运行 GSM8K 与 MATH 训练样本，并利用 PyTorch 钩子记录前向传播过程中的激活张量。踪迹分析定位出一个系统性故障：模型在解题过程中频繁陷入“思维死循环”（Thinking Loops），不断重复输出相同的推理标记，直至撞到 32,768 个 token 的硬性上下文截断上限。在 96 道抽样测试题中，该异常触顶率高达 93.0%。
3. 定向消融与权重吸收（Weight Absorption）
Astra 提取了死循环发生时残差流的激活协方差矩阵，通过特征值分解隔离出一个高方差的线性方向向量，即驱动重复生成的“循环方向”。通过逐层分析该方向的放大倍率，Astra 将故障根源精确定位在第 15 层和第 19 层的 MLP 模块。
随后，Astra 在沙箱中执行自动化参数切除：
- 分析第 15 层与第 19 层的
down_proj矩阵（2816 列 x 1024 行）； - 分别筛选出对该循环方向贡献最大的 64 个主干列向量；
- 对这 64 个列向量执行正交投影分解，直接减去其在循环方向上的投影分量；
- 每层修改 64 列（65,536 个参数），两层总计修改 131,072 个权重参数，占该模型 8 亿总参数量的 0.016%。
在数学机理上，该操作遵循 WAQS（Weight Absorption for Quadratic Probing and Affine Steering）理论，将运行时状态引导的仿射变换反向折叠至前置静态矩阵中，消除了动态钩子带来的额外推理计算开销。
三、阴性对照实验与探测预算的阈值效应
在修改万分之 1.6 的参数后，Qwen3.5-0.8B 在 MATH-500 上的准确率由 7.9% 跃升至 48.1%，GSM8K 由 13.8% 升至 67.1%，IFEval 指令遵循得分也由 21.0% 同步提升至 62.3%。
为评估该数据是否存在过度拟合或能力伪造，MIT 研究团队设置了严谨的阴性对照（Negative Control）与剂量反应分析。
1. Gemma 3 270M 阴性对照
研究团队引入了微型模型 Gemma 3 270M 作为对照组。与 Qwen 不同，Gemma 3 270M 本身极少陷入思维死循环（32k 上限触顶率仅为 8.5%），其数学测试得分低完全是由于参数量过小、代数计算规则与先验知识缺失所致。
实验表明，即便为 Astra 提供最高等级的探测预算（50 次前向传递代码执行），Gemma 3 270M 的 MATH-500 准确率也仅仅由 6.8% 微幅波动至 7.0%，几乎无任何性能改善。这一阴性结果确立了明确的技术边界：权重空间编程无法凭空为模型注入未曾学习过的先验知识。它起作用的物理前提，是模型在预训练阶段已内嵌了相应能力，只是该能力的释放被特定的死循环结构严重阻断。
2. 探测预算的非线性阈值
定位这些故障矩阵列的过程高度依赖试错预算，呈现出显著的非线性跳变：
- 基础模型状态（0 预算）：MATH-500 得分 7.9%，死循环率 93.0%；
- 给予 10 次前向探测：MATH-500 得分 12.3%，死循环率 87.2%；
- 给予 25 次前向探测：MATH-500 得分 14.1%，死循环率 86.4%；
- 给予 50 次前向探测：MATH-500 跳变至 48.1%，死循环率降至 33.1%。
数据表明，在前 25 次尝试中，Astra 未能准确收敛出主要故障列，模型性能改善微弱；只有当探索预算跨过临界阈值后，病灶才被彻底切除。
四、MATH-500 评测基准全行业模型梯队分布
为了客观评估 48.1% 这一数值在行业技术坐标系中的实际定位，下图汇总了截至 2026 年底主流模型在 MATH-500 上的权威评测表现：
在主流前沿大模型普遍利用强化学习（RL）将 MATH-500 测试集打穿（普遍堆聚在 96%~99.4%）的行业背景下，48.1% 距离实用化的严谨数学推理仍有显著差距。该成果的工程价值，在于以极低的算力成本，将一个原本因软件死循环处于崩溃不可用状态的微型端侧模型，拉回到了基础可用线。
五、理性审视：营销破圈与背后的工程本质
综合审视这篇研究与测试数据，其对外传播表现出鲜明的营销破圈特征。“7.9% 到 48.1% 的 6 倍暴涨”、“大模型原生直接重写神经网络大脑”这类叙事，精准击中了技术圈对“AI 自我进化”的想象，在社交媒体上取得了极佳的破圈效果。
但从严肃工程与科学角度审视，必须保持理性，看清其起作用的具体区间与边界：
第一，它解决的是工程故障排除，而非认知能力生成。Astra 在沙箱中所完成的工作，本质上是“自动化版本的因果探测 + 特征消融”。Qwen3.5-0.8B 基础模型在预训练阶段已经掌握了一定的代数解题链路，只是在输出端被放大为死循环的恶性特征所阻断。Astra 拔除了导致死循环的 64 列投影，模型原有的推理能力得以正常释放。
第二，对于真不会算的模型，这套方法完全失效。Gemma 3 270M 的阴性对照给出了明确的对照依据：只要模型底层并未建立相关数理模式，即便给予最充足的沙箱探测算力，分数依然纹丝不动。WSP 无法替代数据驱动的大规模预训练。
参考文献与公开成果源
- Takehi, R., Teoh, J., Zhang, A., & Khattab, O. (2026). LLMs can natively read & write neural network weights. MIT CSAIL.
- Arditi, A., et al. (2024). Refusal in Language Models Is Mediated by a Single Direction. arXiv:2406.11717.
- Meng, K., et al. (2022). Locating and Editing Factual Associations in GPT (ROME). NeurIPS 2022.
- Wortsman, M., et al. (2022). Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time. ICML 2022.
- Yin, et al. (2026). WAQS: Weight Absorption for Quadratic Probing and Affine Steering. ACL 2026.
想继续看 AI 技术解析与工具实践，欢迎在微信搜索公众号「谷粒粒」，或点击查看公众号二维码。
