语言混用对双语 LLM 推理能力的影响 — EMNLP 2025 论文解析

> 一句话版本：宾大团队发现，双语大模型（如 DeepSeek-R1）在思考时中英文混用不是 bug，而是一种"策略性行为"——强制它们只用一种语言反而会降低推理准确率。

核心发现

1. 语言混用从哪来？

追踪 QwQ32B 和 DeepSeek-R1 系列模型的训练阶段，发现：

RLVR（Reinforcement Learning with Verifiable Rewards）只看结果对不对（pass/fail），不管用什么语言。模型自由探索后发现混用语言能更好地解决问题，于是自然演化出这个行为。

2. 强制单语会怎样？

在 MATH500 上，强制模型只用一种语言解码，准确率下降 5.6 个百分点。

3. 什么时候混用有用？

训练了一个轻量级 probe（探针分类器），能预测某次语言切换是有益、中性还是有害的。用 probe 引导解码，准确率提升 2.92 个百分点。

4. 四种混用模式

核心论点

语言混用不是训练副产物，而是策略性推理行为。

和人类一样：

• 不同语言表达某些概念更高效（如数学符号用英文更自然）
• 混用可以填补一种语言的"词汇空白"
• 减少认知负荷（对 LLM 来说 = 用更少 token、更短上下文）

实验数据

模型覆盖：Qwen2.5-32B → QwQ32B-Preview → QwQ32B, DeepSeek-V3 → DeepSeek-R1-Zero → DeepSeek-R1 → R1-Distill 系列

关键数字：

• QwQ32B-Preview 中文 prompt：77.4% 的问题出现 code-switch，平均 7.22 次切换
• DeepSeek-R1 中文 prompt：27.1% 的问题出现 code-switch，平均 4.39 次切换
• QwQ32B-Preview 的切换间隔仅 217 tokens（频繁切换）
• SFT/RLHF 模型几乎不切换（< 1%）

因果验证：

• 减少混用 → MATH500 降 5.6%
• Probe 引导增强混用 → 提升 2.92%

分析

优势：

• 研究问题新颖且有实际意义（解释了为什么 DeepSeek-R1 思考时中英混用）
• 因果推断设计严谨（不只是相关性，做了双向干预实验）
• Probe 方案有工程价值（可以集成到解码策略中）
• EMNLP 2025 主会录用，学术认可度高

局限：

• 只研究中英双语，其他语言对未验证
• Probe 只在 MATH500 上测试，泛化性待验证
• 没有解释为什么某些切换有益/有害的深层机制
• 只覆盖了 DeepSeek 和 Qwen 系列，其他双语模型（如 GPT-4、Gemini）未涉及

与 Jay 的关联：

• 使用 DeepSeek-R1 时经常看到中英文混用的思考过程——这篇论文解释了这背后的原因
• 对 OpenClaw 多语言场景有启发：系统 prompt 中是否应该允许/鼓励模型混用语言？
• Probe 引导解码的思路可以应用到自定义推理管线中

评分