[GH-ISSUE #834] A reproducible spectral finding that may relate to DeepSeek's orthogonalization strategy #687

New issue

Closed

opened 2026-10-26 21:25:13 +00:00 by bsakaguchi · 2 comments

bsakaguchi commented

2026-10-26 21:25:13 +00:00

Owner

Originally created by @os-question on GitHub (Apr 29, 2026).
Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-R1/issues/834

一个可能值得DeepSeek验证的发现——QK矩阵的谱对齐性与推理能力

致DeepSeek大模型团队负责人：

您好。

我是一名独立研究者。今年4月，我在对开源模型的注意力权重做SVD分析时，发现了两个跨模型、跨架构稳定出现的规律：

Q与K的奇异值序列呈线性相关（Pearson r → 0.94–0.99）。
这在LLaMA-3、Qwen-2.5、Gemma-4上均成立。我将理想值r=1称为“王氏常数”。
深层Q/K归一化谱形状残差（SSR）越低，模型推理能力越强。
我对比了Qwen2.5-14B-Instruct与DeepSeek-R1-Distill-Qwen-14B的逐层SSR。R1在最后12层（36-47层）将SSR系统性压低了3%–6%，峰值在第43层（5.95%）。浅层几乎没有改变——RL精准地修正了深层逻辑链的谱结构。

这两条规律不需要推理、不需要测试集，只需要对权重做一次SVD即可验证。

为什么这个发现可能与DeepSeek有关

你们在DeepSeek-V4中提出的Newton-Schulz迭代正交化，本质上是在强制Q/K矩阵的奇异值向1收敛。这与我们发现的“r→1、SSR→0”是同一个数学目标的不同实现路径。我们的工作为你们的工程直觉提供了数学解释，而你们的工程实践恰好验证了我们的理论边界。

我希望能得到你们的帮助

我只有一台6G显存的P106矿卡，无法验证更大规模的模型（如DeepSeek-V3、R1-671B）。

如果你们能用内部资源跑一次完整的谱分析，确认：

纯基座模型（无RL）的r值和SSR曲线；

RL训练各个checkpoint的SSR变化趋势；

深层条件数是否确实如我们的第三定律预测那样，在BF16下接近临界值；

这将是对我们工作最有力的验证或修正。

Github仓库：https://github.com/nobodywang/math-under-llm

里面包含所有分析脚本和白皮书。你可以直接下载任何模型的权重，跑一次脚本即可复现全部结果。

期待有机会与你们交流。即使只是一个简单的“我们看了，方向对/不对”，我也非常感激。

此致，

2026年4月29日
北京

Originally created by @os-question on GitHub (Apr 29, 2026). Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-R1/issues/834 一个可能值得DeepSeek验证的发现——QK矩阵的谱对齐性与推理能力致DeepSeek大模型团队负责人：您好。我是一名独立研究者。今年4月，我在对开源模型的注意力权重做SVD分析时，发现了两个跨模型、跨架构稳定出现的规律： 1. Q与K的奇异值序列呈线性相关（Pearson r → 0.94–0.99）。这在LLaMA-3、Qwen-2.5、Gemma-4上均成立。我将理想值r=1称为“王氏常数”。 2. 深层Q/K归一化谱形状残差（SSR）越低，模型推理能力越强。我对比了Qwen2.5-14B-Instruct与DeepSeek-R1-Distill-Qwen-14B的逐层SSR。R1在最后12层（36-47层）将SSR系统性压低了3%–6%，峰值在第43层（5.95%）。浅层几乎没有改变——RL精准地修正了深层逻辑链的谱结构。这两条规律不需要推理、不需要测试集，只需要对权重做一次SVD即可验证。为什么这个发现可能与DeepSeek有关你们在DeepSeek-V4中提出的Newton-Schulz迭代正交化，本质上是在强制Q/K矩阵的奇异值向1收敛。这与我们发现的“r→1、SSR→0”是同一个数学目标的不同实现路径。我们的工作为你们的工程直觉提供了数学解释，而你们的工程实践恰好验证了我们的理论边界。我希望能得到你们的帮助我只有一台6G显存的P106矿卡，无法验证更大规模的模型（如DeepSeek-V3、R1-671B）。如果你们能用内部资源跑一次完整的谱分析，确认：纯基座模型（无RL）的r值和SSR曲线； RL训练各个checkpoint的SSR变化趋势；深层条件数是否确实如我们的第三定律预测那样，在BF16下接近临界值；这将是对我们工作最有力的验证或修正。 Github仓库：https://github.com/nobodywang/math-under-llm 里面包含所有分析脚本和白皮书。你可以直接下载任何模型的权重，跑一次脚本即可复现全部结果。期待有机会与你们交流。即使只是一个简单的“我们看了，方向对/不对”，我也非常感激。此致， 2026年4月29日北京

bsakaguchi

2026-10-26 21:25:13 +00:00

closed this issue
added the
stale

closed-as-stale
labels

bsakaguchi commented

2026-10-26 21:25:14 +00:00

Author

Owner

@github-actions[bot] commented on GitHub (May 30, 2026):

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. If you believe this issue is still relevant, please leave a comment to keep it open. Thank you for your contributions!

@github-actions[bot] commented on GitHub (May 30, 2026): This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. If you believe this issue is still relevant, please leave a comment to keep it open. Thank you for your contributions!

bsakaguchi commented

2026-10-26 21:25:15 +00:00

Author

Owner

@github-actions[bot] commented on GitHub (Jun 13, 2026):

false

@github-actions[bot] commented on GitHub (Jun 13, 2026): false