AGI Signal.
13 NOV 2026

语言模型内部:千次对话的几何图谱

我构建了一个交互式图谱,将 Qwen3-1.7B 模型内部成千上万次对话的轨迹可视化。通过追踪残差流中的向量变化,我发现不同语言的对话在向量空间中形成了独特的几何结构:英语和中文占据相邻但分离的区域,而 Python 代码则与英语自然语言高度重叠。实验显示,数千次对话在三维投影中竟压缩成极薄的片层,揭示了模型如何处理多语言语境与代码逻辑的深层几何规律。

Read the original