形式能力与功能能力(Formal vs Functional Linguistic Competence)
一句话定义:把”语言能力”拆成两层——“掌握语言规则与模式”(形式)和”在真实世界里理解和运用语言”(功能)。这是把”LLM 到底懂不懂”这场站队式争论,变成”可分别测量”的最有分量的中立框架。
1. 出处
Mahowald, Ivanova, Blank, Kanwisher, Tenenbaum, Fedorenko(*共同一作),《Dissociating language and thought in large language models》,预印本 arXiv:2301.06627;正式发表于 Trends in Cognitive Sciences, 2024-03,DOI 10.1016/j.tics.2024.01.011。
2. 核心区分(arXiv 摘要逐字)
“we evaluate LLMs using a distinction between formal linguistic competence — knowledge of linguistic rules and patterns — and functional linguistic competence — understanding and using language in the world. We ground this distinction in human neuroscience, which has shown that formal and functional competence rely on different neural mechanisms.”
翻译:形式语言能力(语言规则与模式的知识)与功能语言能力(在真实世界里理解和运用语言),二者依赖不同的神经机制。
3. 对 LLM 的直接判断(摘要逐字)
“Although LLMs are surprisingly good at formal competence, their performance on functional competence tasks remains spotty and often requires specialized fine-tuning and/or coupling with external modules.”
翻译:LLM 在形式能力上出人意料地强,但在功能能力上表现参差不齐,往往需要专门微调、和/或与外部模块耦合。
4. 为什么它是”钥匙”
| 阵营 | 在这把尺子下的位置 |
|---|---|
| 随机鹦鹉(Bender) | ≈ 只承认形式能力 |
| Sparks of AGI(Bubeck) | ≈ 主张功能能力已相当程度出现 |
| 本文的立场 | 形式能力已很强;功能能力仍在补课(工具、检索、强化学习) |
- 它不预设 LLM 懂或不懂,而是把问题拆成两种可分别测量的能力。
- 它植根于人类神经科学:人脑的”语言网络”与”推理/思维网络”长期被认为可分离——这正是 能力维度 中”知识 vs 推理两条轴”的认知科学版本。
5. 与”两条轴”的关系
- 形式能力 ↔ 语言:LLM 的强项。
- 功能能力 ↔ 思维/世界知识/社会认知:LLM 需要额外手段补强的部分。
- 与之呼应的一手证据:知识操纵研究(arXiv:2309.14402)显示”知识存得下≠用得上”;逆向诅咒(arXiv:2309.12288)显示”A 是 B”推不出”B 是 A”。
相关页面
- LLM 真的只是排字游戏吗 —— 完整论证
- 随机鹦鹉 —— 被这个框架”翻译”的否定方
- 中文房间 —— 哲学原点
- 能力维度 —— 同一个”分层”思想在工程侧的对应
来源
- 《LLM 真的只是排字游戏吗?》理解之争底稿:
processed/LLM排字游戏-理解之争与哲学层数据底稿.md - Mahowald et al., Dissociating language and thought in large language models, arXiv:2301.06627;Trends in Cognitive Sciences, 2024, DOI 10.1016/j.tics.2024.01.011