形式能力与功能能力(Formal vs Functional Linguistic Competence)

一句话定义:把”语言能力”拆成两层——“掌握语言规则与模式”(形式)和”在真实世界里理解和运用语言”(功能)。这是把”LLM 到底懂不懂”这场站队式争论,变成”可分别测量”的最有分量的中立框架。


1. 出处

Mahowald, Ivanova, Blank, Kanwisher, Tenenbaum, Fedorenko(*共同一作),《Dissociating language and thought in large language models》,预印本 arXiv:2301.06627;正式发表于 Trends in Cognitive Sciences, 2024-03,DOI 10.1016/j.tics.2024.01.011。

2. 核心区分(arXiv 摘要逐字)

“we evaluate LLMs using a distinction between formal linguistic competence — knowledge of linguistic rules and patterns — and functional linguistic competence — understanding and using language in the world. We ground this distinction in human neuroscience, which has shown that formal and functional competence rely on different neural mechanisms.”

翻译:形式语言能力(语言规则与模式的知识)与功能语言能力(在真实世界里理解和运用语言),二者依赖不同的神经机制。

3. 对 LLM 的直接判断(摘要逐字)

“Although LLMs are surprisingly good at formal competence, their performance on functional competence tasks remains spotty and often requires specialized fine-tuning and/or coupling with external modules.”

翻译:LLM 在形式能力上出人意料地强,但在功能能力上表现参差不齐,往往需要专门微调、和/或与外部模块耦合。

4. 为什么它是”钥匙”

阵营在这把尺子下的位置
随机鹦鹉(Bender)≈ 只承认形式能力
Sparks of AGI(Bubeck)≈ 主张功能能力已相当程度出现
本文的立场形式能力已很强;功能能力仍在补课(工具、检索、强化学习)
  • 它不预设 LLM 懂或不懂,而是把问题拆成两种可分别测量的能力。
  • 它植根于人类神经科学:人脑的”语言网络”与”推理/思维网络”长期被认为可分离——这正是 能力维度 中”知识 vs 推理两条轴”的认知科学版本。

5. 与”两条轴”的关系

  • 形式能力 ↔ 语言:LLM 的强项。
  • 功能能力 ↔ 思维/世界知识/社会认知:LLM 需要额外手段补强的部分。
  • 与之呼应的一手证据:知识操纵研究(arXiv:2309.14402)显示”知识存得下≠用得上”;逆向诅咒(arXiv:2309.12288)显示”A 是 B”推不出”B 是 A”。

相关页面

来源

  • 《LLM 真的只是排字游戏吗?》理解之争底稿:processed/LLM排字游戏-理解之争与哲学层数据底稿.md
  • Mahowald et al., Dissociating language and thought in large language models, arXiv:2301.06627;Trends in Cognitive Sciences, 2024, DOI 10.1016/j.tics.2024.01.011