Polanyi-we know more wo can tell

·3 min read·随笔·--
SummaryAI

文章探讨了哲学家迈克尔·波兰尼的“缄默知识”理论及其在当今大语言模型领域的意外应用。作者分析了“我们知道的比能说出的更多”等核心观点,并指出LLM中编码的隐性知识与波兰尼的理论高度相似。文章进一步讨论了当前提示工程实践(如思维链)可能因过度形式化而导致知识失真,并警示随意使用“Michael Polanyi”这类强语义提示词可能干扰模型任务,强调理解原理比盲目套用更重要。

最近被"Michael Polanyi"刷屏了,大量博主在使用大模型时,引入"Michael Polanyi"带来了非常显著的效果。

源起是一条 twitter: “知道了 Michael Polanyi 这个人一个人名, 顶十万字提示词”

其实我一开始没太理解为什么会火,这不就是普通的prompt engineer 么? 而且如果在一些具体的任务中增加“Michael Polanyi”这个词,会激活和任务不相关的节点,难道不会影响原任务的效果么?

我没听过这个人名,仔细查了一下,才觉得很有意思,值得深究。

其论点很有意思,主要是:

  • tacit Knowledge:We know more than we can tell
  • from-to:在认知时,总是_从_(from)大量无意识的辅助线索,朝向(to)一个焦点目标。比如读字时,你"from"每个笔画的局部感知,"to"整个词的意义。
  • 缄默知识的传递方式, 是基于模仿而非符号化
  • 缄默知识无法被规则穷尽
  • 个人知识:知识承载者的视角不可消除
  • 知识的不可言说性 ≠ 不存在

这些论点和当今的 LLM 非常相似。就如模型编码的知识,远远多于其可表达的。

缄默知识无法被规则穷极,也解释了当前专家系统/符号主义上线天花板的存在,另一方面也表明,参数化的路径才是正确的路径。

但那是不是意味着,当前基于符号化的模型输出的模式(如 Cot),严重限制了模型的能力?——未来参数化的输出方式才是正解?

和他之前的警告很匹配呀,缄默知识被过度形式化(显式化)时会退化。

这个很容易理解,无法言说的知识很难被符号化。那么 LLM 中的 CoT,把缄默知识符号化,显然会让知识失真。怎么避免嘞?有趣,值得进一步研究。

关于from-to 的言论,我现在构建的 BookAnything 就是构建局部知识,怎么从局部到整体,涌现未来的方向,值得研究! 相较于知识的拓扑,自我演进与整体涌现,更加重要。

关于这个提示词会不会影响任务,显然的会。从 LLM 原理上讲:

  1. Attention 的语义重心偏移:每个 token 都会通过 attention 对其他所有 token 施加影响。"Michael Polanyi" 不是一个语义轻盈的词——它在预训练中与大量哲学、认识论、科学史语料共现,携带一个高密度的语义引力场。结果:把表示空间拉向一个与任务无关的方向。

  2. 隐式目标分裂:模型在生成时会隐式对齐强语义实体,会让回答更像一个"Polanyi"语境下的产物。从完成任务 X迁移到"以 Polanyi 的方式完成任务 X", 显然在完成任务和以 Polanyi 上会有个 trade-off。额外的引入 trade-off 并不是好事!

结论:不要用来路不明的提示词,抽奖是一时的!

评论