最近被"Michael Polanyi"刷屏了,大量博主在使用大模型时,引入"Michael Polanyi"带来了非常显著的效果。
源起是一条 twitter: “知道了 Michael Polanyi 这个人一个人名, 顶十万字提示词”
其实我一开始没太理解为什么会火,这不就是普通的prompt engineer 么? 而且如果在一些具体的任务中增加“Michael Polanyi”这个词,会激活和任务不相关的节点,难道不会影响原任务的效果么?
我没听过这个人名,仔细查了一下,才觉得很有意思,值得深究。
其论点很有意思,主要是:
- tacit Knowledge:We know more than we can tell
- from-to:在认知时,总是_从_(from)大量无意识的辅助线索,朝向(to)一个焦点目标。比如读字时,你"from"每个笔画的局部感知,"to"整个词的意义。
- 缄默知识的传递方式, 是基于模仿而非符号化
- 缄默知识无法被规则穷尽
- 个人知识:知识承载者的视角不可消除
- 知识的不可言说性 ≠ 不存在
这些论点和当今的 LLM 非常相似。就如模型编码的知识,远远多于其可表达的。
缄默知识无法被规则穷极,也解释了当前专家系统/符号主义上线天花板的存在,另一方面也表明,参数化的路径才是正确的路径。
但那是不是意味着,当前基于符号化的模型输出的模式(如 Cot),严重限制了模型的能力?——未来参数化的输出方式才是正解?
和他之前的警告很匹配呀,缄默知识被过度形式化(显式化)时会退化。
这个很容易理解,无法言说的知识很难被符号化。那么 LLM 中的 CoT,把缄默知识符号化,显然会让知识失真。怎么避免嘞?有趣,值得进一步研究。
关于from-to 的言论,我现在构建的 BookAnything 就是构建局部知识,怎么从局部到整体,涌现未来的方向,值得研究! 相较于知识的拓扑,自我演进与整体涌现,更加重要。
关于这个提示词会不会影响任务,显然的会。从 LLM 原理上讲:
-
Attention 的语义重心偏移:每个 token 都会通过 attention 对其他所有 token 施加影响。"Michael Polanyi" 不是一个语义轻盈的词——它在预训练中与大量哲学、认识论、科学史语料共现,携带一个高密度的语义引力场。结果:把表示空间拉向一个与任务无关的方向。
-
隐式目标分裂:模型在生成时会隐式对齐强语义实体,会让回答更像一个"Polanyi"语境下的产物。从完成任务 X迁移到"以 Polanyi 的方式完成任务 X", 显然在完成任务和以 Polanyi 上会有个 trade-off。额外的引入 trade-off 并不是好事!
结论:不要用来路不明的提示词,抽奖是一时的!