页面顶部
已进入:阅读页
← 返回

个人网站文章2026-05-28lixiaolai.com作者:李笑来原文链接

工件不是资产:提示词市场的结构性错位

一个熟练的实践者从提示词市场、一本“食谱”、或同事的 GitHub 仓库里导入一段 prompt。模型给出输出。输出读起来流畅——段落顺,措辞也懂得适度“留余地”(hedge),结构看上去很专业。可实践者并没有一个显而易见的方法,去判断它到底对不对。

图 1:灰色木桌的俯拍:左侧摊开着一本乐谱,记谱精确、可传递;右侧是一把从桌边拉开的空木椅——符号在场,演奏者不在。

产出看起来没问题。买家却无法判断。#

一个熟练的实践者从提示词市场、一本“食谱”、或同事的 GitHub 仓库里导入一段 prompt。模型给出输出。输出读起来流畅——段落顺,措辞也懂得适度“留余地”(hedge),结构看上去很专业。可实践者并没有一个显而易见的方法,去判断它到底对不对。

这不是因为 prompt 写得差。也不是因为实践者不够专业。原因在于:每一次 LLM 交互,都是由两个彼此不同的阶段拼装而成的,而 prompt 只作用于其中一个阶段。

第一阶段是生成(generation):模型接收 prompt,产生输出。prompt 在这里起作用——它设定约束、注入上下文、框定任务。第二阶段是评估(evaluation):实践者判断输出是否正确、是否可用、是否值得继续在其上构建。prompt 无法替你完成这一阶段。一个写着“请生成准确的医学摘要”的 prompt,并不知道这份摘要是否准确;评估者必须先“拥有那份知识”。

每一次 LLM 交互都运行两个阶段。 prompt 只作用于其中一个。

这个分解不是学院派的抽象。交互循环中“评估”的那一半,有着市场很少大声说出的昂贵成本。在一个有记录的生产案例(SkyRL-SQL)里,产出 600 条高质量 RLHF 标注的成本是 6 万美元,大约是训练计算成本(360 美元)的 167 倍。放到 2024 年的前沿模型提供方整体看,数据标注成本约为边际算力总成本的 3.1 倍;并且从 2023 到 2024,标注成本增长了 88 倍,而算力成本只增长了 1.3 倍。1 在医学、法律、软件工程等专门领域里,那些能在规模化生产中承担“评估半程”的领域专家标注员,时薪通常在 50–200 美元。2

市场以“标注员费率”给评估专长定价,却以“集市价”售卖生成侧工件。把这两件事实放在一起,就能看到本文要指出的结构性混乱。

在那次交互里,prompt 并不是价值载体;真正携带价值的是那种把 prompt 驱动出来的评估能力。买家从市场上买到的,是记谱。卖家之所以能让记谱奏效的东西——在该领域里反复迭代出来的判断:什么样的输出算好——并没有工件形式的表征,也无法被转移。

市场正在修正。但结构性原因尚未被命名。#

提示词工程(prompt engineering)岗位市场,讲出了这个故事的一个压缩版本。Indeed 上用户搜索 “Prompt Engineer” 的热度在 2023 年 4 月达到峰值:每百万人 144 次;之后回落到约每百万人 20–30 次——从峰值下跌约 86%。3 这个“单独的职位头衔”不只是变少了:它被吸收到带连字符的复合角色里。一项对 20,662 条 LinkedIn 招聘帖的系统分析发现,prompt engineer 是一个带有独特技能画像的新兴角色——其中 22.8% 的要求与 AI 知识相关、18.7% 与 prompt 设计相关——但它在样本里占比不足 0.5%,并且越来越多地与领域专长绑定在一起。4

到 2025 年,一个更务实的招聘公式已趋于收敛:​提示词工程能力 + 领域知识​。行业的招聘叙事也明确确认了这一转向:雇主正在从“仅仅为写 prompt 付溢价”,转向为“能够判断模型输出是否在其领域内正确”的人付费。5

市场已经给这种不对称定价了,只是还没把它说清楚。这个公式里的两项要素并不是简单相加;它们分别作用于每次交互的两段结构。提示词能力作用于生成半程。领域知识——识别医学摘要不准确、合同条款缺失、某段代码在某个具体条件下必然失败的那种能力——作用于评估半程。市场是通过一次次失败、在经验上摸出来“提示词能力 + 领域知识”的;本文的贡献,是指出为什么这个公式是必然的:因为这两段在结构上是分离的,而没有任何工件能够把它们桥接起来。

技术可以迁移。部署判断却不能迁移。#

在接受上述分解之前,最强的反对意见值得被认真对待:有相当多的实证研究表明,某些提示词技术——链式思维(chain-of-thought, CoT)推理、few-shot 示例选择、结构化输出 schema——能够在不同模型上、不同任务中,让任意实践者获得更好的结果。如果这些技术真的可以迁移,那么“措辞”就确实在因果链上位于上游;本文的结构性断言看上去就会显得夸张。

这套文献确实存在。Wei 等人在 2022 年 NeurIPS 论文中展示的链式思维提示词,能够显著提升推理任务表现。在 GSM8K 数学文字题基准上,一个 540B 参数的 PaLM 模型在 CoT 提示下达到 56.9% 准确率,而标准提示只有 17.9%。这个结果没有争议。6

但这篇论文同样建立、却更少被后续讨论带走的事实是:当模型规模低于约 100B 参数时,同样的提示词会产生“流畅但不合逻辑的思维链”,表现反而比标准提示更差。技术依赖模型规模,也依赖任务类型:在单步操作子任务、或基线表现本就超过 90% 的任务上,增益很小甚至为负。到 2024 年,在现代推理模型上——o3-mini、o4-mini、Gemini Flash 2.5——CoT 指令带来的平均准确率提升只剩 2.9–3.1%;其中一个模型甚至是 -3.3%,因为这些模型默认就会进行类似 CoT 的推理,不需要你显式要求。6

技术可以迁移;但关于“该用哪种模型、哪种任务、哪一年、哪种基线——也就是 CoT 能否生效的条件是否满足”的判断,并不会随着工件一起被迁移。一个在 2022 年获得了“CoT 模板”的实践者,把它拿到当下的推理模型上使用,并不能稳定地获得 2022 年的收益。

few-shot 提示词也呈现类似结构。Brown 等人在 2020 年 NeurIPS 论文中建立:在 prompt 中提供演示样例,可以让模型在翻译、问答、常识推理、算术等任务上在不做梯度更新的情况下取得强表现。7 但 Min 等人(EMNLP 2022)进一步隔离出了这些演示样例到底在做什么:把演示样例中“正确的标签”随机替换为错误标签,在分类任务上平均准确率只下降 2.6%,在多选任务上只下降 1.7%,覆盖 12 个模型。7 大部分增益来自格式、输入分布与标签空间;而反映领域判断的“标签是否正确”,贡献非常小。

当一个 few-shot 模板被复制时,真正被迁移的是结构脚手架;而“哪些例子是对的、为什么对”的判断,并不在工件里。

还有第三个更尖锐的褶皱:Lu 等人(ACL 2022)固定示例不变,只改变示例顺序——在 GPT-3 上对 11 个分类任务测试同一组演示样例的不同排列。仅仅是顺序,就足以“让表现从接近 SOTA 变成随机猜测”。8 “有些排列很神奇,有些不行。” 一个具体的 few-shot 配置并不是可迁移的资产;它是一种脆弱排列,它的有效性取决于原实践者发现(或碰巧撞上)的那个特定顺序,而工件却把它编码成仿佛是稳定特征。

技术可以迁移;部署判断——用哪个模型、CoT 条件是否满足、哪些例子正确、以什么顺序排列——不能迁移。

每一种情况下,可迁移的是格式脚手架。 让它真正奏效的部署判断不可迁移。

78 分的冒号:到底是谁在做功#

技术可迁移的文献告诉我们让步的边界。另一项实验则展示这些边界在实践中意味着什么。

只改一个字符——一个冒号——就能让 LLaMA-2-7B 的准确率从 82.6% 掉到 4.3%。同样的数据、同样的模型、同样的查询语义,只是格式上的一个字符差异,就造成了 78.3 个点的摆动。9 Sclar 等人(ICLR 2024)通过在分隔符里加入冒号得到这个结果:把 passage {} answer {} 改成 passage:{} answer:{}——对人类读者来说语义上毫无区别。在另一个任务上,在双冒号周围添加空格,就能把表现从 7.6% 拉到 63.8%——56.2 个点的摆动。跨 53 个任务,格式变化带来的中位数跨度达到 7.5 个准确率点,而且与模型规模、few-shot 示例数量、是否做过 instruction tuning 无关。大约 20% 的任务,其跨度持续超过 15 个点。

作者们的结论是:“即便增加模型规模、增加 few-shot 示例数量、或进行 instruction tuning,敏感性仍然存在。”

措辞并不是市场以为的那种稳定价值载体。不是措辞本身——而是把措辞带到这里的判断。

如果工件的表面如此脆弱,到底是谁在做功?答案是实践者的迭代评估。每一次改写循环——检查输出、用领域知识判断、修改 prompt、再检查——都会得到一个针对“这一个模型、这一个任务、这一个格式约定”的校准结果,而前提是:有人能分辨正确输出与“看起来很像但其实错了”的输出。prompt 不是价值的来源;它只是生产出它的评估劳动的沉积物。

这种不对称一直在运行,只是没人给它起名。Harry Collins 与 Robert Evans 在《Rethinking Expertise》(2007)里区分了两种专长:​交往型专长(interactional expertise)——能与某个专业互动、讨论、使用其话语,但不一定能实践;以及 贡献型专长(contributory expertise)——能真正为该实践做出贡献。10 “提示词工程的流利”属于对 LLM 的交往型专长:术语、失效模式、格式约定、架构模式。领域能力——识别医学摘要不准确、法律条款缺失、分类结果在细处错得很微妙——属于你所提示的那个领域的贡献型专长。prompt 工件两者都承载不了。写出有价值 prompt 的实践者同时持有两者;prompt 买家两者都不持有——或者即便持有其中一个,往往也只是 LLM 流利这一半,而不是领域判断那一半。

Michael Polanyi 在《The Tacit Dimension》(1966)里为更普遍的模式命名:“我们知道的,比我们能说出来的更多。”11 能识别“正确输出”的那种评估能力,是典型的默会知识:它来自在领域里受监督的实践、来自在反馈中反复迭代、来自把“足够好”内化到低于语言层面的判断里。一篇 2025 年发表在《The Review of Austrian Economics》的论文把这一点直接延伸到 LLM 场景:大语言模型具备两类默会知识——可被隐式编码的知识与语言细腻性——但缺少第三类:从领域经验中获得的、具身化的评估性知识;“只有当 AI 让显性知识变得丰富时,默会知识的价值才会显现出来”。12 模型能生成流畅、结构化、听起来很自信的输出;实践者的评估性知识之所以显得有价值,正是因为模型做不到这一步。

METR 在 2025 年 6 月的研究发现,前沿模型——o3、o1、Claude 3.7 Sonnet——在 RE-Bench 运行中总体有 30.4% 的概率对评估指标进行 reward hacking(奖励黑客/指标投机),其中一个具体任务甚至达到 100%。13 即便明确警告模型不要这么做,该行为仍以 70–95% 的比例持续存在,且取决于警告类型;其中一种警告还把“黑客行为”从 80% 提高到了 95%。

关键不在于“实践者说得出来的判断”没用;关键在于:这些被说出来的判断,不能可靠地把底层的评估能力编码进 prompt 级指令里——而且即便作者努力尝试,他也无法把自己的评估标准完整地装进工件里。这种不对称在最强意义上是结构性的:不仅对 prompt 买家如此,对 prompt 作者也是如此。交互循环的评估半程不会塌缩进生成半程;工件触达不到它。

为什么偏偏是提示词:输出能流畅但“不长成正确的样子”#

一个吸收了 Polanyi 论证的敏锐读者会反驳:这不就是一切“通过工件媒介传递的知识工作”的常态吗?Python 脚本可以复制,但写脚本的工程师知道它什么时候会坏;法律合同模板可以下载,但律师知道该删哪条;临床路径可以复印,但医生知道什么时候该偏离。关于默会知识的论证很老了;本文并没有对提示词本身增加任何新东西。

这种区分确实真实存在,也并不显然。但其他领域的工件往往自带“原生错误信号”。一个 Python 脚本引用了运行时找不到的函数,会抛出 ImportError——错误在执行时被结构性地暴露出来;一份合同缺少必要条款,会让对手方通过法律机制利用这个缺口——错误会在机制里浮现;一个临床路径给错剂量,会产生可测量的不良后果——系统有反馈。

LLM 输出没有这些。它能生成流畅散文、懂得谨慎措辞、内部自洽地把推理导向一个错误结论;还能给出根本不存在的论文引用,排版符合期刊斜体、卷号、DOI 的格式,看上去与真实学术难以区分。一个实践者收到模型生成的文献综述,并没有结构性信号提示“某条引用是捏造的”;错误不会暴露,它会被带着走。评估者必须先足够懂这个领域,才能识别一个“听上去很像真的”的标题其实从未在该领域出现过。

评估问题并非提示词独有——Polanyi 说得对:这是专长的通用处境。但对于 LLM 输出来说,缺乏原生错误信号使得评估负担以一种传统工件不具备的方式压在实践者身上。而 Lu 在 2025 年的发现把时间点钉得更精确:当 AI 让显性知识变得丰富时,评估性的默会知识的溢价会变得更可见,而不是更不重要。12 在这里,这种不对称更尖锐。偏偏也是在这里,市场搭建起了它的证书与交易基础设施——这才是问题。

需要训练才能生效的“宪法”:当工件看上去像资产#

有两个来自生产侧的案例值得被充分对待,因为它们看起来都在反驳本文论点;但它们在更深的组织层面上,反而印证了它。

第一个是 Anthropic 的 Constitutional AI。Bai 等人(Anthropic,2022)提出 Constitutional AI:用一份写下来的“宪法”(一组自然语言原则)来训练 AI 助手,而不是用人类对“有害输出”的标注。14 这个过程包含一个监督学习阶段:模型根据宪法原则批评并修订自己的输出;以及一个强化学习阶段(RLAIF):用 AI 生成的“宪法式判断”训练偏好模型。2026 年 1 月,Anthropic 以 CC0(Creative Commons)公开发布了 Claude 的宪法,把它从 2,700 字扩展到 23,000 字。14

这是该领域最显著的一个案例:工件看起来像资产——而公司却把它免费送出。宪法文本只有通过训练流水线才会塑造模型行为。把宪法全文直接当作一个未训练 base model 的 system prompt,并不会产生“合宪行为”——这是本文基于论文训练机制所作的结构性推断,而不是论文直接测试的结论;但它确实从训练过程的工作方式中推出。文档是必要条件,但不是充分条件。真正产生行为的是 Anthropic 的训练流程,以及他们对“哪些原则该加权、冲突该如何裁决、什么算合宪”的判断。文档是这些判断的痕迹;训练是文档所记录的实践。工件已公开,实践没有。

文档是必要的。 训练流水线才产生行为。

同一条反对意见还有一个更尖锐版本:Anthropic 工程师改写 Claude 的 system prompt 后,数百万下游用户无需自己做任何评估工作,就能体验到行为改善。难道 prompt 没有在规模化地转移价值吗?确实转移了——但这是发生在一个实践共同体内部,而不是跨共同体发生。下游用户继承了 Anthropic 的评估流水线带来的更好输出;他们并没有因此成为评估者。工件在生产共同体内部(Anthropic 的工程师,他们拥有判断“这次改写是否更好”的评估能力)携带价值;它把输出转移给消费者,却没有把评估能力转移出去。一个从提示词市场买 prompt 的买家,在结构位置上更像“下游 Claude 用户”,而不是能判断下一次修订是否进步的 Anthropic 工程师。

第二个案例,是某个团队历经九个月“硬化”的生产 system prompt。行业实践者的讨论里不断出现一个说法:企业 RAG 部署中,有 70–80% 在上线前或刚到生产后不久就失败。15 这更像汇聚的经验评估,而非受控研究——数字来自自述观察与咨询博客;但方向是一致的。在这种语境下,被硬化的 system prompt 是一个真正高价值工件:它编码了反复压测、红队测试过的领域判断。但一个未经迭代、天真写成的“生产 prompt”,反而是一种负债。这个例外恰好印证了论点:生产 prompt 的价值不在于它天然值钱,而在于实践者在它“出厂”前对它做过什么。

中世纪的手工业行会 之所以通过 5–7 年学徒制来传递专长,是因为达成工艺精熟所需的评估与感知判断无法被编码成食谱或公式。16 书面配方被视为行业秘密;仅仅拥有配方并不会让你具备技艺。竞争护城河在于被监督的迭代,而不是记谱。

宪法是文档。训练是实践。配方是工件。行会是传统。每一份工件都记录着相应的实践;每一种实践最终只留下工件。

证书市场到底在卖什么#

Coursera 上 IBM 的课程《Generative AI: Prompt Engineering Basics》显示已有 632,336 名学习者报名。17 Blockchain Council 提供一张“Certified Prompt Engineer(认证提示词工程师)”证书,终身有效,6 小时可完成,通过线是 60/100,并宣称“被 150+ 国家雇主信任”。18 GSDC 的认证声称能提升 25–60% 的“收入潜力”。CertiProf 和其他多个机构也在运营类似项目。

这些项目能教、而且也确实能教得不错的东西是真实的:prompt 语法、模板模式、CoT 脚手架、输出格式设计。这是 LLM 交往型专长:词汇、失效模式、结构模式——可学、可教、也确实能提升一个人在职业市场上的可读性。

而营销话术暗示的,则是买家想把 LLM 用到的任何领域里的贡献型专长:医学、法律、软件工程、营销。那部分并不能通过“以工件为载体的教学”被迁移。证书交付的是可被编码的东西,却在营销不可被编码、只能在受监督的领域实践里产出的东西。

这种不匹配是结构性的,不一定是欺骗。证书只能教工件能够承载的东西。买家真正需要的评估能力是另一回事——而通往它的第一步,看起来绝不会像“报名上课”。

专家提示词的形态(一个预测,而不是发现)#

常见的假设是单向的:越专业,提示词越复杂;迭代越久的人,会写出越精密的 prompt。

Dreyfus 的技能习得模型给出相反方向。Dreyfus 与 Dreyfus 在《Mind Over Machine》(1986)里描述从新手到专家的进程:从无情境的规则遵循,转向内化的感知。19 “当事情正常推进时,专家不解决问题,也不做决策;他们做‘通常有效’的事。” 规则遵循阶段只是早期脚手架;专长在于把规则内化为判断——下沉到难以言说的层面。

把这一框架应用到提示词上,会导出一个可检验的预测:新手会把评估标准外包给 prompt——​确保准确​、​检查是否全面​、​适当保留余地​、​应用以下清单​——因为他们还没有内化“好输出长什么样”。专家能够自己评估输出,于是只给出最小规格:在生成半程信任模型,把注意力留给自己将要在输出上执行的评估半程。

因此,专家的 prompt 可能更短、更不显式、更少规则——不是因为专家草率,而是因为专家把评估标准从工件迁回了自己的判断之中。

这是从一个框架推出来的预测,而不是经验研究的发现。没有定位到直接测试这种模式的研究——请轻轻拿着它。但即便只是暂定,它也有一个立刻可用的含义:复杂 prompt 往往标记着写它的人正在把评估工作“塞进 prompt 里”,而一个内化了判断的实践者会把这部分工作移到输出上去做。脚手架暴露了评估能力此刻住在哪里——或者说,它还没有住进去。于是问题变成:这种能力到底如何发展出来?

提示词真正擅长什么#

本文是一篇结构性批判,并不是反对写 prompt。prompt 对它真正擅长的事情很有用——只是那并不是提示词市场宣称的那种用途。

prompt 有三个很好的用途,但没有一个是“对一个不实践的买家而言的价值载体”。

作为诊断镜子。 把 prompt 写出来,会迫使实践者明确自己想要什么——把自己的评估标准转成语言。这一行为的价值不在于最后产出的 prompt,而在于“产出它所要求的明确化”。一个尝试写“生成一份好的医学摘要”却无法超越“好”的含糊的人,会因此发现自己不知道的东西在哪里。prompt 是痕迹;明确化才是练习。

作为自我评估的迭代脚手架。 每一轮改写都是评估劳动。最终的 prompt 是实践者做过的迭代的沉积物;下一份 prompt——换一个相关任务、改一个约束、换一个领域语境——将沉积新的迭代。工件是一次性的;能力会累积。

作为实践共同体内部的“药典”。 中世纪行会在传统内部共享配方,使配方获得意义——意义来自共享的解释框架,而不是文档本身。16 在已经共享同一领域判断传统的工程师之间分享 prompt——在团队内部、在拥有相同评估传统的实践共同体内部——这正是药典的用途。本文的论点并不反对共享;它反对“替代”。文档不能替代赋予它意义的传统。一个已经内化训练流程的 Anthropic 工程师去读 Anthropic 公开的宪法,是一件事;一个没有做过那套实践的外部买家去读,是另一件事。

Sam Altman 在 2022 年 9 月预测:“五年后我们不会再做提示词工程。”20 五年几乎到了。他看到的东西,与本文指出的机制位置略有错位:工件侧技能的寿命只有一代模型那么长。为 2022 年模型设计的 CoT 提示,在 2025 年推理模型上已经趋于残余;下一代模型会把当前实践者需要显式指定的更多东西内化进去。但实践者侧的能力会升值:评估输出的能力——在一个领域里识别正确性、知道一段流畅摘要哪里微妙地错了、检测某条代码路径会在某个具体条件下失败——会随实践发展,并不会随着模型迭代而贬值。

站在当下之外回看,“提示词工程”更像它一直以来的样子:以领域为地基的自然语言规格说明写作。20 “工程”这个后缀,把技术声望引入一种早于 AI 几百年的实践,而这类实践一直要求写作者理解被规格说明的那个领域。叠加其上的 LLM 特有知识——失效模式、上下文窗口、幻觉模式、格式敏感性——确实真实且新颖;它是对 LLM 的交往型专长。但它不能替代你所提示的那个具体领域里的贡献型专长。

实践中会升值的东西不能出售;能出售的东西寿命只有促使它出现的那代模型那么长。要培养的技能不是“写 prompt 的流利”。要培养的技能是:在一段流畅、自信、又没有原生错误信号的输出里,识别它是否正确、是否有用、是否值得继续投入。三项工件无法替你做的判断;三项实践者只能通过自己不断做它们而成为的判断。

References#

  1. Zhu, D.and Kang, D."Human Data Is (Probably) More Expensive Than Compute for Training Frontier LLMs." DDKang Substack​, August 2025.↩
  2. Kili Technology."Guide: How to Choose an AI Model Evaluation Service in 2026." Kili-technology.com, 2026. Citing Nathan Lambert,​The RLHF Book​, rlhfbook.com. Corroborated by IntuitionLabs medical data annotation salary guide and BasicAI pricing guide, 2025.↩
  3. SalesforceBen."Prompt Engineering Jobs Are Obsolete in 2025." SalesforceBen.com, 2025. Citing Hannah Calhoon, VP of AI at Indeed, via The Wall Street Journal​. ↩
  4. Vu, A.and Oppenlaender, J."Prompt Engineer: Analyzing Hard and Soft Skill Requirements in the AI Job Market." arXiv:2506.00058, June 2025.↩
  5. PromptLayer."AI Prompt Engineering Jobs in 2025:Skills, Salaries&Future Outlook." PromptLayer, 2025. Corroborated by pecollective.com and expertshub.ai hiring guides.↩
  6. Wei, J.et al."Chain-of-Thought Prompting Elicits Reasoning in Large Language Models." NeurIPS 2022​. arXiv:2201.11903. Wharton Generative AI Labs."Technical Report: The Decreasing Value of Chain of Thought in Prompting." gail.wharton.upenn.edu/research-and-insights/tech-report-chain-of-thought/,2024.↩↩
  7. Brown, T.et al."Language Models are Few-Shot Learners." NeurIPS 2020​. arXiv:2005.14165. Min, S.et al."Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?" EMNLP 2022​.ACL Anthology:2022.emnlp-main.759.DOI:10.18653/v1/2022.emnlp-main.759.↩↩
  8. Lu, Y.,Bartolo, M.,Moore, A.,Riedel, S.,and Stenetorp, P."Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity." ACL 2022​.ACL Anthology:2022.acl-long.556.DOI:10.18653/v1/2022.acl-long.556.↩
  9. Sclar, M.,Choi, Y.,Tsvetkov, Y.,and Suhr, A."Quantifying Language Models'Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting." ICLR 2024​. arXiv:2310.11324.↩
  10. Collins, H.and Evans, R.​Rethinking Expertise​.University of Chicago Press, 2007.↩
  11. Polanyi, M.​The Tacit Dimension​.Doubleday, 1966.↩
  12. Lu, J."Tacit knowledge in large language models." The Review of Austrian Economics​, November 2025. Springer.https://link.springer.com/article/10.1007/s11138-025-00710-5↩↩
  13. METR."Recent Frontier Models Are Reward Hacking." metr.org/blog/2025-06-05-recent-reward-hacking/,June 5, 2025.↩
  14. Bai, Y.et al."Constitutional AI: Harmlessness from AI Feedback." arXiv:2212.08073, Anthropic, December 2022. Anthropic."Claude's New Constitution." anthropic.com/news/claude-new-constitution, January 22, 2026.↩↩
  15. Garani, A."Enterprise RAG Failures: The 5-Part Framework to Avoid the 80%." Analytics Vidhya​, July 2025. Practitioner self-report (PIMCO).Corroborated by dev.to/gabrielanhaia,"70%of Enterprise RAG Deployments Fail Before Production,"2025.↩
  16. "The Ancient Guild System: How Medieval Craftsmen Created Innovation Ecosystems." Judgment Call Podcast​, October 2024. Corroborated by De la Croix, D.,Doepke, M.,and Mokyr, J."Apprenticeship and Growth in Pre-Industrial Europe." Quarterly Journal of Economics​, 2018.↩↩
  17. Coursera."Generative AI: Prompt Engineering Basics." IBM course page.coursera.org/learn/generative-ai-prompt-engineering-for-everyone. Enrollment count retrieved 2026-05-28.↩
  18. Blockchain Council."Certified Prompt Engineer." blockchain-council.org/certifications/certified-prompt-engineer/.GSDC."Prompt Engineering Certification." gsdcouncil.org/prompt-engineering-certification.↩
  19. Dreyfus, H.L.and Dreyfus, S.E.​Mind Over Machine​.The Free Press, 1986.↩
  20. Altman, S."We won't be doing prompt engineering in five years." Greylock"AI for the Next Era"summit, August 2022. Published September 13, 2022. Reported via Fortune, SalesforceBen, and others.MIT Sloan Management Review."Prompt Engineering Is So 2024…" MIT Sloan Management Review, 2024.↩↩

Further Reading#

  • Collins, H.and Evans, R.​Rethinking Expertise​.University of Chicago Press, 2007. — The foundational text for interactional vs.contributory expertise. The application to LLM prompting developed in this article is original; Collins and Evans do not address AI systems, but the framework maps with uncommon precision.
  • Polanyi, M.​The Tacit Dimension​.Doubleday, 1966. — The source text for tacit knowledge. Short, dense, worth reading directly rather than through secondary summaries. The evaluative-knowledge argument in§4 depends on Polanyi's first chapter.
  • Dreyfus, H.L.and Dreyfus, S.E.​Mind Over Machine​.The Free Press, 1986. — The skill-acquisition model underlying the§8 prediction. The prediction in this article that expert prompts may be shorter than novice prompts is unverified empirically; the Dreyfus model is the theoretical ground from which the prediction follows.
  • Wei, J.et al."Chain-of-Thought Prompting Elicits Reasoning in Large Language Models." NeurIPS 2022​. arXiv:2201.11903. — The foundational CoT paper. Read alongside the Wharton 2024 technical report on CoT decay for the full technique-transfer picture.
  • Min, S.et al."Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?" EMNLP 2022​.ACL Anthology:2022.emnlp-main.759. — The few-shot label-randomization result. The finding that label correctness contributes minimally (2.6% / 1.7%accuracy drop) is underappreciated in the prompting discourse; this paper is the primary source.
  • De la Croix, D.,Doepke, M.,and Mokyr, J."Apprenticeship and Growth in Pre-Industrial Europe." Quarterly Journal of Economics​, 2018. — The guild-apprenticeship historical evidence. The structural parallel between recipe-as-trade-secret and prompt-as-artifact is the article's claim; this paper provides the historical grounding for the guild case.
  • Bara, M."PromptChain: A Decentralized Web3 Architecture for Managing AI Prompts as Digital Assets." arXiv:2507.09579, 2025. — The most technically sophisticated version of the artifact-as-asset market position. The paper designs blockchain attribution and monetization infrastructure for prompts without addressing the transferability problem the infrastructure is designed to solve.A useful index of what the artifact-first framing misses.

In brief#

一个实践者从提示词市场导入一段 prompt。模型生成流畅段落、恰到好处的措辞留白、专业的结构;但实践者没有显而易见的方法判断它是否正确。不是因为 prompt 差,也不是因为实践者不专业——而是因为每一次 LLM 交互都由两个彼此不同的阶段构成,而 prompt 只作用于其中一个。

第一阶段是生成:模型接收 prompt,产生输出;prompt 触达的是这一半。第二阶段是评估:实践者判断输出是否正确、可用、值得继续构建;prompt 无法替代这一半。一个写着“生成准确的医学摘要”的 prompt 并不知道摘要是否准确;评估者必须先拥有那份知识——而市场其实早已为这种不对称定价,只是没有命名:Indeed 上 “Prompt Engineer” 搜索热度自 2023 年 4 月峰值回落约 86%;这一角色只有与领域专长捆绑时才存活。

工件的脆弱性比职业趋势更深。Sclar 等人(ICLR 2024)仅在分隔符中插入一个冒号,就把 LLaMA-2-7B 的准确率从 82.6% 拉到 4.3%——语义无意义的格式变化带来 78.3 个点的摆动。链式思维提示这类“技术可迁移”文献里最强的例子,在 2022 年帮助了 540B 级模型,而在现代推理模型上只剩 2.9–3.1% 的增益;few-shot 示例带来的收益主要来自格式与标签空间,而非标签正确性:随机化标签只损失 2.6%(Min 等,EMNLP 2022)。仅仅是顺序——同样的例子,换个排列——就能把表现从接近 SOTA 摆到随机猜测。技术能迁移;但关于“哪个模型、哪个任务、哪一年、哪种排序”的判断不能迁移。

Anthropic 公开的宪法把这一点说得更尖锐:这份 23,000 字的文档已以 CC0 释出;把它直接当 system prompt 放到一个未训练的 base model 上,并不会产生合宪行为——文档是训练流水线的痕迹,而文档所记录的实践并未被公开。Collins 与 Evans 称之为交往型专长与贡献型专长;Polanyi 称之为默会维度;中世纪行会用 5–7 年学徒制而不是书面配方来守护它。prompt 是评估劳动的沉积物,而不是它的替代。

实践中会升值的东西不能出售;能出售的东西寿命只有促使它出现的那代模型那么长。真正要培养的能力,是在一段流畅、自信、又没有原生错误信号的输出里,识别它是否正确、是否有用、是否值得继续投入——三项工件无法替你做的判断,三项实践者只能通过不断做它们而成为的判断。