页面顶部
已进入:阅读页
← 返回

个人网站文章2026-10-04lixiaolai.com作者:李笑来原文链接

用户就是 AI 的上限

AI 抬高下限;在大多数研究里,它几乎为所有人抬高下限,对最弱的用户尤其如此。同样的模型对任何人都可以买到。上限则是另一回事,而且它是个人性的:AI 会变成用户能够指定出来的样子。当目标只存在于用户那里时,这一点最明显——那是一套模型看不见、任何提示词库也给不了的标准。它发生两次:一次在工作被下达时,另一次在结果被采纳或搁置时。

Footnotes

  1. 在 arXiv、机构语料和一般网络中检索:没有发现哪项研究把一个现实的非创造性任务固定住,同时改变用户与模型,并在两者之间分解结果方差。“未发现”不是“不存在”。最接近的研究包括:Jahani 等人(在一次模型升级中观察用户,一类任务);Haase 等人(研究者固定提示词,不是用户;见延伸阅读);Otis 等人(一个模型,不同用户,没有模型比较)。 ↩

  2. Jahani, E., Manning, B.S., Zhang, J., TuYe, H.-Y., Alsobay, M., Nicolaides, C., Suri, S., and Holtz, D. “Prompt Adaptation as a Dynamic Complement in Generative AI Systems.” arXiv:2407.14333, v7, 2026 年 1 月 7 日修订(早期标题为 “As Generative Models Improve, We must Adapt Our Prompts”)。https://arxiv.org/abs/2407.14333。两项预注册、随机、盲法在线实验(复现任务 1,893 名参与者;logo 任务 1,857 名;合计 3,750 名)。v7 摘要把复现任务描述为“有固定评价标准和明确目标的任务”;发表版摘要称其为“有边界且目标清楚的任务”。logo 任务中的数字(超过 90% 来自模型、约 7% 来自提示适应)以及复现任务的拆分(约 51% 来自模型、约 48% 来自提示适应)来自 v7。任务使用图像、DALL-E 2 与 3(2022–23 年模型)以及付费在线样本,由机器评分(余弦相似度;LLM 评审)。这个拆分分解的是平均收益;它不测量用户之间的分布差异。用户适应项是对更好模型的观察到的回应,不是随机分配。第三组实验中 GPT-4 改写了参与者提示词,降低了复现任务收益(arXiv 图中为 58%);正文没有纳入它,因为它测量的是改写器,而不是用户。 ↩ ↩2 ↩3

  3. Jahani, E., et al. Information Systems Research​,2026 年 4 月 30 日在线发表,DOI 10.1287/isre.2025.2029。发表版摘要(通过 Crossref 记录阅读)写到,“大约一半……来自模型本身,另一半来自用户自然调整提示词”,并说自动提示词改写在复现任务中“显著损害了表现,而在这个任务中,精确的用户控制最重要”。 ↩

  4. Conger, J.A., and Kanungo, R.N. “The Empowerment Process: Integrating Theory and Practice.” Academy of Management Review 13(3), 1988。此处依据赋能研究的二手综述来描述:一种是权力分享的关系意义,另一种是后来的自我效能感的动机意义;本文没有阅读该论文原文,也没有引用其措辞。 ↩

  5. Online Etymology Dictionary, “empower.” https://www.etymonline.com/word/empower。17 世纪 50 年代以来的第一义:“给予权力或权限,依法授权”。 ↩

  6. Turing, A.M. “Computing Machinery and Intelligence.” Mind 59(236), 1950, 第 6 节,引用 Lovelace。阅读的是一份课程托管全文:https://courses.cs.umbc.edu/471/papers/turing.html。Lovelace 自己的文本见她 1843 年翻译 Menabrea 时所写的 Note G;二手来源给出的措辞是 “no pretensions whatever to originate anything”,其中有 “whatever”,Turing 的引用省略了这个词。 ↩ ↩2

  7. Brynjolfsson, E., Li, D., and Raymond, L. “Generative AI at Work.” NBER Working Paper 31161, 2023 年 4 月,2023 年 11 月修订。https://www.nber.org/papers/w31161。数字以及“提示性证据”这句话来自 NBER 摘要。后来发表的版本(arXiv:2304.11771 v2)报告了 5,172 名客服、平均 15% 的提升以及低技能员工约 30% 的提升;用顶尖员工文本训练模型的描述见该 arXiv v2 正文第 2.3 节。单家公司、单一任务、交错上线、观察性研究;传播最佳实践是作者的假设,不是被检验过的机制。 ↩ ↩2

  8. Otis, N., Clarke, R., Delecourt, S., Holtz, D., and Koning, R. Management Science​, 2026 年 7 月 10 日,DOI 10.1287/mnsc.2024.06909;同行评议版本见 https://escholarship.org/uc/item/0fb001r8(摘要、第 3–4 页、第 22 页)。低表现者效应比高表现者效应低超过 0.20 个标准差。工作论文(HBS WP 24-042,2023 年 12 月)给出了低表现者“约 8%”的说法;那个数字只属于工作论文。统计功效有限,机制来自日志和调查,而不是随机化本身。 ↩ ↩2

  9. Anthropic, “Anthropic Economic Index: January 2026 report.” https://www.anthropic.com/research/anthropic-economic-index-january-2026-report。复杂度被测量为理解提示词和回答所需的受教育年限。美国各州层面,r = 0.928(N = 50)。提示复杂度也跟踪任务难度,因此这个相关性不能把用户输入与任务本身隔离开来;引用句是 Anthropic 的解释,且来自厂商。 ↩

  10. METR, “Time Horizon 1.1,” 2026 年 1 月 29 日。https://metr.org/blog/2026-1-29-time-horizon-1-1。任务时长按 METR 任务集上 50% 可靠性衡量;区间为 131 天 [107, 161],自 2024 年以来的翻倍时间为 89 天。部分加速来自对旧模型的下调重估,而且最长任务中有人工基准的数量很少。 ↩

  11. METR, “Measuring AI Ability to Complete Long Tasks,” 2025 年 3 月 19 日。https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/。全窗口估计(2019–2025 年)为“大约每 7 个月”翻倍。 ↩

  12. Merali, A. “Scaling Laws for Economic Productivity: Experimental Evidence in LLM-Assisted Translation.” arXiv:2409.02391, v2, 2024 年 12 月 7 日。https://arxiv.org/abs/2409.02391。预印本、预注册、单作者;任务约十分钟。“低技能”是根据无 AI 基线任务完成时间做的中位数拆分。 ↩

  13. Merali, A. “Scaling Laws for Economic Productivity: Experimental Evidence in LLM-Assisted Consulting, Data Analyst, and Management Tasks.” arXiv:2512.21316, v1, 2025 年 12 月 24 日。https://arxiv.org/abs/2512.21316。单作者预印本;标准聊天界面中的任务平均约 26 分钟。人类辅助线保持平坦,指的是非 agentic 任务(p ≈ 0.85);每年 8% 的数字是与模型发布日期“相关”。第 4.4 节报告说,对最强模型而言,“参与者主动拉低”了原始输出;输出按七分量表评分。 ↩

  14. Kasparov, G. “The Chess Master and the Computer.” The New York Review of Books​, 2010 年 2 月 11 日。https://www.nybooks.com/articles/2010/02/11/the-chess-master-and-the-computer/。这是参与者叙述,不是中立测量。 ↩

  15. Cowen, T. “The age of the centaur is over.” Marginal Revolution​, 2017 年 12 月 7 日。https://marginalrevolution.com/marginalrevolution/2017/12/the-age-of-the-centaur-is-over.html。一篇 2024 年建模论文(Shoresh and Loewenstein, arXiv:2412.18593)发现国际象棋中人机协同仍有很高潜力;Kasparov(​Science​, 2018 年 12 月 7 日)也继续主张伙伴关系。2017 年之后“半人马棋”的实证状态没有被独立测量。 ↩

图片 1:一个孤独的人站在浅色地面上,面对一堵高大的空白墙;墙上只画着一扇尚未建成的铜色门框——那是一个持有者还没有写下来的目标。

下限与上限#

AI 抬高下限;在大多数研究里,它几乎为所有人抬高下限,对最弱的用户尤其如此。同样的模型对任何人都可以买到。上限则是另一回事,而且它是个人性的:AI 会变成用户能够指定出来的样子。当目标只存在于用户那里时,这一点最明显——那是一套模型看不见、任何提示词库也给不了的标准。它发生两次:一次在工作被下达时,另一次在结果被采纳或搁置时。

用户就是 AI 的上限。这是一个论点,不是一项测量。我能找到的研究里,还没有哪一项把真实工作中的用户差异与模型差异放在一起,比较二者分别造成多大的结果分布。1 下限是 AI 给出的;上限是用户赋予 AI 的。

图片 2:一张剖面图:一条共同的水平地面上立着许多相同的小柱,其中一根铜色横梁从一个小柱一路升到远高处的天花板线。

这个区分能否成立,取决于一个更早的问题:目标在哪里?

目标在哪里#

最干净的检验,是把一次模型升级拆成模型自身带来的部分和用户带来的部分。Jahani 及其同事让数千名付费参与者随机使用 DALL-E 2 或 DALL-E 3,参与者并不知道自己分到了哪个模型。2 然后他们完成两个任务。

第一个任务,作者称之为有固定评价标准、目标明确的任务:参与者看到一张目标图片,然后在十次尝试中一轮轮写提示词,尽量复现那张图。评价标准是固定的,但模型看不见;只有参与者能朝着它校准。更好的模型确实生成了更接近的副本。但拿到更好模型的用户也改写了自己的提示词,而这些改写承担了模型升级收益的大约一半。作者说,这正是那个“精确的用户控制最重要”的任务。3

第二个任务是为一个开放式 brief 设计 logo,许多答案都可以成立。在这里,模型承担了超过 90% 的收益。

两个结果并排看,只差一个变量。第一个任务中,目标存在于参与者那里,在模型视野之外,因此只有参与者能朝它校准。第二个任务中,目标并不在某个特定地方;只要是个不错的 logo 就可以。当目标在用户那里时,AI 会变成用户能够指定出来的样子。当任何好结果都可以时,模型的进步不需要用户也会到来。

第一个任务里发生的事,需要一个比“提示词”更好的词。

“赋能”的两种意思#

“赋能”有两种意思,而这个论证的关键就在于把它们分开。

第一种是厂商的意思。能力从工具流向人:AI 赋能我。我完全承认这一点:这是下限,而且它是真实的。赋能研究文献总结说,管理学写作既用这个词表示领导者与下属分享权力,也从 20 世纪 80 年代末开始用它表示提升人们对自身效能的感受。4 厂商语境借用的是第二种。

另一种意思更古老,也更朴素:按这个词 17 世纪 50 年代以来的记录,它的意思是“给予权力或权限”。5 赋能某人,就是给他代表自己行动的权限和 brief。在这个意义上,是用户赋能模型:用户提供目标、标准、上下文,以及继续推进的许可。执行被交出去了;目的没有。

每一个委托人都在某种很薄的意义上把事情委托给每一种工具,所以这个意思需要一个检验:返回的东西是否取决于 brief 里包含了什么?锤子不会从主人的 brief 中取得任何东西。模型会;在 Jahani 的复现任务中,这种依赖承担了大约一半收益。2 因此,这个反向用法主张的是能力,而不仅仅是许可:brief 所携带的是模型缺少的东西。在厂商口号里,这个词几乎总是从平台指向人;这个反向用法把箭头指回去。

Ada Lovelace 在 1843 年说过同样的意思;Turing 在 1950 年引用她的话:分析机“能够做任何我们知道如何命令它去做的事”。6 重心落在“知道如何命令”上。Turing 的回应说出了诚实的限制,而他第二句的前半句正好抓住了要点:“机器经常让我惊讶。这主要是因为我没有做足够的计算,去判断我应该期待它们做什么。”6 即使他的惊讶,也来自一个尚未完全算清自己的命令包含什么的下令者。上限位于下令者的预见力所在之处。

于是有两支箭头:一支从工具指向用户,一支从用户指向工具,位于不同高度。下限是第一支箭头。上限是第二支箭头。起点应当是第一支箭头。

谁浇筑了下限#

两支箭头里,第一支是被测量得最充分的。Brynjolfsson、Li 和 Raymond 研究了一款生成式 AI 助手在 5,179 名客服人员中的上线过程。平均生产率提升 14%,新手和低技能客服提升 34%,对最有经验的人“影响很小”。7 这是厂商意义上的赋能,而且被测量过;我同意它。

不过,这个助手是用公司顶尖员工的文本训练出来的。作者提供了“提示性证据”,认为 AI 模型传播了更有能力员工的最佳实践。7 箭头的方向是:专家,然后模型,然后新手。新手没有赋能 AI。但下限给出的东西,最初是由某个人指定出来的。下限是共享的,而它是从某个人的上限浇筑出来的。

在下限之上,工具不再把所有用户同等对待;而且下限本身也不是有保证的。

同样的工具,不同的用户#

在一项为期五个月、面向 640 名肯尼亚创业者的随机试验中,一半参与者通过 WhatsApp 获得一位 GPT-4 商业导师。平均效果与零没有显著区别。这个平均数掩盖了两个相反的符号:一开始表现较差的创业者“差不多差了 10%”,而高表现者“可能受益超过 15%”。8

已发表论文没有发现证据表明,这个差距来自人们提出的问题,或 AI 给出的建议。差异似乎在于每位创业者选择采纳哪些建议。高表现者会与 AI 一起处理量身定制、符合具体情境的改变;低表现者则更偏向采纳降价、多做广告这类通用动作。

这里的解读必须谨慎。起始表现把资本、市场知识和行动空间都捆在了一起,它并不等于“更会使用工具”。一个没有本地上下文的导师会给出通用建议,而通用建议最伤害的,往往是最缺少过滤能力的人。作者“不能完全排除其他解释”。8 上限在哪里是一回事,谁应当负责是另一回事;这项试验最多只说明前者。

在这些限定之内,选择本身就是目标显现的地方。高表现者能够带进来的,是他们对自己市场的认识:哪一种改变适合这家店、这条街、这些顾客。那是 AI 看不见的目标,而且它决定了同样的建议中哪些值得执行。这是委托意义在接收端的体现。AI 对每个人说的内容大体相同,而店主手里握着的 brief 决定了它会变成什么。

Anthropic 的数据测量的是更窄的东西:117 个国家中,提示文本的复杂度与 Claude 回答复杂度之间的关系,相关系数为 r = 0.925。Anthropic 写道,Claude 往往“只有在用户输入复杂提示时”才会以高度复杂的方式回应。9 这是国家层面的相关性,不是个人层面的相关性;而且更难的任务本来就同时要求更复杂的输入和输出。

到这里为止,上述内容都把模型固定住了。最强的反驳是:模型恰恰不会固定不动。

支持模型项的论证#

应当给这个反驳充分分量:模型确实不同,模型项是因果性的,而且它按照一个用户无法匹配的时钟移动。METR 在 2026 年 1 月的更新中写道,对于前沿 agent 能完成的任务时长而言,“2023 年之后的翻倍时间是 131 天”。10 先前覆盖 2019 到 2025 年的估计约为七个月。11

随机证据也支持这一点。在一个实验中,Ali Merali 把 300 名专业译者分配到 13 种语言模型上;模型计算量每增加十倍,译者速度就提升 12.3%。“低技能劳动者的收益大了四倍。”12 这又是下限,只不过这一次因果箭头从模型出发。

所有这些都在比较模型。没有哪一项把模型固定住,然后问:在一个只有用户持有目标的任务上,用户额外加入了什么。在任一时点,同样的模型对任何人都可以买到,所以模型项是正在上升的下限,是高速发生的厂商意义上的赋能。用户得到什么,由先变成约束的那一项决定:模型能力,或用户的指定。模型进步会一次性抬高所有人的第一项。对于模型读不到的目标,第二项更早成为约束,而且每一次升级都必须重新提供。

有两个地方更直接地看过第二项。第一个就是 Jahani 自己的结果。用户承担的那一半,是对更好模型的回应;它被更好的模型解锁,而且每次升级都要重新支付。2 更快的模型项,会让用户那一部分更频繁地到期。它不会让那部分退休。

第二个地方是 Merali 后来的一篇预印本:一项面向 500 多名顾问、分析师和经理的随机实验,其中模型每进步一年,任务用时大约下降 8%。在非 agentic 任务上,人们借助 AI 产出的工作质量在各代模型之间保持不变,而模型单独产出的质量则持续上升。Merali 写道,“人类用户实际上限制了前沿模型可实现的能力,他们满足于固定的质量阈值,而不是最大化工具潜力”。13 这个结果只覆盖非 agentic 任务;评分者是专家同行,而不是用户。论文还报告说,对于最强的模型,参与者反而拉低了原始输出。用户如果只瞄准“够好就行”,而没有自己的目标,那么用户仍然是上限——只是一个很低的上限,低到低于模型本可以单独达到的高度。棋类就是人们已经走过这条边界的地方。

当目标被写下来#

2005 年,一场自由式国际象棋比赛的获胜者,按 Kasparov 的说法,是“两名业余美国棋手,同时使用三台电脑”。他的公式是:“弱人类 + 机器 + 更好的流程,胜过一台强电脑;更值得注意的是,也胜过强人类 + 机器 + 较差流程。”14

2017 年 AlphaZero 之后,常见说法变成了:人类在这样的团队里“现在绝对什么也加不上”。这句话来自 Tyler Cowen 的评论,被广泛重复,但没有被测量。15

那段历史里有两类用户贡献。第一类是补偿性工作:它弥补弱模型缺少的东西,比如该信任哪个引擎、什么时候信任。那些业余棋手的更好流程属于这一类;随着模型进步,它会过期。按 Cowen 的说法,到 2017 年它已经过期了。第二类是持有目标的工作:提供一个模型读不到的目标。国际象棋从来不需要它,因为胜负写在规则里,并由机器检查。模型进步会让第一类贡献退休。本文所说的上限只指第二类——只要目标还在模型视野之外,它就会持续存在。我的理解是,人们在乎的许多工作都有这种目标:一种内部标准、这个客户的正确答案、一篇真正说出作者想法的文章。它们存在于脑中,不存在于规则书里。

第二类贡献有一个出口。把目标写下来,会把一个人的上限变成下一个人的下限;客服人员的下限正是这样形成的。上限就是尚未写下的目标,而只有它的持有者能把它写下来。

日志里的两行记录#

这个论点可以在小尺度上测试。下一代模型发布时,在日志里保留两行:一项只有任务所有者能看见目标的任务;另一项是任何好结果都可以的任务。每一项先用旧提示运行,再用重新指定后的提示运行,然后记录有多少收益需要靠重新指定才出现。每一项多跑几次,并做盲评,因为单次运行可能被噪声淹没。两行之间的差距,就是 Jahani 那个数字的个人版本。把目标写下来,是实际步骤;《为什么严肃使用 LLM 需要一条北极星提示词》描述了一种能够做到这件事的 brief。

下限会继续上升,而且会同时降临到每个人身上。这正是它的好处。它不能带来的,是“知道这个用户到底想命令什么”。自 Lovelace 以来,引擎已经变得面目全非;她那句话却没有变。下限是机器给出的东西,而每一个被写下来的目标都会加入其中。上限是用户知道如何要求它做、却尚未说出口的东西。

参考文献#

延伸阅读#

  • Haase, J., Gonnermann-Müller, J., Hanel, P., Leins, N., Kosch, T., Mendling, J., and Pokutta, S. “Within-Model vs Between-Prompt Variability in Large Language Models for Creative Tasks.” arXiv:2601.21339;CHI 2026 Extended Abstracts, “It's Not Just the Prompt: Model Choice Dominates LLM Creative Output,” DOI 10.1145/3772363.3799284。最接近的模型与提示词方差分解:在输出数量(流畅性)上,模型解释 51.25%,提示词解释 4.22%;在原创性上,二者份额相近(40.94% 与 36.43%)。提示词由研究者固定,而不是由用户选择,因此它测试的是提示词,不是用户。
  • Noy, S., and Zhang, W. “Experimental Evidence on the Productivity Effects of Generative AI.” Science 381, 2023, pp. 187–192。另一项随机化的下限抬高研究;是本文“共享下限”部分的背景。
  • Dell'Acqua, F., et al. “Navigating the Jagged Technological Frontier.” Organization Science 37(2), 2026;HBS Working Paper 24-013。顾问实验;AI 在能力边界内拉平技能,在边界外误导用户。
  • Vaccaro, M., Almaatouq, A., and Malone, T. “When combinations of humans and AI are useful.” Nature Human Behaviour​, 2024。关于人机组合何时输给更强一方的元分析;是棋类段落中边界问题的背景。
  • Shen, J., and Tamkin, A. “AI assistance and coding skills.” Anthropic, 2026 年 1 月 29 日。同一个助手,在不同互动模式下出现不同结果;样本格较小,属探索性。
  • Riedl, C., and Weidmann, B. “Quantifying Human-AI Synergy.” PsyArXiv preprint, 2025。预印本证据:协作能力是一种不同于单独能力的特质。