Article Intelligence
先看结论
作者认为 AI 基准测试就像烂番茄评分,无法判断新模型是否真的更适合你自己的工作,因此提出用一段提示词把日常任务转成自建测试,在旧模型和新模型的临时会话中对比结果来决定是否切换。
核心指标
评分用于衡量信号强度,判断类指标用于解释方向、热度、后续动作与可信程度。
影响力
衡量事件对技术、产业或生态的外部影响强度。
2.5
这是一篇典型的 newsletter 实用技巧文,核心是一段可复制粘贴的提示词(把日常任务转成自建评测),并未提出任何新技术、新产品或新数据。它触及的是'基准榜单与个人实际工作价值脱节'这一长期被讨论的痛点,但给出的解决方案属常识性变通(用新旧模型临时会话跑同一提示词对比),既不改变任何厂商竞争格局,也不影响模型能力边界,属于小圈子内的经验分享,冲击力有限。评分依据:无新产品/融资/范式转移,仅为方法建议,故落在低区间 2.5。
复合价值
综合新颖性、可执行性与长期观察价值。
3.0
本文本质是一篇 newsletter 方法论技巧(个人化自建基准 + 用 LLM-as-judge 对比),而非产品、协议或基础设施,本身几乎不产生可持续的资产沉淀,所以复利分偏低。但它指向一个真实的、正在成形的赛道——私人/领域专属评测(private evals):官方榜单(MMLU、LMArena 等)衡量的是一次性、公开、可被刷分的能力,而用户真正愿意付费的是'这个模型是否更擅长我正在做的事'。这一需求一旦被产品化(上下文记忆 + 持久工作文件 + 自动化对比),就会形成强用户粘性与切换成本,具备成为细分赛道基础设施的潜力。因此我给出 3 分:作为独立事件是昙花一现的自媒体技巧,但作为'评测权从模型厂商手里向用户端迁移'这一长期趋势的早期信号,值得资本持续跟踪。
结构化事实、实体识别与逻辑链
作者认为 AI 基准测试就像烂番茄评分,无法判断新模型是否真的更适合你自己的工作,因此提出用一段提示词把日常任务转成自建测试,在旧模型和新模型的临时会话中对比结果来决定是否切换。
whyTryAI 作者指出当前存在数百个 LLM 基准测试,但榜单得分无法回答“这个模型是否更擅长我正在做的事”这一实际问题。为此作者提供一段可直接粘贴到智能体或聊天机器人的提示词,要求 AI 根据用户的日常高频任务生成自包含的测试提示词和评估标准,再把同一提示词分别放进旧模型和新模型的全新会话中运行并对比。作者以自己为例,用 ChatGPT 生成了约 350 词的测试提示词及评估方法,并在 GPT-5.6 Sol 与 Gemini 3.6 Flash Extended Thinking 上实际运行,认为 ChatGPT 在其限定范围的研究任务上表现更好,因此在该假设场景中不会切换。文章还建议在难以判断时让 AI 充当裁判来对比两个输出。
情绪
中性
更像事实更新或研究记录,情绪不强;按影响力和复合价值决定阅读深度。
Hype
低 hype
噪声较低,信息更接近事实或研究贡献;重点看证据是否扎实。
全文反而不含'颠覆''革命性'等 PR 滥用词,甚至明确批评厂商用榜单分数引导用户'该换最强模型'的营销话术,并将 AI 基准比作烂番茄评分。文章仅陈述一段自建评测提示词并给出个人实测(GPT-5.6 Sol vs Gemini 3.6 Flash Extended Thinking),无夸大承诺,属于实打实的经验分享,炒作水分低。
行动建议
持续监测
先保持观察,等后续产品、论文或市场反馈再升级判断。
置信度
分别对应影响力、复合价值与 Hype 判断的可信程度。
技术/商业影响、关注焦点与受影响对象
基准榜单无法反映模型在个人真实工作流上的实际价值,如何用自建测试替代刷榜
无本质技术突破。其方法论内核是把'静态公共 benchmark'替换为'基于用户高频任务的个性化、可自包含、可复现的评测集',并强调对比时须对齐文件与工具(如联网搜索)权限、由 AI 充当裁判。这本质是 prompt 工程层面的评测范式迁移——从社区统一的刷榜评测转向 per-user 的私域评测,工程上无新增量,理念上略有启发。
对 SaaS 生态影响微弱。潜在推演:企业侧可能出现'私有评测集/评测即服务'的需求(对接既有 agent 的持久化记忆与 markdown 上下文能力),用于采购决策时衡量模型性价比,从而削弱单一公共榜单对模型选型的话语权;但本文未落地任何产品,商业化路径仍停留在概念层面。
结合机会清单和风险矩阵判断后续关注重点
测试环境不可控导致结论不可复现:文件、联网权限、临时会话状态差异会污染对比结果
「是否切换」的决策被单次任务表现放大,可能高估或低估模型在长尾任务上的真实表现