HK 黄果AI
周刊内页 · 第 37 期

黄果AI:把模型、提示与流程整理成一份能查的目录

每周把散落的模型公告、提示写法、自动化流程与账单经验收进同一本册子。读者可以按栏目往下翻,也可以直接跳到某篇文章看完整正文。本期重点放在「选得准、写得稳、跑得省」三件事上。

本期目录

  1. 小团队模型选型:先算清延迟与单价
  2. 提示词模板的三层结构:角色、约束、样例
  3. 把重复的表格整理交给一条工作流
  4. 上下文缓存与批量接口的省钱组合
  5. 长文档抽取:分段、对齐与回填的清单
  6. 多语言客服问答的评测集怎么搭
  7. 本地推理与云端调用的分界线
  8. 工具目录:本月值得放进收藏夹的六类服务
本期主推

小团队模型选型:先算清延迟与单价,再谈能力排名

2026-11-16 · 模型选型 · 约 9 分钟

很多团队在选模型时先看榜单,结果上线后发现延迟和账单都超出预期。这篇文章给出一张两页纸的选型表:把任务拆成「必须准确」「可以容错」「只做分发」三档,分别匹配不同价位的模型,并用真实请求的 P95 延迟做门槛。文中附了三个常见场景的取舍示例,包括摘要、结构化抽取和客服首轮回复。

读全文 →

本期次条

模型选型

按任务分档,不按榜单排名

提示工程

模板、评测与回归

工作流与自动化

节点拆解与失败重试

成本控制

账单、缓存与批处理

工具目录

本月值得放进收藏夹

本期文章全文

按目录顺序排列

小团队模型选型:先算清延迟与单价,再谈能力排名

2026-11-16 · 模型选型 · 约 9 分钟

选型的第一步不是打开榜单,而是把要做的任务拆开。我们通常把它分成三档:必须准确的字段抽取与合规判断;可以容错的摘要、改写与分类;只做分发的意图识别和路由。三档任务对延迟和价格的敏感度完全不同,混在一张表里比较,结论往往是错的。

第二步是把 P95 延迟写进门槛。平均值好看不代表体验好,客服场景里 95 分位的等待时间决定用户是否流失。建议用真实请求量的十分之一做压测,记录输入长度分布,再把长尾请求单独看一遍。

第三步才是价格。把单价乘以每千次请求的平均 token 数,得到千次成本,再和人工处理同样任务的成本对照。很多团队在这一步才发现,分发环节用最贵的模型是浪费,而抽取环节用最便宜的模型则会把错误成本转移给下游。

实践建议:先用两个不同价位的模型各跑一遍同一批 200 条真实样本,记录准确率、P95 延迟与千次成本三项,再决定是否引入第三个模型做兜底。

提示词模板的三层结构:角色、约束、样例

2026-11-15 · 提示工程 · 约 7 分钟

把提示分成稳定层和可变层,是维护模板最省力的做法。稳定层包含角色设定与输出格式约束,这部分改动频率低;可变层是每次请求填入的内容,只留槽位;样例层放两到三条典型输入输出,用来校准格式和语气。

常见错误是把所有内容堆在一条长句里,改一个字段就要重写整段。更稳的写法是用清晰的分段标记,每段只做一件事:任务说明、输入材料、输出要求、参考样例。这样排查问题时能快速定位是哪一段导致输出跑偏。

改动模板后一定要跑回归。留存十条固定样例,覆盖正常输入、边界输入和否定式提问三类,每次改完先跑一遍,确认没有把原本正确的输出改坏,再上线。

把重复的表格整理交给一条工作流

2026-11-14 · 工作流 · 约 8 分钟

以「邮件附件里的表格整理」为例,一条可靠的工作流至少有五个节点:收取附件、解析表格、字段校验、回填目标系统、发送完成通知。每个节点都要明确成功与失败的标准,不要把解析和校验混成一个步骤。

失败重试要分层。解析失败只重试解析,不要连带重试模型调用;模型输出格式不合要求,则重试模型并附上更明确的格式说明;回填失败通常是下游接口问题,应进入告警而不是无限重试。把重试次数和退避时间写进配置,而不是散落在代码里。

人工复核节点只接收置信度低的条目。比如必填字段缺失或数值超出合理范围的行,才推送到人工队列,其余自动放行。这样既保留准确性,又不会让复核成为瓶颈。

上下文缓存与批量接口的省钱组合

2026-11-12 · 成本控制 · 约 6 分钟

同一份长说明在多次请求中反复出现,是账单里最常见的浪费。上下文缓存让这部分内容只计费一次,适合产品手册问答、固定规则判断、长系统提示等场景。使用时要确认内容前缀稳定,否则缓存命中率会很低。

批量接口适合不要求即时返回的任务,比如夜间跑批、历史数据回填、批量摘要。它的单价通常更低,但需要接受较长的完成时间,并给下游系统留出写入余量。

两者可以叠加:把稳定的长说明放进缓存,把非实时的批量请求集中提交。顺序上先压缩输入,再谈输出限制,因为多数账单里输入占大头。压缩提示、去掉重复样例、精简格式说明,往往比限制输出长度更有效。

长文档抽取:分段、对齐与回填的清单

2026-11-09 · 抽取 · 约 8 分钟

长文档抽取失败,多半不是模型能力问题,而是分段边界和字段对齐没做好。分段时尽量按语义单元切分,比如按条款、按章节、按表格行,而不是按固定字符数硬切。跨段落的字段要单独处理,记录它出现的位置范围。

字段对齐指的是让模型输出的每个字段都能对应回原文位置。做法是先让模型列出字段清单,再逐项填写并附上来源片段,最后用规则校验来源片段是否真实存在于原文中。这一步能过滤掉相当比例的编造内容。

回填阶段要保留原文引用。即使最终展示的是结构化结果,也应存一份来源片段,方便人工抽查和后续修正。

多语言客服问答的评测集怎么搭

2026-11-13 · 评测 · 约 7 分钟

评测集要从小处开始。每个语种先凑 60 条真实问法,来源是历史工单和聊天记录,不要自己编。在这 60 条之上,补充边界提问和否定式提问,比如「不想要退款只想换货」这类容易被误判的句子。

评分维度分开看:答案是否正确、引用是否准确、语气是否得体、格式是否合规。混成一个总分,会掩盖具体短板。多语种还要检查术语一致性,同一个产品名在不同语种里是否用了相同译法。

评测集要能持续增长。每次线上发现答错的案例,都补进评测集,并在模板改动后重跑,避免同一个错误反复出现。

本地推理与云端调用的分界线

2026-11-11 · 部署 · 约 8 分钟

决定放本地还是放云端,可以从三项打分:数据敏感度、并发规模、运维成本。数据不能出内网的场景优先本地;并发波动大的场景优先云端,避免为峰值买卡;缺乏运维人力的团队也应谨慎自建。

自建推理的真实成本常被低估。除了显卡折旧,还有闲置率、机房与电力、模型升级和故障排查的人力。把这些折算成每千次请求成本,再与云端报价对比,结论往往和直觉不同。

折中方案是混合部署:高频且格式固定的任务放本地,复杂任务走云端;或者用本地模型做初筛,再把少量请求升级到云端。关键是保留切换能力,不要把业务逻辑和某一种调用方式绑死。

工具目录:本月值得放进收藏夹的六类服务

2026-11-16 · 工具目录 · 约 6 分钟

按用途分类比按热度收藏更有用。第一类是文档解析,重点看表格结构还原和扫描件识别能力;第二类是评测打分,重点看是否支持自定义评分标准和批量导入;第三类是格式转换,处理结构化输出与人工可读版本之间的互转。

第四类是流程编排,关注失败重试、人工复核节点和日志可追溯;第五类是内容检查,覆盖术语一致性、语气一致性和格式一致性;第六类是成本监控,能按任务维度统计 token 消耗并给出异常提醒。

选工具时先明确要解决的具体问题,再看它是否能在现有流程里低成本接入。功能多但接入复杂,往往不如功能少但边界清晰的工具实用。

过往期次

第 36 期

评测集与回归:把线上错误变成资产

如何从工单里提取样本,建立可持续增长的评测集。

第 35 期

结构化输出:格式约束与校验规则

从字段定义到校验失败后的补救路径,一次讲清。

第 34 期

小团队上线清单:从原型到可用

监控、告警、灰度与回滚,四项缺一不可。