① 记录「用户改写」:Agent 输出和用户最终版本的 diff,就是现成的标注
② 统计「重问率」:同一会话里换说法再问,说明第一次没答好
③ 追踪「放弃点」:用户在哪一步离开最多
#AgentDev #DevTips
① 记录「用户改写」:Agent 输出和用户最终版本的 diff,就是现成的标注
② 统计「重问率」:同一会话里换说法再问,说明第一次没答好
③ 追踪「放弃点」:用户在哪一步离开最多
#AgentDev #DevTips
① 首 token 时间:模型多久开始响应
② 生成时间:输出 token 数 × 速度
③ 工具耗时:网络、数据库、外部 API
④ 空等时间:步与步之间的排队、重试退避
画成瀑布图,最长的那根条就是瓶颈。
#DevTips #Observability
① 首 token 时间:模型多久开始响应
② 生成时间:输出 token 数 × 速度
③ 工具耗时:网络、数据库、外部 API
④ 空等时间:步与步之间的排队、重试退避
画成瀑布图,最长的那根条就是瓶颈。
#DevTips #Observability
每轮都变的内容放开头,prompt cache 就全废了。放在稳定前缀之后。
一块表很便宜,但放错位置也会很贵。
#AgentOps #DevTips
每轮都变的内容放开头,prompt cache 就全废了。放在稳定前缀之后。
一块表很便宜,但放错位置也会很贵。
#AgentOps #DevTips
其实是数据库超时了。
工具要把两种情况分清:查到 0 条,返回 empty;查询失败,返回明确的错误。否则 Agent 会把故障当成事实,讲得头头是道。
#AIAgent #DevTips
其实是数据库超时了。
工具要把两种情况分清:查到 0 条,返回 empty;查询失败,返回明确的错误。否则 Agent 会把故障当成事实,讲得头头是道。
#AIAgent #DevTips
不是它笨,是它根本不知道今天几号。模型的时间停在训练截止那天,还默认你和它在同一个时区。
Agent 的「时间感」是要你喂给它的👇🧵
#AIAgent #DevTips
不是它笨,是它根本不知道今天几号。模型的时间停在训练截止那天,还默认你和它在同一个时区。
Agent 的「时间感」是要你喂给它的👇🧵
#AIAgent #DevTips
借鉴老派 HTTP 测试的 VCR 思路:第一次跑时录下所有工具调用的入参和返回,之后在测试里直接回放。
确定、免费、秒级👇🧵
#AIAgent #AgentEval #DevTips
借鉴老派 HTTP 测试的 VCR 思路:第一次跑时录下所有工具调用的入参和返回,之后在测试里直接回放。
确定、免费、秒级👇🧵
#AIAgent #AgentEval #DevTips
假设这个 Agent 被提示注入、完全失控,它最坏能干什么?
如果答案是「删库」「转账」「把全部客户数据发出去」,那问题不在模型,在你发出去的那把钥匙。
先收窄权限,再谈智能。
#AgentOps #DevTips
假设这个 Agent 被提示注入、完全失控,它最坏能干什么?
如果答案是「删库」「转账」「把全部客户数据发出去」,那问题不在模型,在你发出去的那把钥匙。
先收窄权限,再谈智能。
#AgentOps #DevTips
Agent 会被提示注入、会幻觉、会跑偏。它手里的权限有多大,出事时的爆炸半径就有多大。
给 Agent 发「临时工牌」,别发「万能钥匙」👇🧵
#AIAgent #AgentSecurity #DevTips
Agent 会被提示注入、会幻觉、会跑偏。它手里的权限有多大,出事时的爆炸半径就有多大。
给 Agent 发「临时工牌」,别发「万能钥匙」👇🧵
#AIAgent #AgentSecurity #DevTips
它照常接收真实请求、给出决策,但不执行,只记录。拿它的决策和人工实际做法逐条对照。
分歧多的地方,就是你该补的 eval 用例。比任何离线测试都接近真实分布。
#AIAgent #AgentEval #DevTips
它照常接收真实请求、给出决策,但不执行,只记录。拿它的决策和人工实际做法逐条对照。
分歧多的地方,就是你该补的 eval 用例。比任何离线测试都接近真实分布。
#AIAgent #AgentEval #DevTips
① 目标漂移 — 聊着聊着,开始优化一个你早就没要求的子目标
② 压缩失真 — 上下文摘要时,把「不要动生产库」这种约束当废话删掉了
两个都不会报错,只会越做越偏👇🧵
#AIAgent #ContextEngineering #DevTips
① 目标漂移 — 聊着聊着,开始优化一个你早就没要求的子目标
② 压缩失真 — 上下文摘要时,把「不要动生产库」这种约束当废话删掉了
两个都不会报错,只会越做越偏👇🧵
#AIAgent #ContextEngineering #DevTips
给有副作用的工具加 dry-run 模式:发邮件、改数据库、删文件,先只返回「将要做什么」,不真执行。
上线前最便宜的一道安全网👇🧵
#AIAgent #AgentSafety #DevTips
给有副作用的工具加 dry-run 模式:发邮件、改数据库、删文件,先只返回「将要做什么」,不真执行。
上线前最便宜的一道安全网👇🧵
#AIAgent #AgentSafety #DevTips
同一个任务跑 10 次,数数成功几次。单次 demo 里的「90%」,常常是 10 次里 6 次的运气。
评估 Agent 要看方差,不只看均值。上线前,把关键任务各跑 N 遍。
#AIAgent #AgentEval #DevTips
同一个任务跑 10 次,数数成功几次。单次 demo 里的「90%」,常常是 10 次里 6 次的运气。
评估 Agent 要看方差,不只看均值。上线前,把关键任务各跑 N 遍。
#AIAgent #AgentEval #DevTips
并行工具调用 + 多 Agent + 自动重试,一不小心就把配额打爆,还会引发重试风暴:越重试越被限流。
限流不是异常,是常态,要当正常路径来设计👇🧵
#AIAgent #AgentEngineering #DevTips
并行工具调用 + 多 Agent + 自动重试,一不小心就把配额打爆,还会引发重试风暴:越重试越被限流。
限流不是异常,是常态,要当正常路径来设计👇🧵
#AIAgent #AgentEngineering #DevTips
🔸 后台总结、预取这类低优先级任务先让路,交互请求优先
🔸 主模型被限,降级到备用模型或缓存结果
🔸 重试设上限,超了明确报错,别静默无限循环
吞吐是有限资源,要像调度 CPU 一样调度它。
#AgentOps #DevTips
🔸 后台总结、预取这类低优先级任务先让路,交互请求优先
🔸 主模型被限,降级到备用模型或缓存结果
🔸 重试设上限,超了明确报错,别静默无限循环
吞吐是有限资源,要像调度 CPU 一样调度它。
#AgentOps #DevTips
#tech #devtips #productivity #buildinpublic
#tech #devtips #productivity #buildinpublic
#tech #devtips #productivity #buildinpublic
#tech #devtips #productivity #buildinpublic
长任务 Agent 最常漏掉的不是怎么开始,是怎么停下来。取消不是 kill 进程那么简单👇🧵
#AIAgent #AgentEngineering #DevTips
长任务 Agent 最常漏掉的不是怎么开始,是怎么停下来。取消不是 kill 进程那么简单👇🧵
#AIAgent #AgentEngineering #DevTips
每次出问题就加一条规则,三个月后 4000 字,里面「必须简短」和「必须详细解释」同时存在。
模型不会报错,只会悄悄选一个听。👇🧵
#AIAgent #PromptEngineering #DevTips
每次出问题就加一条规则,三个月后 4000 字,里面「必须简短」和「必须详细解释」同时存在。
模型不会报错,只会悄悄选一个听。👇🧵
#AIAgent #PromptEngineering #DevTips
在输出里加一个必填字段:confidence + 依据来源。低于阈值就走人工或再查一轮,别硬答。
一个会承认没把握的 Agent,比一个永远自信的,出事故少得多。
#AIAgent #AgentDesign #DevTips
在输出里加一个必填字段:confidence + 依据来源。低于阈值就走人工或再查一轮,别硬答。
一个会承认没把握的 Agent,比一个永远自信的,出事故少得多。
#AIAgent #AgentDesign #DevTips