昊梵体育网

最近 AI 用得比较勤快,主要用 codex(gpt)+ pi(ds+kimi)。 我发现 gpt luna(max) 非常耐用,但是 astra(high+)的token消耗特别快。 ds v4 flash 耐用,k3 现在也相对来说可以。对于未来我有一个判断:一分钱一分智。而且模型的智力不像是汇率可以进行换算,以后可能token价格上也会两极分化。 所以 ​

最近 AI 用得比较勤快,主要用 codex(gpt)+ pi(ds+kimi)。

我发现 gpt luna(max) 非常耐用,但是 astra(high+)的token消耗特别快。

ds v4 flash 耐用,k3 现在也相对来说可以。对于未来我有一个判断:一分钱一分智。而且模型的智力不像是汇率可以进行换算,以后可能token价格上也会两极分化。

所以我们首先可以建立一个模型路由。这样可以避免所有环节都用最贵(强)的模型,该省省该花花,把钱用在刀刃上。

模型路由

> 主动自定义 subagent 并在 agents.md 里写清楚模型路由

在做一个需求的时候,我们脑子里对这个需求会有个大致的评估:

| 任务 | 模型 || ------------------------------------------------------------ | :----------------: || 架构设计、复杂调试、安全审查、最终 Review(复杂任务) | 强模型 || 写单测、补注释、格式修复、机械重命名、生成提交信息(简单任务) | 便宜模型 || 普通文件检索、摘要、结构化提取(重复任务) | 中等模型(稳定模型) |

这也是符合直觉的。

但是也有些需求我们没法直接得出用什么模型的结论,遇到这种情况我的经验是:

先用便宜的模型跑一变,我们检查实际效果判断复杂度,模型实现的效果是否正确、是否有歧义,模型的思考过程有问题再去升级。

比如:先让便宜模型分类(重构?Bug?文档?),先做初筛(PR 有没有高风险?),先做摘要(20 页 → 1 页),再交给强模型做推理。

> 这里我们的判断的依据和直觉,我个人认为会在未来变得很重要,这也是越早用AI越能积累的复利,所以要做好记录。

我们知道了什么任务用什么模型了之后,还可以通过一些工具来减少上下文对token的消耗。

压缩工具

一次完整的对话

```text输入 -> 模型 -> 输出

固定指令 + 会话历史 + 文件/网页/工具输出 + 模型回复 + 失败重试```

因为模型部分整个就是个黑盒,所以我们可以通过压缩输入输出来实现节省token的目的(在不降低回答质量的情况下)。

按需求选择工具