写 Claude Code Skill / Plugin 最玄学的是什么?
不是写出来,是你根本不知道它到底有没有用。
以前通常是:自己跑两遍 → 看起来触发了 → 上线。
Claude Code v2.1.269 新增了 plugin eval,现在可以直接做 A/B 测试。
在 Plugin 根目录执行:
claude plugin eval init
Claude 会帮你生成测试 Prompt + Grader。
然后:
claude plugin eval .
它会分别测试:
有 Plugin:WITH
没 Plugin:W/OUT
真正提升:Δ
如果 WITH 很高,但 Δ≈0——
说明不是你的 Plugin 牛,是 Claude 本来就会。
还能直接生成 HTML 报告,改 Skill description、Prompt、Hook 后重新跑一遍。
以后别再凭感觉说“这个 Skill 有用”。
让它考试。
⚠️ Eval 会真实调用模型,会消耗额度。
#ClaudeCode #AIAgent #Skill #ai #大模型
