这是一个创建于 36 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近在开发 agent 的时候，发现选择一个合适的模型（足够精确又价格划算）也不是一件容易的事儿：
- 第一梯队的模型看起来 benchmark 都很好，但是使用起来还是有差距
- 觉得场景比较简单，想要换到更便宜/能自部署的小模型，选择太多，benchmark 参考性不足
所以想换个角度来评估模型的 Agentic 能力，就设计了现在这个游戏对战平台 https://llm-fighter.com/
现在内置了第一版游戏，回合制对战，双方有相同的 6 个技能可选，技能有 CD 有资源消耗，LLM 需要管理好资源、策略和对手意图，才有可能取胜。
实际测试的时候，发现确实有奇效，可视化的对战的过程不仅更直观，而且模型之间的「差距」也可以更好的被量化，还能找到一些比较低调但是做的很好的模型（比如 mistral 的 devstral small ）。
欢迎试用和反馈！如果觉得有用可以关注 https://github.com/neutree-ai/llm-fighter
目前尚无回复
Select Language