选一个 LLM 评估套件吧。C-Eval ？ CMMLU ？ BBH ？可是我的模型它不擅长考试啊！自制一个领域内评估套件？可是我的领域很难制定客观标准啊！让 GPT-4 当裁判？OpenAI: This prompt may violate our content policy.
还是手动做人工评估吧。望向一大堆生成结果，能不能减少一些心智负担呢？
我将人工评估的过程抽丝剥茧，最后剩下灵魂一问：
按 f 键或 j 键裁定对决结果。
这个工具会自动将模型回答的采样结果配对转化成淘汰赛。对于每个 prompt ，如果两个模型各进行 8 次采样，评判过程会被分解成大约 20 次的这种两两对决。淘汰赛的详细规则我写在项目 README 里了。因为目前只比较两个模型并且我给不同比赛加了不同权重，所以暂时没有采用 Elo 计分。
那么，https://github.com/Contextualist/lone-arena
作为对机器学习社群文化的致意，本项目界面采用 Gradio 编写。
