【预告】Yet Another LLM Benchmark 2026
这是一个私人的、包含大量主观题目的、仅供参考的另类语言模型测试榜单。
也是最猎奇的。
前言
笔者认为，当下大模型测试榜单犹如路边的野狗疑似有点过于多了，但是大部分榜单要么就是被以Qwen、Minimax等为首的神人团队Benchmaxxing的面目全非，要么就是用各种小众有独特诡异又猎奇（比如让溜溜梅玩游戏，互相迫害之类的）的方式组建测试集。
所以我决定自己创建和维护一个比他们更加小众且独特的测试集。
设计哲学
本测试集不专注于某一类的任务性能，主要考察模型的泛化能力；所以在本测试集中会涵盖大量主观题、多模态任务、软件操作等题目
关于测试集
本测试集的题目会不断调整，初始题目开始逐步增加，并随着模型能力上升剔除过高通过率的题目。
本测试集为私有测试集，仅公布题目的简要概括，不提供原始题目信息。
测试使用模型来自不同渠道，测试开始前会使用Ikaleio开发的 lm-detector 测试模型指纹与目标指纹匹配。
测试统一使用最新版本的Oh-My-Pi，仅测试至少支持图片输入的多模态模型。
测试榜单会单独发布在另一个仓库。