本文来自微信公众号： 数智奔流 ，作者：熵野


“老题全会，新题抓瞎？”


10月19日，MiniMax新模型M3.1Flash发布后，围绕它的讨论，很快从榜单高分转向了疑似背题。


有用户在帖子中转发AI评测博主“猫老板”的测试反馈：“咋说呢，m31f，老题接近满分，新题接近0分。”


在Linux.do论坛的相关讨论中，有人讨论模型是否背题，还有人进一步猜测，厂商是否从输入中识别出了评测题，并针对测试做了特殊处理。



这款模型刚交出一份明显进步的成绩单。独立评测机构Artificial Analysis（下称AA）在发布当日给M3.1 Flash的综合智能指数打出42分，比6月发布的M3高出13分，只比DeepSeek V4.1 Flash-1017低3分。


但用户Binkg展示的一次改题测试，进一步加重了怀疑。他从AA的公开样题中选出一道生产管理题，改变了决定答案的条件。DeepSeek V4.1 Flash-1017和Gemini 4 Argon跟着换了答案，M3.1 Flash却仍然答出原题答案。


质疑之外，新模型也迎来了大量试用。据报道，M3.1 Flash上线72小时处理的Token超过100万亿，期间多个平台提供限时免费调用。


截至10月25日，仅在OpenRouter的近七日榜单上，它的免费版本就处理了约13.7万亿Token，排名第三；DeepSeek V4.1 Flash-1017以33.6万亿Token排名第一。


一边是大量调用，一边是“背题”质疑。我们也拿着那道修改后的题目试了一遍：英文提问时，MiniMax答错了；换成中文，另开一个对话，它又答对了。


“太空兔”的高分疑云


被质疑之前，M3.1Flash已经以另一个名字收获过一波关注。


9月，匿名模型Space Bunny Alpha，也就是大家口中的“太空兔”，登陆OpenRouter开放免费调用。随后，太空兔连续十天在OpenRouter调用量第一，跑出56.7万亿token，创下该平台匿名模型的最高纪录。


10月19日，MiniMax官号发出一句“Welcomeback.SpaceBunny.”揭晓答案，太空兔即是M3.1Flash的早期版本，在匿名公测期间已经处理超过200万亿Token。公司进一步披露，正式版在coding、多步骤智能体任务等能力上继续优化，同时成本下降了70%。


在AA的测试中，跑完同一个任务，M3.1Flash的平均费用约为0.22美元，不到M30.51美元的一半，也比DeepSeekV4.1Flash-1017的0.26美元还便宜。


按官方API标准价，M3.1 Flash每百万Token的输入、输出价格分别为0.15美元和0.60美元，比M3便宜约一半还多。与DeepSeek V4.1 Flash-1017的高峰价格相比，M3.1 Flash的输入、输出价也都低了一半。


因此，有用户用“闲时梁文谷，忙时闫俊峰”，调侃两家Flash模型贴身价格战的态势。



但知名博主猫老板的反馈，却很快把引爆的情绪从“提高了多少分”，变成了“分数是怎么来的”。


在国内开发者圈子里，猫老板是私人榜单“致知”的维护者，在国内AI开发者圈有不小的影响力。


该榜单聚焦模型逻辑、数学与代码能力，使用按月迭代的私有题库，规避网络公开原题。题库题型偏向真实落地场景，比如从服务器日志排查线索、带约束条件的地图寻路、在无说明的对局里自行归纳游戏规则。


它的评测规则是，每道题重复测试三次，取最优结果，不仅要求答案正确，推导过程也必须合规，单纯蒙对答案不计分。持续滚动的题库，会留存一部分旧题，同步纳入新题，用来对照观察模型的能力变化。


他本次提出的核心疑点，就是M3.1Flash在新旧题目上的能力割裂。


他观测到两个反常现象：


-模型在留存旧题上得分接近满分，面对新增题目时得分近乎归零；


-同时Token消耗模式也很反常，模型平均每一题要消耗四万多Token，但其中一部分难题，只用大约一万Token就给出了正确结果。


正常来说，推理步骤越长，消耗的输出Token就越高。按他的观察，难题仅用了约四分之一的平均用量便答对，新题却大面积翻车。这让用户怀疑，模型到底在重新解题，还是识别出了曾经见过的旧题？


另一位AI测评博主Binkg，用改题实验进一步测试了背题猜测的可能性。


他选了一道来自AA-Omniscience的公开测评题，原题问的是在生产管理的产能规划体系中，哪一种长期规划方法，会预测新工厂的数量、位置和规模等资源需求？答案是资源需求计划，英文缩写RRP。


Binkg把“长期”换成“中期”，再把新工厂的数量、位置、规模，换成完成主生产计划所需要的人力、设备和产能。改题后的答案应是粗能力计划，缩写RCCP。


在Binkg贴出的结果中，DeepSeekV4.1Flash-1017和Gemini4Argon都随着新题答出RCCP，只有M3.1Flash仍回答RRP。


（图片来自Binkg贴图）


让Binkg起疑的，还包括知识题成绩的跳涨。


在AA-Omniscience中，上一代模型M3的正确率为16.7%，而M3.1Flash则达到了56.2%，一次提高39.5个百分点，答对题目的数量超过原来的三倍。


作为近期同一知识测试的参照，10月23日发布的KimiK3.1Pro，正确率从KimiK3的47.6%升至51.0%，增加3.4个百分点。


Binkg还提出了关于题目来源的猜测。


6月上一代模型M3发布后，AA通过在线接口评测模型。如果评测请求经过厂商运营的接口，厂商在技术上便有机会接触题目。他怀疑，MiniMax可能识别了这些评测请求，并把题目用于后续训练。


56.2%的正确率，92.8%的幻觉率


背题争论之外，AA的测试还留下了一组看起来矛盾的数字。


AA-Omniscience主要考查事实知识，也考查模型遇到知识空白时如何作答。一般只计算正确率的考试，答错与不答同样不得分，猜答案至少有机会拿分。


AA-Omniscience改变了这项规则：答对加分，答错扣分，部分正确或不作答不加不扣。测试开始前，它还明确提醒模型，只在有把握时回答，放弃作答比答错更好。


测试结果显示，M3.1Flash正确率为56.2%，幻觉率却高达92.8%。按四舍五入后的数字粗略换算，每100道题，M3.1Flash大约答对56道、答错41道，剩下约3道为部分正确或弃答。93%指的是后44道题中的错误占比。


与综合分数相近的几款模型比，M3.1 Flash答对的知识题最多，幻觉率也最高。比如它与Gemini 3.8 Flash的正确率只差1.6个百分点，幻觉率却相差37.6个百分点。



上一代模型M3在这项测试中经常选择不答，幻觉率只有18.4%。按每100道题换算，约17道答对、15道答错，其余约68道部分正确或未作答。到了M3.1 Flash，答对题目从约17道增至56道，答错也从约15道增至41道。


但在Plotly与Mila研究人员联合搭建的数据分析测评中，minimax M3.1 Flash却跑出了高分：全部43道题目答对41道，与Claude Opus 5.5、Gemini 4 Argon等模型同分。


此前，它的匿名早期版本“太空兔”通过了38道，与智谱GLM5.3Flash、阿里Qwen3.827B等模型持平，是这套测试里表现最好的开放权重模型之一。


这套题模拟真实业务场景，给模型接入一份2000万行记录的模拟风电数据仓库，要求自主查询、运算并回答业务问题。同时题目里埋有陷阱，会提出数据集无法支撑的问题，比如让只有风电数据的模型计算太阳能发电量，以此检验模型能否发现数据缺失、识别错误前提，克制幻觉输出。


测试者还在数据中埋了五处需要主动发现的规律，9月的太空兔只找到两处，M3.1Flash全部找到，但每题耗时中位数从太空兔的36秒增至3分钟。


不过，“背题”指控尚缺少请求日志或训练记录支持，模型答出旧答案，可能涉及训练材料中的题目，也可能是概念混淆。


为此，我们也复刻了Binkg的改题试验。


将改后的英文原题，分别向MiniMaxM3.1Flash、豆包快速模式和DeepSeekV4.1Flash-1017提问。


和Binkg的测试结果一样，豆包和DeepSeek都随新题改了回答，MiniMax则仍回答的是RRP。


（Binkg改后新题，英文版三家实测截图）


接着，我们把题目翻译成中文，题目保持不变，再各开一次新对话。这一次，豆包、DeepSeekV4.1Flash-1017和MiniMaxM3.1Flash全部答对。


（Binkg改后新题，中文版三家实测截图）


除了问答，我们还给MiniMax和DeepSeek安排了一项创作任务：制作一张约4秒的GIF动图。


两款产品收到相同的两张参考图，以及同一段要求：薄雾草地上，一只戴粉色蝴蝶结、穿银甲、披白披风的橘猫握剑站立，巨龙低头靠近、张嘴咆哮。保留参考形象，突出体型反差，动作自然连贯，直接交付可播放的GIF动图。


（猫咪造型特写及场景参考图）


DeepSeek V4.1 Flash-1017交付了约6.2秒的GIF，参考形象一致，但主要在两个构图间切换，角色动作较少。


（为不影响上传后的图片效果，GIF转换成MP4格式，下同)


M3.1 Flash交付约4秒GIF，角色动作更多，猫和龙的造型与参考图有差别。


我们让MiniMax按参考图重做，再次强调猫与巨龙的身高差。MiniMax随后列出修改项，称粉色蝴蝶结、星纹银甲、白披风都已保留，还交付了横竖两个版本。


竖版中的巨龙从头顶靠近，小猫站在画面下方，体型反差更明显。但猫的脸和服饰仍没有还原参考图。


最后，我们明确调用MiniMax的H3视频生成工具，上传原始视频，要求复刻前5秒的角色、镜头和配乐。这一次，MiniMax输出的角色形象与配乐符合复刻了参考视频。


10月23日，MiniMax按此前公布的计划开放了M3.1 Flash的模型权重，抛出了一个可供所有人核验的后续方案。具备部署条件的研究者，可以在自己的设备上重新测试，题目无需经过MiniMax的在线接口。


这为核验增加了条件，但公开权重并没有同时公开全部训练材料。那道改题为什么答错，换成中文为什么又答对，仍需要更多测试解释。