模型能力对比（24 个模型）

测试集：根据本人实际工作使用习惯设计 · 107 题 · 8 维度 · 生成 2026-10-29 23:49 · 离线单文件

① 总榜（按综合分降序）

模型	名次	综合分	95% CI	档位	一票否决	剔除空答后
DeepSeek-V4.1-Flash-Fast (CommandCode)思考强度默认	1	0.9002	0.8445 – 0.9488	D	⛔ d7-04d7-02	0.9106
LongCat-2.5-Preview-Free思考强度默认	2	0.8979	0.8475 – 0.9417	D	⛔ d7-04d7-02d8-02	0.9156
Qwen3.8-Max-0902 (百炼 Token Plan)思考强度默认	3	0.8934	0.8346 – 0.9429	D	⛔ d7-04d7-02	0.8934
DeepSeek-V4.1-Flash-1017思考强度默认	4	0.8930	0.8344 – 0.9393	D	d7-02d8-02	0.9000
DeepSeek-V4.1-Flash (CommandCode)思考强度默认	5	0.8922	0.8287 – 0.9446	D	d7-02	0.9027
Step-5-Preview思考强度默认	6	0.8893	0.8280 – 0.9412	D	⛔ d7-04d7-02	0.9055
qwen3.8-flash思考强度默认	7	0.8867	0.8266 – 0.9385	D	⛔ d7-04d7-02	0.8867
deepseek-v4.1-flash-high思考强度 high	8	0.8838	0.8229 – 0.9367	D	⛔ d7-04d7-02	0.8908
MiMo-V2.6-Pro思考强度默认	9	0.8829	0.8313 – 0.9286	D	⛔ d7-04d7-02d8-02	0.9077
LongCat-2.5-Preview-Free-high思考强度 high	10	0.8827	0.8217 – 0.9344	D	⛔ d7-04d7-02d8-02	0.8941
Ling-3.1-Flash (CommandCode)思考强度默认	11	0.8803	0.8223 – 0.9287	D	⛔ d7-04d7-02	0.8896
GPT-6-Luna (CommandCode)思考强度默认	12	0.8738	0.8079 – 0.9292	D	⛔ d7-04d7-02d8-02	0.8738
MiniMax-M3.1-Flash-Free思考强度默认	13	0.8716	0.8026 – 0.9245	D	⛔ d1-02⛔ d7-04⛔ d7-05d7-02	0.9034
MiniMax-M3.1-Flash-Free-high思考强度 high	14	0.8666	0.8044 – 0.9206	D	⛔ d7-04⛔ d7-05d7-02	0.8701
Kimi-K2.6 (CommandCode)思考强度默认	15	0.8643	0.8021 – 0.9184	D	⛔ d7-04d7-02	0.8903
deepseek-v4.1-flash基准思考强度默认	16	0.8624	0.7955 – 0.9209	D	d7-02	0.8624
Claude-Haiku-5.5-medium思考强度 medium	17	0.8492	0.7787 – 0.9104	D	⛔ d7-04d7-02	0.8492
Qwen3.8-27B (CommandCode)思考强度默认	18	0.8454	0.7774 – 0.9052	D	⛔ d7-04d7-02	0.8970
Qwen3.6-35B-A3B思考强度默认	19	0.8256	0.7408 – 0.9016	D	⛔ d1-02d7-02	0.8427
LongCat-2.0 (CommandCode)思考强度默认	20	0.8222	0.7584 – 0.8802	D	⛔ d7-04d7-02	0.8379
Iceman-Contributor-Free思考强度默认	21	0.8064	0.7381 – 0.8713	D	⛔ d7-04d7-02d8-02	0.8064
Ornith-1.5-35B-A3B思考强度默认	22	0.7941	0.7091 – 0.8739	D	d7-02	0.8812
GLM-5.3-Flash思考强度默认	23	0.7938	0.7107 – 0.8674	D	⛔ d7-04d7-02	0.8178
GLM-5.3-Flash-high思考强度 high	24	0.7833	0.6952 – 0.8630	D	⛔ d7-05d7-02	0.7996

名次按综合分从高到低排（综合分相同则同名次）；一票否决失守会直接压档（与总分无关）。

② 八维通过率（列按权重降序）

模型	D2 工具协议 20%	D1 规则遵循 18%	D3 代码 16%	D4 数据一致性 14%	D5 中文写作 12%	D6 长上下文 8%	D7 元认知 8%	D8 知识不幻觉 4%	加权总分
DeepSeek-V4.1-Flash-Fast (CommandCode)思考强度默认	79.2n=48	90.9n=33	97.8n=45	100.0n=36	93.3n=30	100.0n=30	62.2n=45	100.0n=36	0.9002
LongCat-2.5-Preview-Free思考强度默认	87.5n=48	93.9n=33	88.9n=45	100.0n=36	86.7n=30	100.0n=30	62.2n=45	94.4n=36	0.8979
Qwen3.8-Max-0902 (百炼 Token Plan)思考强度默认	77.1n=48	90.9n=33	100.0n=45	100.0n=36	93.3n=30	96.7n=30	57.8n=45	100.0n=36	0.8934
DeepSeek-V4.1-Flash-1017思考强度默认	81.2n=48	90.9n=33	95.6n=45	100.0n=36	90.0n=30	100.0n=30	64.4n=45	86.1n=36	0.8930
DeepSeek-V4.1-Flash (CommandCode)思考强度默认	79.2n=48	90.9n=33	97.8n=45	100.0n=36	86.7n=30	100.0n=30	62.2n=45	100.0n=36	0.8922
Step-5-Preview思考强度默认	85.4n=48	100.0n=33	88.9n=45	100.0n=36	73.3n=30	100.0n=30	64.4n=45	91.7n=36	0.8893
qwen3.8-flash思考强度默认	77.1n=48	90.9n=33	97.8n=45	100.0n=36	93.3n=30	86.7n=30	66.7n=45	94.4n=36	0.8867
deepseek-v4.1-flash-high思考强度 high	77.1n=48	90.9n=33	93.3n=45	100.0n=36	90.0n=30	100.0n=30	62.2n=45	97.2n=36	0.8838
MiMo-V2.6-Pro思考强度默认	87.5n=48	97.0n=33	86.7n=45	94.4n=36	83.3n=30	83.3n=30	71.1n=45	97.2n=36	0.8829
LongCat-2.5-Preview-Free-high思考强度 high	85.4n=48	90.9n=33	88.9n=45	100.0n=36	83.3n=30	96.7n=30	62.2n=45	97.2n=36	0.8827
Ling-3.1-Flash (CommandCode)思考强度默认	85.4n=48	90.9n=33	97.8n=45	100.0n=36	76.7n=30	93.3n=30	53.3n=45	100.0n=27	0.8803
GPT-6-Luna (CommandCode)思考强度默认	87.5n=48	90.9n=33	86.7n=45	100.0n=36	83.3n=30	100.0n=30	51.1n=45	88.9n=36	0.8738
MiniMax-M3.1-Flash-Free思考强度默认	81.2n=48	87.9n=33	91.1n=45	100.0n=36	93.3n=30	100.0n=30	51.1n=45	80.6n=36	0.8716
MiniMax-M3.1-Flash-Free-high思考强度 high	81.2n=48	93.9n=33	91.1n=45	97.2n=36	86.7n=30	96.7n=30	46.7n=45	86.1n=36	0.8666
Kimi-K2.6 (CommandCode)思考强度默认	81.2n=48	90.9n=33	93.3n=45	97.2n=36	80.0n=30	90.0n=30	57.8n=45	96.3n=27	0.8643
deepseek-v4.1-flash基准思考强度默认	87.5n=48	100.0n=33	91.1n=45	91.7n=36	63.3n=30	80.0n=30	66.7n=45	100.0n=36	0.8624
Claude-Haiku-5.5-medium思考强度 medium	81.2n=48	78.8n=33	91.1n=45	100.0n=36	83.3n=30	93.3n=30	55.6n=45	100.0n=36	0.8492
Qwen3.8-27B (CommandCode)思考强度默认	85.4n=48	90.9n=33	84.4n=45	100.0n=36	73.3n=30	83.3n=30	55.6n=45	91.7n=36	0.8454
Qwen3.6-35B-A3B思考强度默认	87.5n=48	63.6n=33	80.0n=45	100.0n=36	90.0n=30	90.0n=30	60.0n=45	100.0n=27	0.8256
LongCat-2.0 (CommandCode)思考强度默认	83.3n=48	84.8n=33	84.4n=45	91.7n=36	73.3n=30	90.0n=30	51.1n=45	96.3n=27	0.8222
Iceman-Contributor-Free思考强度默认	85.4n=48	100.0n=33	68.9n=45	91.7n=36	50.0n=30	100.0n=30	55.6n=45	81.5n=27	0.8064
Ornith-1.5-35B-A3B思考强度默认	68.8n=48	81.8n=33	86.7n=45	100.0n=36	50.0n=30	90.0n=30	73.3n=45	100.0n=36	0.7941
GLM-5.3-Flash思考强度默认	83.3n=48	66.7n=33	77.8n=45	88.9n=36	76.7n=30	100.0n=30	57.8n=45	100.0n=36	0.7938
GLM-5.3-Flash-high思考强度 high	72.9n=48	72.7n=33	88.9n=45	80.6n=36	66.7n=30	100.0n=30	64.4n=45	100.0n=36	0.7833

底色深浅 = 通过率：0%25%50%75%100%

⚠ 分母不同，这些维度不要横向比：D8（DeepSeek-V4.1-Flash-Fast (CommandCode) n=36 / LongCat-2.5-Preview-Free n=36 / Qwen3.8-Max-0902 (百炼 Token Plan) n=36 / DeepSeek-V4.1-Flash-1017 n=36 / DeepSeek-V4.1-Flash (CommandCode) n=36 / Step-5-Preview n=36 / qwen3.8-flash n=36 / deepseek-v4.1-flash-high n=36 / MiMo-V2.6-Pro n=36 / LongCat-2.5-Preview-Free-high n=36 / Ling-3.1-Flash (CommandCode) n=27 / GPT-6-Luna (CommandCode) n=36 / MiniMax-M3.1-Flash-Free n=36 / MiniMax-M3.1-Flash-Free-high n=36 / Kimi-K2.6 (CommandCode) n=27 / deepseek-v4.1-flash n=36 / Claude-Haiku-5.5-medium n=36 / Qwen3.8-27B (CommandCode) n=36 / Qwen3.6-35B-A3B n=27 / LongCat-2.0 (CommandCode) n=27 / Iceman-Contributor-Free n=27 / Ornith-1.5-35B-A3B n=36 / GLM-5.3-Flash n=36 / GLM-5.3-Flash-high n=36） —— 「未参评」= 模型不具备该能力（如纯文本模型没有视觉题），不计分母不扣分。

③ 八维点图（点=通过率，横线=95% CI）

④ 失败构成 · 难度分层 · 速度

模型	真错答	空答	未参评	L2 通过率	L3 通过率	平均耗时	中位	P95	输出 tok/s	缓存命中
DeepSeek-V4.1-Flash-Fast (CommandCode)思考强度默认	30	3	0	93.3%（255）	75.8%（66）	8 s	4 s	21 s	133.8	84.2%
LongCat-2.5-Preview-Free思考强度默认	31	5	0	92.2%（255）	75.8%（66）	32 s	14 s	106 s	35.1	85.3%
Qwen3.8-Max-0902 (百炼 Token Plan)思考强度默认	35	0	0	91.8%（255）	77.3%（66）	60 s	11 s	290 s	41.1	82.8%
DeepSeek-V4.1-Flash-1017思考强度默认	36	2	0	91.0%（255）	77.3%（66）	8 s	4 s	20 s	153.5	85.6%
DeepSeek-V4.1-Flash (CommandCode)思考强度默认	32	3	0	92.5%（255）	75.8%（66）	12 s	5 s	23 s	101.9	85.2%
Step-5-Preview思考强度默认	35	7	0	89.8%（255）	75.8%（66）	7 s	3 s	25 s	194.9	85.4%
qwen3.8-flash思考强度默认	38	0	0	92.9%（255）	69.7%（66）	44 s	10 s	195 s	61.1	83.4%
deepseek-v4.1-flash-high思考强度 high	36	2	0	91.8%（255）	74.2%（66）	15 s	5 s	30 s	79.5	85.2%
MiMo-V2.6-Pro思考强度默认	32	7	0	89.4%（255）	81.8%（66）	29 s	8 s	106 s	40.9	84.6%
LongCat-2.5-Preview-Free-high思考强度 high	36	4	0	91.0%（255）	74.2%（66）	31 s	13 s	122 s	35.5	92.6%
Ling-3.1-Flash (CommandCode)思考强度默认	40	4	9	88.2%（246）	77.3%（66）	20 s	7 s	77 s	88.8	99.7%
GPT-6-Luna (CommandCode)思考强度默认	47	0	0	89.4%（255）	69.7%（66）	6 s	4 s	12 s	48.8	85.0%
MiniMax-M3.1-Flash-Free思考强度默认	40	11	0	85.9%（255）	77.3%（66）	16 s	5 s	83 s	93.2	85.7%
MiniMax-M3.1-Flash-Free-high思考强度 high	52	1	0	85.9%（255）	74.2%（66）	15 s	5 s	47 s	58.3	81.3%
Kimi-K2.6 (CommandCode)思考强度默认	37	8	9	89.0%（246）	72.7%（66）	22 s	10 s	85 s	77.7	83.0%
deepseek-v4.1-flash基准思考强度默认	45	0	0	89.4%（255）	72.7%（66）	5 s	3 s	14 s	86.4	84.8%
Claude-Haiku-5.5-medium思考强度 medium	49	0	0	86.7%（255）	77.3%（66）	5 s	4 s	10 s	124.5	0.0%
Qwen3.8-27B (CommandCode)思考强度默认	37	16	0	86.3%（255）	72.7%（66）	18 s	6 s	96 s	120.2	85.3%
Qwen3.6-35B-A3B思考强度默认	45	6	9	87.8%（246）	68.2%（66）	78 s	51 s	184 s	30.2	87.3%
LongCat-2.0 (CommandCode)思考强度默认	55	5	9	83.7%（246）	69.7%（66）	26 s	9 s	62 s	64.4	85.4%
Iceman-Contributor-Free思考强度默认	67	0	9	80.5%（246）	71.2%（66）	20 s	15 s	32 s	34.4	34.4%
Ornith-1.5-35B-A3B思考强度默认	28	29	0	87.1%（255）	63.6%（66）	84 s	19 s	500 s	30.0	85.9%
GLM-5.3-Flash思考强度默认	53	7	0	84.3%（255）	69.7%（66）	12 s	7 s	29 s	61.6	36.7%
GLM-5.3-Flash-high思考强度 high	55	5	0	84.7%（255）	68.2%（66）	14 s	6 s	32 s	42.5	43.5%

真错答 = 能力边界；空答 = 思考链吃光预算（工程问题，剔除后的分数见总榜「剔除空答后」列）；未参评 = 不具备该能力（不计分母不扣分）。