0x00 这个问题的由来 先交代一下背景。
我们团队从去年Q4开始大批量接入国产大模型做文档解析和批量问答类业务。初期按官方标称的上下文窗口配置任务,结果频繁翻车——有的任务跑到一半接口超时,有的直接报错拒绝,最隐蔽的一种是模型正常返回了,但结尾最后几千字被截断了,没有任何报错提示。
后来排查才发现,官方标称的上下文窗口和实际能稳定输出的Token量,中间差着一大截。不同模型的超限表现也完全不一样——有的会显性报错,有的会静默丢尾,有的直接硬拒绝。
所以这篇内容纯粹是踩坑之后的经验整理。我们针对六款主流模型做了线上真实环境压测,把实测稳定上限、超限后的具体表现、以及我们团队内部强制执行的“安全阈值”都列出来了,供同行参考。
特别说明: 以下所有数据均来自线上生产环境真实接口调用,不是实验室跑分,统计口径是“能完整输出、无截断、无报错”的最大Token量。
1、实测数据汇总 先说结论,直接看表。
模型 超限后表现
DeepSeek-V4-Pro : 实测稳定上限为315,063,超过355k左右开始丢尾,内容截断但接口返回成功,无任何报错,隐蔽性极强,安全阈值(团队强制)≤ 310,000
GLM-5.2:实测稳定上限为361,003,在接近400k时接口超时,任务中断,报错明显,安全阈值(团队强制)≤ 355,000
Kimi K3 :实测稳定上限为361,670,也在400k附近超时红线 ,安全阈值(团队强制)≤ 355,000
MiMo V2.5 Pro: 184,001 约185k直接硬拒绝,接口返回错误码,任务无法提交 ≤ 180,000
MiniMax M3:实测稳定上限为 359,998 实测虽高但官方锁定320k上限,超32k后输出质量急剧下降,逻辑断层 。安全阈值(团队强制)320,000(以官方为准)
Qwen3.7-Max:实测稳定上限为184,000;同MiMo,185k硬拦截,无缓冲空间。安全阈值(团队强制≤)≤ 180,000
2、几个结论
第一,18万Token是一道明确的分水岭。
Qwen3.7-Max和MiMo V2.5 Pro这两款,实测表现高度一致,185k就是硬门槛,超过了直接拒绝,不存在渐进式劣化。适合日常短文处理,性价比优势明显。
第二,30万+梯队里,各家禀性不一样。
Kimi K3和GLM-5.2是目前长文本稳定性最好的两款,但共同问题是400k附近必超时,所以使用时要留足冗余——我们内部定的是355k上限,留5k的buffer。
DeepSeek-V4-Pro的情况比较特殊。31.5k的稳定上限不算低,但它的超限表现是“静默丢尾”,接口不报错,返回码正常,只有把输出拉到最后才发现内容没了。这种隐性故障在生产环境中危害最大,因为监控系统抓不到异常。
MiniMax M3存在实测值与官方限制“打架”的问题。虽然实测能跑到36万,但官方强锁320k,且超过320k后输出质量极不稳定,我们建议直接听官方的,按320k配置。
3、 分档选型规则
按文本Token量级,我们在内部统一了选型标准,直接写入接口配置:
文本量级 ≤ 18万,单文档、日常问答、文案处理,推荐Qwen3.7-Max / MiMo V2.5 Pro,建议选择优先选性价比高的;
文本量级在 18万~32万,在多文档合并、中型报告使用MiniMax M3 / DeepSeek-V4-Pro 严格卡安全阈值,DeepSeek不得超31万;
文本量级在32万~36万,使用场景在百万字级长篇、项目文档汇总情况下,选择使用Kimi K3 / GLM-5.2。必须预留5k+ buffer,禁选其他模型;
文本量级> 36万,超极限场景 ,无可用模型。建议强制拆分,禁止单任务提交
4 、团队落地的建议
供参考:官方标称值不再作为配置依据。 所有模型的上限配置,统一以本文“安全阈值”列为准,写入配置文件,代码里硬编码。
区分两类异常,分别处理。
显性异常(超时、硬拒绝):容易发现,系统告警即可。
隐性异常(丢尾、内容缺失):危害更大,需重点防范。针对DeepSeek-V4-Pro的长文本调用,我们在后处理环节增加了末尾完整性校验,一旦检测到截断,自动触发重试或拆分重跑。
接口调用前置拦截。 所有模型请求在发出前,先由网关层校验Token长度,超限则直接返回“文本过长,请拆分后重试”,不把请求发到模型层。
超36万强制切片。 编写了统一的预处理脚本,自动按段落或章节切分长文本,分批次调用,最后合并结果。这部分已封装成公共组件,各业务线直接复用。
5 总结
长文本场景下,模型官方标称的上下文窗口参考价值有限,真正决定任务成功率的,是实测稳定的上限值以及超限后的故障表现。本次实测的六款模型可归为18万级和30万+级两档,各自有明确的安全红线和异常特征。
生产环境落地时,按文本量级分档选型、按安全阈值硬编码配置、超限文本强制拆分,这三件事做到位,基本可以规避绝大多数长文本相关的超时、报错、截断、内容丢失问题。