三道经典测试题，快速分辨GPT-4与GPT-3.5套壳接口

告诉你个尴尬事。前阵子有个朋友找我说他们团队买了一家第三方AI接口宣传清清楚楚写着“GPT-4”结果做出来的产品在复杂逻辑问答上一塌糊涂用户投诉不断。我让他把接口的返回参数亮出来结果model字段里赫然写着“gpt-3.5-turbo”。这年头拿GPT-3.5冒充GPT-4的“套壳服务”真不少所以很多开发者都想知道能不能不靠后台配置光靠问题和回答快速分辨站在你对面的是不是真GPT-4答案是能而且不需要太复杂的办法三道经典测试题就够了。这三道题分别从空间推理、约束遵循、反直觉数学三个维度下手专挑GPT-3.5的软肋打。我自己在多个中转站、聚合API上实测过区分度非常高。下面把这套方法和判读经验完整分享出来。1. 先搞清楚一件事测试模型版本别问它自己是谁1.1 为什么“你是什么模型”是最没用的测试很多人拿到一个来路不明的AI接口第一反应就是输入“你是GPT-3.5还是GPT-4”然后模型回答什么就信什么。这个思路从一开始就错了。原因很简单大模型没有固定的“自我身份”它说的每一句话都是根据上下文生成的。如果平台方在system prompt里写了“你是GPT-4OpenAI开发的最强模型”那么不管背后跑的是3.5还是开源模型它都会回答自己是GPT-4。反过来说有些官方模型在没有任何提示词的情况下可能只会说“我是AI助手”根本不会主动报出版本号。所以你问“你是谁”得出的答案本质上是平台方想让你看到的答案和真实的模型版本没什么关系。更要命的是现在很多“套壳”方案根本就不是GPT系列模型而是各种开源模型加了一套GPT风格的提示词。这种模型在被问身份时往往会顺着语境假装自己是GPT-4演技好到你根本分辨不出来。所以身份自报这条路可以直接放弃必须用行为测版本。1.2 GPT-3.5与GPT-4的差异其实集中在三个维度既然不打算问身份那就要看真本事。从工程使用的角度来说GPT-3.5和GPT-4的核心差距并不在于“知识量”因为两者的公开训练数据截止时间非常接近知道的历史事件和百科知识基本是同一批。真正的分水岭在于以下三个维度能力维度GPT-3.5典型表现GPT-4典型表现多步逻辑推理链条稍长就断常在第三步之后开始胡编能稳定走完长链推理中间步骤基本不出错约束条件遵循两三个条件同时满足就漏经常顾此失彼五六个并列条件仍然稳定满足反直觉数学/陷阱识别容易被训练数据里的常见答案带跑能识别题目中的反直觉点主动跳出惯性看明白这张表你就知道测试题该怎么设计了。目标不是考“知不知道”而是考“在复杂条件下能不能稳定地不出错”。顺着这个思路往下看三道题。2. 经典题一向南一公里向东一公里向北一公里2.1 题目版本与完整答案拆解这是一道经典的“地理空间推理”题网上流传版本很多建议用下面这个版本你从某个地点出发先向南走了1公里再向东走了1公里最后向北走了1公里结果回到了出发点。请问你的出发点在哪里如果这时你看到了一只熊熊是什么颜色先说完整答案因为这道题的答案远不止一个地方。最经典的答案是北极点。从北极点出发无论朝哪个方向走都是向南走1公里后到达某条纬线上然后向东走1公里是沿着纬线走一圈未必刚好一整圈最后向北走1公里回到北极点。但很多人忽略另一类答案在南极点附近也存在无穷多个解。你在南极点以北大约1.16公里的位置起步向南走1公里会到达一条周长刚好为1公里的纬线圈这时向东走1公里正好绕这个纬线圈一整圈再向北走1公里就回到起点。更准确地说只要这条纬线周长是1/n公里n为正整数向东走1公里绕n圈也能回到原地。所以南极点附近有一个无限序列的解。至于“熊的颜色”这个附加问只有在北极点场景下才说得通因为北极熊是白色的。一旦题目加了“看到熊”其实就暗示答案是北极点南极附近的那些解并不合理因为南极地区没有熊。2.2 这道题真正考验的能力是什么这道题表面考地理知识实际上考的是三个能力的叠加。第一是空间想象力模型要把平面上的“东南西北”转化为球面上的“纬线和经线”概念理解向东行进是在沿着一条圆圈走。第二是发散思维能力多数人一开始只能想到北极点能不能继续追问南极方向存在无穷多组解非常考验模型的完整性。第三是常识关联能力“看到熊”能不能联想到北极熊是白色这需要跨领域的常识推理。GPT-3.5在遇到这道题时最常见的表现是只给出“北极点”一个答案而且解释逻辑经常含混不清有的甚至会把“从北极点向南走再向北走”描述成“回到了北极点”看起来就像在做表面文字游戏。更弱一些的3.5版本还会直接编出“地球上的任何一个点”这种完全没有空间概念的答案。2.3 怎么根据回答判断版本倾向判读时不要只看最终答案对不对要重点看过程。这里给你一个比较实用的判断思路如果回答只说“北极点”而且没有对“向东为什么能绕回”做任何解释那么大概率是3.5级别。如果回答能说清楚“从北极点出发任意方向都是南向东是沿纬线走再向北回到北极点”并且主动补充“在南极点附近还有一组近似解”这是GPT-4的典型水准。如果你追问“还有其他可能吗”对方能接上“南极点附近存在周长1公里的纬线”这个思路也倾向于GPT-4。我个人的判读习惯是第一答只能给出北极点不算错但区分力度不够第二答或第三答中能否补出南极附近的无穷解才是拉开差距的地方。很多3.5模型的通病是就算你提示它“再想想南极附近”它也会一本正经地否定你的提示然后坚持说没有其他答案。3. 经典题二把模型关进“约束的笼子”里写一段话3.1 一道适合中文环境的约束写作题逻辑题做多了模型容易记住套路所以我习惯用“条件写作题”做第二道测试。这类题的好处是没法靠背题混过去因为条件一换答案就完全不同。这里给你一个我常用且在中英文环境下都测过的版本请写一段不超过50个字的短句描写一个下雨的早晨。要求必须包含“伞”和“面包”这两个词不能出现“雨”“湿”这两个字结尾必须是一个问句。别小看这五个条件50字以内、包含两个指定词、禁用两个字、结尾是问句。这里面最狠的是“描写下雨的早晨”和“不能出现‘雨’字”之间的冲突。模型需要在描述语义和字面约束之间反复矫正如果注意力分配不到位大概率会漏掉某一个条件。3.2 两种模型在约束写作上的真实差距我实测下来GPT-3.5接到这类题目后的典型翻车模式有三种。第一种是直接触碰禁字比如写完“雨落在街道上”完全把“不能出现雨字”忘记。第二种是字数失控写着写着就超过50字而且超出之后不会自己检查整改。第三种是结尾类型跑偏题目要求问句它却给了一个感叹句或陈述句这说明模型的注意力更多地放在了内容生成上对格式要求的记忆已经衰减。GPT-4的表现则明显不一样它通常在输出前就做好规划写出来的短句会绕开禁字又让语义暗示出“正在下雨”。比如它可能会写“早晨的窗台摆着刚买的面包那把伞还在门口等着天空的眼泪何时才会停”更有意思的是如果模型真的不小心违反了一个条件GPT-4系的模型有较大概率在回答末尾主动道歉然后重新给出一版满足条件的答案。这种“自我修正”能力在3.5上几乎看不到。3.3 判读要点一次满足和反复修补的区别这道题的判读要点不在“答得有多好”而在“满足了几条约束”。我建议你把它变成一道5分评分题50字以内1分包含“伞”得1分包含“面包”得1分没出现禁字得1分结尾是问句得1分。GPT-3.5常见得分是2到3分GPT-4通常能拿到4到5分。如果你懒得算分就用一个更省事的办法看第一次回答就满足全部条件还是你提醒之后才改正。第一次直接满足说明模型对复杂约束的遵循能力很强倾向于GPT-4。你提醒一句“你用了禁字”之后才恍然大悟并重写说明模型基础能力也还行但可能是3.5的较高水平。如果提醒两次还不改基本就可以断定不是GPT-4了。这里提醒一句写作类测试受temperature参数影响很大。如果你用的是API把temperature调到0或者0.2再做测试否则随机性会让结果失真。调高温度再测往往3.5也会偶尔蒙对一次。4. 经典题三两列火车之间往返飞的蜜蜂4.1 题目与两种解法整体法 vs 无穷级数法第三道题我强烈推荐因为它暴露的是模型“做数学题时有没有真正的数学直觉”。A、B两座城市相距120公里。一列火车从A出发驶向B速度是60公里/小时另一列火车从B出发驶向A速度是40公里/小时。一只蜜蜂从A发出的火车车头起飞以80公里/小时的速度在两列火车之间来回飞行直到两列火车相遇。请问蜜蜂一共飞了多少公里这道题有一个经典陷阱很多人会把蜜蜂每次折返的路程一段一段加起来形成一个无穷级数然后动手去求和。但这其实是一个很傻的硬算法因为每段路程越来越短计算量极大还容易出错。正确的“整体法”思路是蜜蜂飞行的总时间就是从出发到两车相遇的时间也就是两车相向而行的相遇时间。两城相距120公里相对速度是100公里/小时因此相遇时间是1.2小时。蜜蜂飞了1.2小时速度80公里/小时总距离就是96公里。整个过程一句话就能算完。4.2 为什么这一题能看出模型是“真想明白了”还是“背答案”这道题在3.5和4面前的表现差异非常有趣。GPT-3.5在多数情况下会真的去列无穷级数先算出第一段距离再算第二段然后试图找规律求和。有些版本经过多次步骤也能算出96公里但过程冗长到你要等很久更常见的情况是算了半天之后给出一个错误结果比如108公里或者84公里说明级数求和的某个中间环节算错了。GPT-4通常会在第一轮回答里就跳过所有级数尝试直接说“不需要逐段计算蜜蜂往返的路程因为蜜蜂一直飞到两车相遇飞行时间等于相遇时间”。它甚至可能把答案和解释一起端出来整个回答干净利落。判读这道题的核心标准就是有没有主动使用“整体法”。如果模型上来就列级数求和哪怕最后答案碰巧对了也倾向于3.5。如果模型在开头就点出“飞行时间等于两车相遇时间”不用写一堆公式大概率是4。另外你可以追加追问一句“能给我讲讲你用级数怎么算吗”——如果第一遍给了正确整体法的模型还能把级数思路也讲清楚说明理解更深一档。4.3 三道题组合起来怎么给模型打一个综合分三道题单独用都有一定的误判概率但组合在一起可信度就会非常高。我自己常用的打分方案是每道题满分10分按以下标准扣分。第一题能答出北极点并解释清楚得6分能补出南极附近无穷解得7到8分能在加问熊的颜色时准确关联北极熊得满分。第二题每个约束条件2分五条全满足就是10分。第三题主动使用整体法、答案正确得10分用级数硬算且答案正确得7分算错直接4分以下。如果三题总分在25分以上我基本愿意相信这是GPT-4。如果总分在15分以下那就得高度怀疑对面是3.5级别的模型。如果有人只答对了一两题那就把这道题的权重调低重新开新对话再测一轮综合两次结果说话。我遇到过一个很有意思的案例有个模型在第一题表现很差完全说不清北极点的逻辑但第二题和第三题都答对了。后来我查了接口才发现实际是某个开源模型并不是GPT系列但它在指令遵循和数学题上有专门微调。所以组合打分不是为了复现一个理论上的“GPT-4签名”而是为了降低单题运气成分。5. 实操避坑测试时容易被忽略的几个细节5.1 随机性是最大干扰项单次结果别当真很多开发者跑模型对比时容易陷入一个误区问一次答对了就下结论问一次答错了就骂模型不行。大模型是概率模型同样的输入在不同温度下、不同时间点调用输出可能完全不同。温度设置为0或0.2时输出相对稳定但也不是绝对固定。所以建议每组测试至少让模型答三次以多数表现作为结论。如果你用的是网页版对话产品还可以用“重新生成回答”功能来获取多个版本。我见过最典型的翻车案例是有人在某平台上测试一个自称为GPT-4的接口一上来就丢了一道全网的经典题“鲁迅姓什么”模型答对了他就放心买了一年会员。结果做正经业务时发现逻辑完全不行。原因很简单这道题早就是所有模型的训练样本了连开源模型都能答对。测试题必须选没有大规模出现在公开语料里的变体而不是网上抄番茄炒蛋级别的题目。5.2 清理上下文防止模型“顺着你的话去猜”很多人都忽略了对话历史对测试结果的影响。模型会参考前文内容来生成后续回答如果你在前面几轮已经聊过“我要测试你是不是GPT-4”或者已经解答过这三道题里的某一道那么后面的结果基本会失真。比如你刚在同一个对话里让模型解释过“北极点问题”再问一次“熊的颜色”模型可能直接抄上一轮的解释这不是版本能力的真实体现。所以在测试每一个独立问题时最好新建一个对话窗口或者在API调用时不携带之前的messages记录。三道题之间也尽量不要保留上下文确保每次都是“冷启动”。5.3 三条硬核的补充验证手段继续向下延伸除了用问题来测试我建议你用排除法做交叉验证。第一个手段是看API的model字段。如果你对接的是OpenAI官方API返回JSON里会明确写model比如“gpt-4-turbo-preview”或“gpt-4o”。如果对接的是第三方聚合平台平台可能会隐藏这个字段但你依然可以通过抓包或者管理后台查看实际请求的模型名。凡是死活不给你看model字段的先默认不是官方直连至少保留一份怀疑。第二个手段是观察上下文窗口长度。GPT-3.5 Turbo的标准上下文是4K扩展版可以到16K而GPT-4系列基础版8K、Turbo可以到128K。你可以丢一段大概3万字的长文让模型做摘要如果它连开头的内容都回忆不起来说明上下文窗口可能只有4K到16K级别与GPT-4的常见规格不符。这个测试不绝对精确但能筛掉很大一批低配冒充方案。第三个手段是验证工具调用能力。GPT-4系列通过API开放了函数调用功能如果你能传入一个functions参数并让模型返回结构化的调用结果它通常能正确生成参数。而很多3.5级别的模型以及一些伪装成GPT-4的开源模型在这块的表现会非常拉胯不是返回格式错误就是参数乱填。这需要你有点编程基础才能实现但验明正身的效果极好。5.4 扩展清单可以自己组合的“试金石”题库如果你不想局限于三道经典题我再给你几个可组合的“备胎”题目它们都满足“需要多步推理或约束控制”的特征。第一道是“机器零件题”如果5台机器5分钟可以制造5个零件那么100台机器制造100个零件需要多少分钟答案是5分钟不是100分钟。第二道是“两数比较题”9.9和9.11哪个大这道题曾经坑过一批老模型新版基本都能应对但很容易在网页版上暴露版本。第三道是“三个盒子逻辑题”红色盒子上写着“球在这里”蓝色盒子上写着“球不在这里”黄色盒子上写着“球不在红盒子里”如果三句话中只有一句是真的球在哪里这类题目考察多分支逻辑区分度也不错。我的建议是建立一个“两到三题打底、不定期加入变体题目”的测试习惯。因为市面上针对单一题的“应试”数据越来越多有些模型在公开题库上表现极好但一遇到变体就暴露原型。变体不用太复杂把数字换换、把名词换换就行比如把北极点题里的“向东”改成“向西”把火车题里的汽车换成船能不能重新推理出来才是真本事。最后再分享一点个人体会我自己平时做模型对比的时候这三道题基本是必测项。“验明真身”不是为了证明一个模型叫“GPT-4”还是“GPT-3.5”而是帮你在看不见后台配置的情况下用几分钟的相对行为差异做出一个相对靠谱的判断。实际测试中你会发现真正顶级的模型偶尔也会犯低级错误但整体推理的稳定性和约束满足率明显更高。所以组合测试加多次采样永远比任何一题定生死都靠谱。如果你手上有更好用的试金石题目也可以按这个思路自己组合出新的题库。