各人好，我是木易，一个一连关注AI范畴的互联网技术产物司理，国内Top2本科，美国Top10 CS研究生，MBA。我坚信AI是普通人变强的“外挂”，以是创建了“AI信息Gap”这个公众号，专注于分享AI全维度知识，包括但不限于AI科普，AI工具测评，AI效率提升，AI行业洞察。关注我，AI之路不迷路，2024谷歌一起变强。
一些结论
模型名称正确性逻辑性解释清楚度推理复杂度总体评价ChatGPT 3.5✅❌❌中中ChatGPT 4✅✅✅高高Claude2.1❌❌❌低低Gemini Pro❌❌❌低低Gemini Ultra❌❌❌低低文心一言✅❌❌中中讯飞星火❌❌❌低低通义千问✅❌❌中中天工（开启Copilot选项）❌❌❌低低智谱清言❌❌❌低低Kimi Chat❌❌❌低低 总体评价：ChatGPT 4表现最为精彩，显示了强大的逻辑推理本领、清楚的解释本领以及处理惩罚复杂题目的本领。国产大模型中，文心一言和通义千问表现最突出。而其他大模型如Claude2.1、Gemini Pro/Ultra、讯飞星火、天工、智谱清言以及Kimi Chat则在这些方面表现不佳，特殊是在逻辑性和推理复杂度方面。
针对这些模型，我之前都有写过每个模型的介绍文章，详情可以检察我的汗青文章。
关于LLM大语言模型的推理本领
在评价一个LLM大语言模型的本领时，很紧张的一个指标是推理本领。推理本领是指模型在处理惩罚信息时，能够进行逻辑推导、分析和办理题目的本领。这种本领通常体现在模型对复杂题目的理解、对信息的整合以及在给定上下文中生成公道、连贯和有说服力的回答。在评价LLM的推理本领时，我们通常会思量以下几个方面：
- 逻辑连贯性：模型可否在回答中保持逻辑同等性，制止自相抵牾，确保推理过程的公道性。
- 上下文理解：模型是否能够理解并利用上下文信息来生成相关且准确的回答。这包括对长文本的理解本领，以及在多轮对话中保持话题的连贯性。
- 题目办理：模型在面对必要创造性思维或特定知识的题目时，可否提供有效的办理方案或建议。
- 常识推理：模型是否能够运用常识性知识，对现实天下的环境做出公道的推断。
- 因果推理：模型在分析因果关系时，可否准确地辨认原因和结果，并在此底子上进行推理。
- 数据驱动推理：模型可否利用提供的数据或信息，进行有效的分析和推理，得出有意义的结论。
- 多模态推理：对于包罗多种信息类型（如文本、图像、声音等）的输入，模型是否能够综合这些信息进行推理。
- 抗干扰本领：在面对模糊、不完备或有误导性的信息时，模型可否保持推理的准确性，不被错误信息所干扰。
- 顺应性：模型在面对新的、未曾训练过的任务或范畴时，可否快速顺应并展现出推理本领。
- 解释性：模型在给出答案时，是否能够提供清楚的解释，使得用户理解其推理过程。
在现实应用中，推理本领的强弱直接影响到LLM在各个范畴的实用性，如教育、医疗、法律咨询等。因此，开发者和研究者会通过各种测试和评估方法来不绝优化模型的推理本领，以提高其在现实场景中的有效性和可靠性。
测评对象
本日我们选取曾经介绍过的一些大模型/对话工具来横向测评它们的推理本领，包括：
- ChatGPT（包括ChatGPT 3.5 及 ChatGPT 4）
- Claude（Claude2.1）
- Gemini（包括Gemini Pro 及 Gemini Ultra）
- 文心一言
- 讯飞星火
- 通义千问
- 天工（开启Copilot选项）
- 智谱清言（GLM-4）
- Kimi Chat
测试题目
神秘岛屿的守护者
在一个神秘岛屿上，有三个守护者：X、Y、Z，守护着通往宝藏的秘密通道。岛上有一个规则：每个守护者要么总是说谎，要么总是说实话。X说Y总是说谎；Y说Z有时说实话有时说谎；Z说X和Y从不同时说谎（即假如一个人说谎，另一个就说实话）。根据这些信息，你能判断出X、Y、Z每个人是说谎者照旧说实话者吗？
测试题目分析
答案：X说实话，Y说谎，Z说实话。
这是一道典范的逻辑推理题，起首考察大模型对题目上下文的理解，条件是“每个守护者要么总是说谎，要么总是说实话”，这句话看起来像是废话，但当我们继承看下面的条件“Y说Z有时说实话有时说谎”，这两个条件联系起来，就能得出结论：Y是说谎者。因为守护着只能总是说谎大概总是说实话。理解这一层逻辑，接下来Z和X就好判断：因为Y说谎，以是X说实话，而因为X说实话且Y说谎，以是Z说实话。
这类题目的最常见的推理方式应该是假设法，本题通过假设法也能够解答。同时，题目中还潜伏了别的一层逻辑关系，X说Y在说谎，假如X说实话，那么Y确实说谎；假如X说假话，那么Y说实话，也就是X和Y其中一个说实话，一个说谎。那么Z一定说实话。
测试结果展示
ChatGPT 3.5
根据题目中提供的信息，我们可以通过逻辑推理来确定每个守护者是说谎者照旧说实话者。
- 假设 X 是说实话的。
- 假如 X 是说实话的，那么 Y 说谎，因为 X 说 Y 总是说谎。
- 假如 Y 是说谎的，那么 Z 必须说实话，因为 Y 说 Z 有时说实话有时说谎，但假如 Z 说谎，则与 X 说的不抵牾。这与 Z 说 X 和 Y 从不同时说谎相抵牾。以是 Z 必须说实话。
- 假如 Z 说实话，则与 X 说的不抵牾。
- 因此，假设 X 是说实话的不成立。
- 假设 X 是说谎的。
- 假如 X 是说谎的，那么 Y 必须说实话，因为 X 说 Y 总是说谎，而假如 Y 说谎，则与 X 说的不抵牾。
- 假如 Y 是说实话的，那么 Z 必须说谎，因为 Y 说 Z 有时说实话有时说谎，但假如 Z 说实话，则与 Y 说的不抵牾。
- 假如 Z 是说谎的，那么与 Y 说的不抵牾，因此 Z 必须说实话。
- 以是假设 X 是说谎的不成立。
因此，我们得出结论：X、Y、Z 分别是说实话者、说谎者、说实话者。
ChatGPT 3.5点评
尽管答案是正确的，但推理过程逻辑杂乱，解释不清不楚。
ChatGPT 4
我们可以通过逻辑推理来办理这个题目。
- X说Y总是说谎。
- Y说Z有时说实话有时说谎（这意味着Y声称Z不是总说谎也不是总说实话，但根据规则，守护者要么总是说谎要么总是说实话，这意味着Y自己在说谎）。
- Z说X和Y从不同时说谎（这意味着假如一个说谎，另一个就说实话）。
起首，由于Y的陈述自相抵牾（因为根据规则，一个守护者不能有时说实话有时说谎），我们知道Y肯定是说谎的。
假如Y是说谎的，那么X关于Y的陈述是真的，因此X是说实话的。
Z说X和Y不会同时说谎。既然我们知道Y是说谎的，而X是说实话的，Z的陈述也是真的，因此Z也是说实话的。
综上所述：
ChatGPT 4点评
完全正确的，推理过程也有理有据，真神！
Claude2.1
好的,让我仔细分析一下:
X说Y总是说谎。 Y说Z有时说实话有时说谎。 Z说X和Y从不同时说谎(即假如一个人说谎,另一个就说实话)。
起首,关于Y的性质,从X和Z的说法我们可以判断出: 假如X说实话,那么Y就总是说谎。 假如X说谎,那么根据Z的说法,Y这时应该说实话。 以是不管X说实话照旧说谎,Y都是说实话的。
然后看X的性质: X说Y总是说谎,但我们知道Y是说实话的,以是X在这里是在说谎。
最后Z的性质就很清楚了: Y说Z有时真有时假,以是Z是有时说实话有时说谎的。
综上所述: X是说谎者 Y是说实话者 Z是有时说实话有时说谎者
我的分析过程和逻辑清楚吗?有什么必要补充和说明的地方吗?
Claude2.1点评
Claude在这道题目已经完全凌乱了，回答完全错误。
Gemini Pro
起首，我们可以根据Z的说法来判断X和Y是否同时说谎。假如X和Y同时说谎，那么Z就说谎了。但是，Z说X和Y从不同时说谎，以是X和Y不可能同时说谎。
其次，我们可以根据X的说法来判断Y是否是说谎者。假如X是说实话者，那么Y就是说谎者。但是，X说Y总是说谎，而根据Z的说法，Y不可能总是说谎。因此，X不可能是说实话者，而是说谎者。
最后，我们可以根据Y的说法来判断Z是否是说实话者。假如Y是说实话者，那么Z有时说实话有时说谎。但是，根据X的说法，Y不可能是说实话者。因此，Y也是说谎者。
综上所述，我们可以判断出：
由于所有守护者都是说谎者，因此他们关于相互的说法都是错误的。
具体来说：
- X说Y总是说谎，但现实上Y有时说实话有时说谎。
- Y说Z有时说实话有时说谎，但现实上Z总是说谎。
- Z说X和Y从不同时说谎，但现实上X和Y总是同时说谎。
因此，要找到通往宝藏的秘密通道，我们必要反过来理解守护者的话。比方，假如X说某个方向是通往宝藏的，那么我们应该选择另一个方向。
Gemini Pro点评
完全错误。
Gemini Ultra
根据题中信息，我们可以构建如下逻辑表：
守护者XYZX 关于 Y说谎--Y 关于 Z有时说实话有时说谎--Z 关于 X 和 Y从不同时说谎-- 步调 1：分析 X 关于 Y 的说法
- 假如 X 是说实话者，那么 Y 就是说谎者。
- 假如 X 是说谎者，那么 Y 就是说实话者。
步调 2：分析 Y 关于 Z 的说法
- 由于我们无法确定 X 的身份，以是无法确定 Y 关于 Z 的说法是真是假。
步调 3：分析 Z 关于 X 和 Y 的说法
- 假如 Z 是说实话者，那么 X 和 Y 不可能同时说谎。
- 假如 Z 是说谎者，那么 X 和 Y 至少有一个说谎。
步调 4：综合分析
- 由于无法确定 Y 关于 Z 的说法，以是我们无法通过 Z 的说法来判断 X 和 Y 的身份。
- 但是，我们可以根据 Z 关于 X 和 Y 的说法来确定 Z 的身份：
- 假如 X 和 Y 同时说实话，那么 Z 就是说谎者。
- 假如 X 和 Y 同时说谎，那么 Z 就是说实话者。
- 假如 X 和 Y 一人说实话一人说谎，那么 Z 的身份无法确定。
最终结论:
- X 和 Y 的身份无法确定，可能是说实话者也可能是说谎者。
- Z 的身份取决于 X 和 Y 的现实环境：
- 假如 X 和 Y 同时说实话，那么 Z 是说谎者。
- 假如 X 和 Y 同时说谎，那么 Z 是说实话者。
- 假如 X 和 Y 一人说实话一人说谎，那么 Z 的身份无法确定。
补充说明:
由于题目没有提供更多信息，以是无法唯一确定 X、Y、Z 的身份。只有当我们知道其中一个守护者是说实话者或说谎者时，才能推导出其他两个守护者的身份。
以下是一些可能的环境:
- X 是说实话者，Y 是说谎者，Z 是说实话者:
- X 说 Y 是说谎者，这是实话。
- Y 说 Z 有时说实话有时说谎，这是谎话，因为 Z 现实上总是说实话。
- Z 说 X 和 Y 从不同时说谎，这是实话，因为 X 和 Y 确实不可能同时说实话。
- X 是说谎者，Y 是说实话者，Z 是说谎者:
- X 说 Y 是说谎者，这是谎话，因为 Y 现实上总是说实话。
- Y 说 Z 有时说实话有时说谎，这是实话，因为 Z 现实上总是说谎。
- Z 说 X 和 Y 从不同时说谎，这是谎话，因为 X 和 Y 确实会同时说实话。
- X 是说谎者，Y 是说谎者，Z 是说实话者:
- X 说 Y 是说谎者，这是谎话，因为 Y 现实上也是说谎者。
- Y 说 Z 有时说实话有时说谎，这是谎话，因为 Z 现实上总是说实话。
- Z 说 X 和 Y 从不同时说谎，这是实话，因为 X 和 Y 确实不可能同时说实话。
- X 是说实话者，Y 是说实话者，Z 是说谎者:
- X 说 Y 是说谎者，这是谎话，因为 Y 现实上也是说实话者。
- Y 说 Z 有时说实话有时说谎，这是谎话，因为 Z 现实上总是说谎。
- Z 说 X 和 Y 从不同时说谎，这是谎话，因为 X 和 Y 确实会同时说实话。
由于以上环境都满足题目的条件，以是无法确定 X、Y、Z 的真实身份。
Gemini Ultra点评
看得出来，Gemini Ultra很积极，还做了一个逻辑表，但回答的完全错误。
文心一言
根据题意可知线索如下：
- X说Y总是说谎
- Y说Z有时说实话有时说谎
- Z说X和Y从不同时说谎 因为每个守护者要么总是说谎，要么总是说实话，以是我们可以分别假设某个守护者总是说实话的环境来进行分析，假如推出抵牾，则假设不成立，该守护者就是说谎者。
- X说Y总是说谎，由于X说实话，以是Y是说谎者。
- Y说Z有时说实话有时说谎，由于Y是说谎者，以是Z总是说实话或总是说谎话。
- Z说X和Y从不同时说谎，由于Z说实话，以是X和Y中只有一个是说谎者，与X说实话，Y说谎话同等。 综上，假设X总是说实话时，X说实话，Y说谎话，Z的行为无法确定，假设成立。
- X说Y总是说谎，由于X说实话，以是Y是说谎者，与Y总是说实话抵牾。 综上，假设Y总是说实话时，推出抵牾，假设不成立，以是Y是说谎者。
- 已知Y是说谎者，那么根据Y说Z有时说实话有时说谎，由于Y说谎，以是Z总是说实话。
- Z说X和Y从不同时说谎，由于Z说实话，以是X和Y中只有一个是说谎者，已知Y是说谎者，以是X说实话。 综上，X说实话，Y说谎话，Z说实话。
因此，X和Z总是说实话，Y总是说谎。
文心一言点评
给出了正确的答案，但推理过程根本是错误的。和ChatGPT 3.5的表现同等。
讯飞星火
要判断X、Y、Z每个人是说谎者照旧说实话者，我们可以通过他们的陈述来分析逻辑上的抵牾。
- X说Y总是说谎。
- Y说Z有时说实话有时说谎。
- Z说X和Y从不同时说谎。
起首，假如X是说实话者，那么Y必须是说谎者，因为X说Y总是说谎。接着，假如Y是说谎者，那么Y的陈述“Z有时说实话有时说谎”也一定是谎话，因此Z只能是说谎者或说实话者中的一个，不能两者都是。然而，这与Z的陈述“X和Y从不同时说谎”抵牾，因为假如Z是说实话者，那么X和Y不能同时说谎（而根据我们的假设，X是说实话者，Y是说谎者）。以是，X不能是说实话者。
现在假设X是说谎者，那么Y不能总是说谎，也就是说Y至少在某些时候说实话。由于Y说Z有时说实话有时说谎，这个陈述可以是真的也可以是假的。但假如Y是说实话者，那么Y的陈述就是真的，意味着Z确实有时说实话有时说谎。
接下来看Z的陈述，假如Z是说谎者，那么他的陈述“X和Y从不同时说谎”是假的，这意味着X和Y可以同时说谎。但我们已经确定X是说谎者，假如Y也是说谎者，那么这与Y的陈述相抵牾，因为Y作为说谎者不能说Z有时说实话有时说谎。因此，Z不能是说谎者。
以是，Z必须是说实话者，这意味着X和Y确实从不同时说谎。既然我们已经知道X是说谎者，那么Y必须是说实话者。
综上所述：
讯飞星火点评
完全错误。
通义千问
根据这三个守护者的话，我们可以用逻辑推理分析他们各自的身份：
- X 说 Y 总是说谎。
- 假如X说的是实话，那么Y确实总说谎。
- 假如X自己在说谎，那么Y应该是说实话的，但这与X所说的抵牾。
- Y 说 Z 有时说实话有时说谎。
- 假如Y是说实话者，那么Z简直不是总是说谎也不是总是说实话，这是可能的。
- 假如Y是说谎者，那么按照他说的内容（“Z有时说实话有时说谎”），现实上意味着Z必须总是说实话或总是说谎，但由于Y在说谎，以是Z应为总是说实话或总是说谎。
- Z 说 X 和 Y 从不同时说谎。
- 假如Z是说实话者，那么X和Y不会同时都是说谎者。
- 假如Z是说谎者，那么他就是在试图让我们相信X和Y同时说谎，但这将与Z作为始终说谎者的身份相悖，因为他现在恰恰是在说实话（因为X和Y不能同时说谎）。
综合思量上述环境，我们发现：
- 假如Y是说谎者，那么根据Z的陈述，Z就必须是说实话者。
- 但是，假如Y是说谎者，而Z是说实话者，那么X就不能是说谎者，因为这样会导致Y和Z同时说谎，与Z的声明抵牾。
因此，唯一的逻辑结论是：Y 必须是说谎者，因为只有这样才符合Z的陈述——Z不可能是说谎者（否则Y和Z就会同时说谎）。
进一步推论：
- Y是说谎者，则Z是说实话者。
- 因为Z是说实话者，他说X和Y从不同时说谎，这意味着X是说实话者。
总结：
- Y 是说谎者。
- Z 是说实话者。
- X 也是说实话者，因为他们没有同时说谎。
通过这个逻辑链条，我们可以确定每个守护者的真实身份。
通义千问点评
通义千问的回答是ChatGPT 4后最靠近答案的一个回答，给出了正确答案，虽然在推理过程中存在不清不楚的地方，但总体推理本领的表现比其他大模型强不少。
天工（开启Copilot选项）
我们可以通过逻辑分析来办理这个题目。起首，我们注意到X说Y总是说谎，这意味着X认为Y不会说实话。Y说Z有时说实话有时说谎，这意味着Y认为Z不是始终说谎的人。而Z说X和Y从不同时说谎，这意味着Z认为X和Y不会同时说谎。
我们可以通过一个简朴的逻辑推理过程来办理这个题目。假设X、Y、Z中有且只有一个说实话，那么根据Z的话，X和Y不能同时说谎，否则Z的话就不成立。因此，我们可以得出结论，Z一定是在说谎，因为假如他不说谎，那么X和Y就不能同时说谎，这与Z的话相抵牾。
进一步分析，由于Z说X和Y从不同时说谎，我们可以得出X和Y中至少有一个人说实话。假如X和Y都说实话，那么根据X的话，Y应该说谎，这与现实环境不符。因此，我们可以得出结论，X和Y中只有一个人说实话，而另一个人说谎。
最后，我们来分析X和Y的话。X说Y总是说谎，假如X说谎，那么Y应该说实话，这与X的话相抵牾。因此，我们可以得出结论，X是在说实话，而Y是在说谎。
综上所述，我们可以得出以下结论：
- X守护者在说实话。
- Y守护者在说谎。
- Z守护者在说谎。
这个结论是基于逻辑推理和三位守护者的话语分析得出的。我们没有发现任何违反这些守护者规则的可能性，因此，我们的推理是公道的。
以上分析基于了对守护者话语的逻辑性理解和推理，联合了逻辑学的根本原理，并通过扫除法和逻辑抵牾来确定了守护者的真实环境。在类似的逻辑游戏中，这种方法是常见且有效的办理题目的计谋。
天工点评
完全错误。
智谱清言
根据这些信息，我们可以进行如下推理：
- 假设X说实话，那么Y总是说谎。但这会导致抵牾，因为假如Y总是说谎，那么Y关于Z的说法应该是假的，即Z应该总是说实话或总是说谎。然而，Z关于X和Y的说法（X和Y不会同时说谎）将无法成立，因为假如Y说谎，X说实话，那么他们同时说谎了。因此，X不可能是说实话者。
- 假设X说谎，那么Y总是说实话。假如Y说实话，那么Z有时说实话有时说谎。但假如Z有时说实话有时说谎，那么Z关于X和Y的说法（X和Y不会同时说谎）也可能是真的，也可能是假的，因为Z的陈述是变革的。这种环境下，X和Y不会同时说谎，因为假如Y说谎，那么X就必须说实话，反之亦然。这样，我们可以得出结论：X是说谎者，Y是说实话者，Z的陈述是变革的，有时说实话有时说谎。 因此，我们可以判断出X是说谎者，Y是说实话者，Z的陈述是变革的，有时说实话有时说谎。
智谱清言点评
回答错误。
Kimi Chat
这是一个逻辑谜题，我们可以通过分析每个守护者的陈述来推断他们的真实性。
起首，我们知道守护者要么是总是说谎，要么是总是说实话。我们可以用以下符号来表现他们的属性：
现在，我们来分析他们的陈述：
- X 说 Y 总是说谎。假如 X 说实话（X = T），那么 Y 必须总是说谎（Y = L）。假如 X 说谎（X = L），那么 Y 不是总是说谎，这与 X 的陈述抵牾，因为说谎者不会说别人总是说谎。
- Y 说 Z 有时说实话有时说谎。假如 Y 说实话（Y = T），那么 Z 不能总是说实话或总是说谎，这与 Z 的陈述抵牾。假如 Y 说谎（Y = L），那么 Z 必须总是说实话或总是说谎，这与 Z 的陈述符合。
- Z 说 X 和 Y 不同时说谎。假如 Z 说实话（Z = T），那么 X 和 Y 必须至少有一个说实话。假如 Z 说谎（Z = L），那么 X 和 Y 总是同时说谎，这与 X 的陈述符合（因为假如 X 说谎，Y 也说谎）。
现在，让我们尝试找出一个同等的办理方案：
- 假如 X 说实话（X = T），那么 Y 总是说谎（Y = L）。但这会导致 Z 的陈述（Z = T）与 Y 的陈述抵牾，因为 Z 说 X 和 Y 不同时说谎。以是，X 不能总是说实话。
- 假如 X 说谎（X = L），那么 Y 不是总是说谎。这意味着 Y 可以是说实话者。假如 Y 是说实话者（Y = T），那么 Z 必须有时说实话有时说谎。但这与 Z 的陈述抵牾，因为 Z 声称 X 和 Y 不同时说谎。以是，Y 也不能总是说实话。
- 既然 X 和 Y 都不能总是说实话，那么他们必须总是说谎。这样，Z 的陈述（Z = T）就是真的，因为 X 和 Y 总是同时说谎。
综上所述，我们可以得出结论：
- X 是说谎者（X = L）
- Y 是说谎者（Y = L）
- Z 是说实话者（Z = T）
这样，所有的陈述都变得同等。
Kimi Chat点评
回答错误。Kimi Chat主打的是对于长上下文的支持（20万汉字上下文），以及长对话的同等性。
精选推荐
- ChatGPT和文心一言哪个更好用？一道题告诉你答案！
- 白嫖GPT4，Dalle3和GPT4V - 字节开发的Coze初体验！附教程及提示词Prompt
- 字节开发的Coze进阶使用：用免费的GPT4打造一个专属的新闻播报呆板人！附教程及提示词Prompt
- 盘货那些免费的AI对话工具（国内篇）：国内TOP3 AI聊天呆板人产物介绍
- AI聊天呆板人，一个就够了：文心一言、讯飞星火、通义千问AI聊天呆板人深度对比（一）
- AI聊天呆板人，一个就够了：文心一言、讯飞星火、通义千问AI聊天呆板人深度对比（二）
- 人工智能时代的领跑者：你必须相识的环球三大AI聊天呆板人！
- 抖音出的AI工具火了！主动生成抖音文案，一键脚本数字人成片！
- 2024年了你还在用百度翻译？手把手教会你使用AI翻译！一键翻译网页和PDF文件！
- 腾讯AI虽迟但到：腾讯文档AI开启公测！附申请地址及详细教程！
都读到这里了，点个赞鼓励一下吧 |
