同样作为清华出身的AI，十角度评测智谱清言和kimich

ttyml

同样作为清华出身的AI，十角度评测智谱清言和kimichat哪个更强
同样作为清华出身的AI，十角度评测智谱清言和kimichat哪个更强

AI大模型目前真的是汗牛充栋，不过智谱清言和KimiChat这两家真值得评测一下，两家AI公司的产品都是AIGC大模型领域的明星产品，且都属于清华系，再技术能力方面都各有千秋，且都可以免费使用，但究竟PK起来孰优孰劣呢？咱们还是实际对比一番比较好。

一

常识判断类问题

1.  我们先给了一道选择题，是关于中国历史人才选拔制度的，题目来自于国家公务员考试试卷。

首先是KimiChat的回答，这道题它回答对了，而且解释得也基本正确。



我们再来看看智谱的回答，注意我们选择最新版GLM-4，可以看到智谱这道题虽然答案说对了，但是解释有些幻觉了，回答也过于简单，不过提供了三个追问来给用户选择，算是一点补救吧：



2.  我们再来看一道题，这道题是问诗词作者的作品，而没有直接点到我们熟知的诗人名字，而是取了他们的字，比如曹子建就是曹植，李太白自不必说，苏子瞻就是苏轼。我们先看kimi的回答，感觉它有点晕了，明明已经解释了D是苏轼的回答，但是还选了D这个错误答案。况且，在解释B的时候，这首词明明是辛弃疾写的，有点乱扯了。



我们对比看看智谱的回答，这次智谱掰回一局，回答完全正确。



综上，虽然两个样本有些少，但我们可以看到，对于常识的回答，两个AI工具都不要全信，最好对比来综合判断。

二

数学能力

我们再来对比下他们俩的数学计算能力，首先也是一道国考中的概率题，先看看kimi的回答：



这道题kimi回答得有板有眼，步骤清晰，公式明确，给出了详细的计算过程，答案也是对的，这样让不会算的人也知道怎么算了。

我们再来看看智谱的回答：



也有分析过程，可是最后的计算直接交给了代码，算出了近似值出来，猜对了答案，可以看出智谱具备多步分析的能力，而且可以自己调用代码解释器进行代码生成和结果输出，不过从解题的角度来讲，还是告诉用户一步步怎么计算更好些。所以还是kimi这次回答得更好些。


三

言语理解与表达

考察完了数学能力，我们再来看看两款工具的语文功底。这是一道如何遣词造句的题目，先看看kimi的回答，答案是正确的，感觉它站在了当时历史的角度来分析，有理有据：



智谱的回答则用到了排除法，基本是从语法的角度来理解，在确定了第一个答案后，第二个直接代入验证，更像个纯粹语法分析的同学。所以这一局，两个工具各有千秋。




四

判断推理

1.言语理解都过关的话，我们再来看看它们俩的推理能力如何，首先是一道类比推理题。我们对比两者的答案可以看到，都答对了，智谱的回答提炼出了每个选项的关系，解释得更清楚些，而kimi的回答有点不直接，类比关系总结得不太到位：





2.我们继续换一道逻辑推理题，这次看到kimi的回答每个选项都具体分析了，有理有据，答案正确。



反观智谱的回答，虽然答案也对，但细看回答，只是转义了下问题，然后说排除几个干扰项，最后得到答案，但我一看回答，还是没明白为什么选B。所以这一次Kimi的回答也扭转了一局。




五

联网搜索能力

这次我们再来对比下它俩的搜索和总结能力。嫦娥六号刚发射成功没多久，如何去月球背面采样？分成哪几个飞行阶段？这个事件是在这两个大模型的截止训练知识之后的，所以它们只有联网检索了之后才能回答，还是先看看kimi的回答，一口气找了9篇资料，然后总结回答，大部分只采用了3篇参考回答，不过好在每一条都有索引号：



而且鼠标移动到索引号上，可以看到链接标题，还是参考的出处段落摘要，这就感觉很贴心了：



智谱只检索了3篇，参考的时候也最后提到了3篇的索引：



我们把鼠标移到索引号上，只能看到标题：



所以感觉kimi要比智谱查得更多，而且索引得也更细致些。


六

文档分析能力

Kimichat前段时间大火的原因，也是因为它的文档分析能力强，一次性支持上传50个文档，每个文档100M最大，这在众多AI工具里是少用的，相当于让你可以快速地创建自己的知识库了，格式支持得也多，pdf、doc，甚至我阅读中经常用到的epub格式。我试了一份介绍GPT-4V使用的全英文文档，43M：



发给kimi，问它这本书的主要内容，看来它不仅理解了英文，还可以帮我转述成中文：



再问个问题，关于这本书中最棒的例子所在章节：



我看了它下提的名人识别在4.1节，我找了下原文，果然，就是识别马斯克、C

加入社区,可阅读全站10w+资源

您尚未登录，请登录后操作

 非会员试读20%,加入社区后可阅读全文