国内12家主流大模型,谁是地表最强?亲测后发现是它!

大模型GPT-3.5,2022年11月发布。

可谓春风化雨,雨后春笋一般。

到现在2024年,国产大模型工信部注册的,已有几百家。

国产大模型崛起速度之快,令人惊叹。

在如此之多的大模型里面,如何选择好用的,还真是个问题。

结合GPT4o和Claude3.5,加上自身的一定使用,总结了如下12家国产大模型:

下面表格,排名不分先后

各自产品对应的logo如下:

文字版介绍:

1 百度:推出了“文心一言”大模型,具备强大的自然语言处理能力,广泛应用于搜索、对话等领域。

2 阿里巴巴:发布了“通义千问”大模型,支持多种语言理解和生成任务,应用于电商、云计算等场景。

3 腾讯:研发了“混元”大模型,强调多模态融合,应用于社交、游戏等领域。

4 华为:推出了“盘古”大模型,专注于自然语言处理和计算机视觉,应用于云服务和智能设备。

5 科大讯飞:发布了“星火认知”大模型,强调语音识别和自然语言理解,广泛应用于教育和办公领域。

6 商汤科技:推出了“日日新”大模型,专注于计算机视觉和多模态融合,应用于安防和自动驾驶等领域。

7 智谱AI:研发了“GLM-4”大模型,具备强大的语言理解和生成能力,应用于科研和教育领域。

8 字节跳动:推出了“豆包”大模型,应用于内容创作和推荐系统。

9 360公司:发布了“360智脑”大模型,强调安全性和信息检索,应用于搜索和安全领域。

10 昆仑万维:天工AI,双千亿级大语言模型,国内首个AI搜索产品“天工AI搜索”。

11 快手:推出了“可灵AI”大模型,应用于短视频内容创作和推荐。

12 月之暗面科技:研发了“Kimi”大模型,专注于对话式服务和智能助手。


看到这里的老铁,可能会有问题,哪家最强呢?

就要看如何评价一个大模型的能力,有三个最重要的指标。

一般来说,衡量指标有三个:第一:文本生成能力;第二:任务推理能力;第三:通用和泛化能力。

文本生成能力:文本生成能力指模型在自然语言生成中的流畅性、语义相关性和多样性。常用评估方法包括困惑度(Perplexity)、BLEU和ROUGE等指标。

推理能力:推理能力反映模型在逻辑推导、知识应用和因果推理任务中的表现。强推理能力使模型能够理解上下文并完成复杂问题的解答。

泛化能力:泛化能力体现模型在未见过的数据或任务上的适应性。优秀的泛化能力意味着模型能跨领域、跨语言和多模态高效工作。

而数学推理能力又是重中之重,它体现了模型的智力水平,推理能力强,才能应对复杂任务。

而咱们平时的需求,主要也是以复杂任务为主,否则我们也不会使用它们,简单的任务,咱们自己就能做了;重复的任务,咱们写几行代码,就自动化了。

目前openAI的o1推理能力公认最好的,我询问了它,给出数学推理能力前三强:

但是它的知识目前只学习到了2023年10月,所以排名只能参考。

为了进一步客观,我又询问了数学推理能力很强的Claude3.5 ,它的回答如下:

总结来说,智谱GLM-4,文心一言,通义千问,KIMI,是o1和claude3.5给出的答案。

第一轮筛选过后,我再亲测上面上榜四个大模型。

测试方法,选择一个标准数学数据集,就拿GSM8K吧,先找一道典型题目,逐一询问它们。

选择下面这道:

为什么选择这道题目呢,因为GPT-4o这道题目都无法给出准确答案。

如下所示,给出答案8,这是错误的:

这就热闹了,看看国产大模型能否答对。

先提问智谱GLM-4,答案10,回答正确:

再提问文心一言,使用3.5,得到答案是8,回答错误。已开通会员的可以试试文心4回答是否正确:

再提问通义千问2.5,结果10,回答正确:

最后提问KIMI,结果8,回答错误:

经过第二轮一道题测试,发现回答正确的大模型,剩下两个,分别是GLM-4、通义千问。

最后一轮测试,选择一道2024年全国卷高考数学题,找一道我还会的选择题

我做了下,答案是B:

先提问GLM-4,回答B,结果正确:

再提问通义千问,回答A,结果错误:

顺便提问了下GPT-4o,它选了C,又错了:

经过三轮数学测试,就剩 GLM-4。

国产大模型的智力水平,目前已经有超越GPT-4o的趋势,让人惊艳!

期待国产大模型和厂家们再接再厉,不断突破。

备注:要想得出更加客观全面的智力水平,请参考基于不同整个数据集、不同推理水平测试维度的全面评价,本测试限于篇幅,只做初步测试。


如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。