大模型GPT-3.5,2022年11月发布。
可谓春风化雨,雨后春笋一般。
到现在2024年,国产大模型工信部注册的,已有几百家。
国产大模型崛起速度之快,令人惊叹。
在如此之多的大模型里面,如何选择好用的,还真是个问题。
结合GPT4o和Claude3.5,加上自身的一定使用,总结了如下12家国产大模型:
下面表格,排名不分先后
各自产品对应的logo如下:
文字版介绍:
1 百度:推出了“文心一言”大模型,具备强大的自然语言处理能力,广泛应用于搜索、对话等领域。
2 阿里巴巴:发布了“通义千问”大模型,支持多种语言理解和生成任务,应用于电商、云计算等场景。
3 腾讯:研发了“混元”大模型,强调多模态融合,应用于社交、游戏等领域。
4 华为:推出了“盘古”大模型,专注于自然语言处理和计算机视觉,应用于云服务和智能设备。
5 科大讯飞:发布了“星火认知”大模型,强调语音识别和自然语言理解,广泛应用于教育和办公领域。
6 商汤科技:推出了“日日新”大模型,专注于计算机视觉和多模态融合,应用于安防和自动驾驶等领域。
7 智谱AI:研发了“GLM-4”大模型,具备强大的语言理解和生成能力,应用于科研和教育领域。
8 字节跳动:推出了“豆包”大模型,应用于内容创作和推荐系统。
9 360公司:发布了“360智脑”大模型,强调安全性和信息检索,应用于搜索和安全领域。
10 昆仑万维:天工AI,双千亿级大语言模型,国内首个AI搜索产品“天工AI搜索”。
11 快手:推出了“可灵AI”大模型,应用于短视频内容创作和推荐。
12 月之暗面科技:研发了“Kimi”大模型,专注于对话式服务和智能助手。
看到这里的老铁,可能会有问题,哪家最强呢?
就要看如何评价一个大模型的能力,有三个最重要的指标。
一般来说,衡量指标有三个:第一:文本生成能力;第二:任务推理能力;第三:通用和泛化能力。
文本生成能力:文本生成能力指模型在自然语言生成中的流畅性、语义相关性和多样性。常用评估方法包括困惑度(Perplexity)、BLEU和ROUGE等指标。
推理能力:推理能力反映模型在逻辑推导、知识应用和因果推理任务中的表现。强推理能力使模型能够理解上下文并完成复杂问题的解答。
泛化能力:泛化能力体现模型在未见过的数据或任务上的适应性。优秀的泛化能力意味着模型能跨领域、跨语言和多模态高效工作。
而数学推理能力又是重中之重,它体现了模型的智力水平,推理能力强,才能应对复杂任务。
而咱们平时的需求,主要也是以复杂任务为主,否则我们也不会使用它们,简单的任务,咱们自己就能做了;重复的任务,咱们写几行代码,就自动化了。
目前openAI的o1推理能力公认最好的,我询问了它,给出数学推理能力前三强:
但是它的知识目前只学习到了2023年10月,所以排名只能参考。
为了进一步客观,我又询问了数学推理能力很强的Claude3.5 ,它的回答如下:
总结来说,智谱GLM-4,文心一言,通义千问,KIMI,是o1和claude3.5给出的答案。
第一轮筛选过后,我再亲测上面上榜四个大模型。
测试方法,选择一个标准数学数据集,就拿GSM8K吧,先找一道典型题目,逐一询问它们。
选择下面这道:
为什么选择这道题目呢,因为GPT-4o这道题目都无法给出准确答案。
如下所示,给出答案8,这是错误的:
这就热闹了,看看国产大模型能否答对。
先提问智谱GLM-4,答案10,回答正确:
再提问文心一言,使用3.5,得到答案是8,回答错误。已开通会员的可以试试文心4回答是否正确:
再提问通义千问2.5,结果10,回答正确:
最后提问KIMI,结果8,回答错误:
经过第二轮一道题测试,发现回答正确的大模型,剩下两个,分别是GLM-4、通义千问。
最后一轮测试,选择一道2024年全国卷高考数学题,找一道我还会的选择题
我做了下,答案是B:
先提问GLM-4,回答B,结果正确:
再提问通义千问,回答A,结果错误:
顺便提问了下GPT-4o,它选了C,又错了:
经过三轮数学测试,就剩 GLM-4。
国产大模型的智力水平,目前已经有超越GPT-4o的趋势,让人惊艳!
期待国产大模型和厂家们再接再厉,不断突破。
备注:要想得出更加客观全面的智力水平,请参考基于不同整个数据集、不同推理水平测试维度的全面评价,本测试限于篇幅,只做初步测试。
如何学习AI大模型?
作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
一、全套AGI大模型学习路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
二、640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。