Fengse est envoyé depuis le qubit concave non-si
| compte public QbitAI
Enfin, l'équipe de Tang Jie de l'Université Tsinghua a également fait un geste.
Le jour même de la sortie de GPT4, le professeur Tang a annoncé sur Weibo :
ChatGLM, un robot de dialogue basé sur un grand modèle avec des centaines de milliards de paramètres , est maintenant ouvert pour des tests internes sur invitation.
Selon les rapports, ChatGLM est spécialement optimisé pour les Chinois , ce qui peut être considéré comme amical avec les Chinois~
Il semble qu'écrire des contours de blog, créer des scripts, résoudre des problèmes mathématiques, écrire des codes et même jouer le rôle de Gao Leng Yujie , c'est très bon dans ce domaine :
△ Rédigez un aperçu de blog présentant ChatGLM
△ Chat cosplay en tant que Gao Leng Yujie
Qubit a eu la chance d'obtenir le quota de tests internes et effectuera une vague de tests réels plus tard.
Entre-temps, une autre annonce a été faite :
Afin de mieux promouvoir le développement de la technologie des modèles à grande échelle avec la communauté, l'équipe de Tang Jie a également ouvert le modèle bilingue ChatGLM-6B contenant 6,2 milliards de paramètres.
Sa plus grande caractéristique est qu'il peut être déployé sur un ordinateur ordinaire , tant qu'il y a un 2080Ti.
Allons voir.
Peut écrire des discours en chinois classique, connaître les dernières nouvelles de He Yuming, mais...
Regardons d'abord ChatGLM, c'est un nouveau membre de la grande famille de modèles de Tang Jie qui est né après six mois.
La version alpha s'appelle QAGLM (nom complet qa-glm-v0.7).
Essayez l'effet.
Tout d'abord, parlons de la différence entre lui et ChatGPT.
Il souligne ses propres institutions de recherche et développement et les caractéristiques d'être bon en chinois.
Ensuite, laissez-le écrire un discours de remerciement en chinois classique.
Comment dire, bien qu'il y ait un "yu" supplémentaire et un caractère traditionnel inexplicable, cela reste lisible, et les phrases parallèles utilisées ont renforcé l'élan.
Ensuite, nous lui avons jeté le début de l'article sur Thunder in Silicon Valley il y a quelques jours, et lui avons laissé un titre.
Ça fait du bien, au moins quelques informations clés ont été capturées.
Malheureusement, le défi de la thèse n'a pas réussi , et lorsque nous lui avons lancé le lien vers le GLM-130B pour récapituler brièvement le sujet, il ne le disait pas du tout.
C'est presque aussi bon que le fonctionnement de la référence de ChatGPT Hu Zou (tête de chien manuelle).
Ensuite, testez sa capacité mathématique.
Ce problème de mots à l'école élémentaire n'est pas un problème :
Mais la poule et le lapin sont dans la même cage, c'est difficile pour lui, et au final il calcule même un nombre négatif ==
En termes de programmation, vous pouvez également résoudre des problèmes d'algorithme simples.
Qu'en est-il de la capacité à résumer les informations ? Nous avons donné une exigence en anglais, ce n'est pas difficile:
Le résultat est correct :
Il convient de noter qu'actuellement ChatGLM ne peut mener qu'un maximum de 5 tours de dialogue à chaque tour, et à chaque fois un maximum de 1 000 mots peuvent être saisis.
Il a une bonne compréhension des nouvelles informations, il sait que l'actuel PDG de Twitter est Musk, et il sait aussi que He Yuming est retourné dans le monde universitaire le 10 mars, mais il n'a pas encore découvert que GPT-4 a été publié .
Et, la vitesse de réponse actuelle est toujours très rapide. Quelle que soit la question, la réponse est correcte ou non, et la réponse peut être donnée en quelques secondes.
Enfin, Qubit lui a également laissé un cosplay pour voir à quel point il est bon d'amadouer une petite amie :
Hummm, même si j'étais un peu droit, "j'ai" vraiment perdu ma colère après avoir entendu ce passage.
Donc, ce qui précède sont nos résultats de test, qu'en pensez-vous ?
Basé sur un modèle de base avec 130 milliards de paramètres
Selon l'introduction officielle, ChatGLM fait référence à l'idée de conception de ChatGPT, injecte une pré-formation de code dans le modèle de base de 100 milliards GLM-130B et réalise l'alignement de l'intention humaine grâce à un réglage fin supervisé et à d'autres technologies (c'est-à-dire pour rendre la réponse de la machine conforme aux valeurs humaines, aux attentes humaines).
L'arrière-plan de ce GLM-130B mérite d'être évoqué.
Il s'agit d'un modèle linguistique de pré-formation chinois-anglais à grande échelle développé conjointement par le Laboratoire d'ingénierie des connaissances (KEG) de l'Université Tsinghua et Zhipu AI. Il compte 130 milliards de paramètres et a été officiellement publié en août de l'année dernière.
Contrairement aux architectures de BERT, GPT-3 et T5, GLM-130B est un modèle de pré-formation autorégressif qui comprend plusieurs fonctions objectives.
Ses avantages incluent :
Parmi les 30 évaluations mondiales de modèles à grande échelle rapportées par Stanford, le GLM-130B est également devenu le seul modèle sélectionné en Asie .
Et obtenu de bons résultats:
Par exemple, il est proche ou égal au GPT-3 175B (davinci) en termes d'indicateurs de précision et de malveillance, et la robustesse et l'erreur d'étalonnage sont dans tous les modèles de piédestal avec une échelle de 100 milliards (à titre de comparaison juste, seulement bien -les modèles de réglage sans invites d'instructions sont comparés) C'est également remarquable.
Et lors d'une récente réunion du CCF, un public a demandé : pourquoi ChatGPT n'est-il pas né en Chine ? Est-ce que nous n'avons pas prêté attention à cette affaire ?
Les invités ont sorti le GLM-130B (il a également été sélectionné pour ICLR'23).
Maintenant, le GLM-130B a finalement été mis en "grande utilisation".
Concernant le test interne, l'équipe de Tang Jie a déclaré que la portée sera progressivement élargie à l'avenir, et les amis intéressés peuvent attendre un moment.
La version réduite de 6 milliards de paramètres est également open source
En plus de ce robot de chat ChatGLM, l'équipe de Tang Jie a également open source la "version réduite" ChatGLM-6B du GLM-130B cette fois.
△ GitHub a gagné près de 2 000 étoiles
ChatGLM-6B utilise la même technologie que ChatGLM et possède les fonctions de questions et réponses en chinois et de dialogue.
Les fonctionnalités sont les suivantes :
Bien sûr, l'inconvénient est que la capacité n'est que de 6 milliards, sa mémoire de modèle et sa capacité linguistique sont faibles, il n'est pas doué pour les problèmes de logique (tels que les mathématiques, la programmation) et plusieurs cycles de dialogue peuvent entraîner une perte de contexte et des malentendus.
Mais sa principale caractéristique est un seuil bas, qui peut être utilisé pour raisonner sur un seul 2080Ti, et les exigences matérielles ne sont pas élevées.
Par conséquent, tant que vous êtes intéressé, vous pouvez le télécharger pour un essai, à la fois pour la recherche et le développement d'applications (non commerciales).
Portail :
https://chatglm.cn/
https://github.com/THUDM/ChatGLM-6B
Lien de référence :
[1]https://weibo.com/2126427211/MxlsQ6w4A#repost
[2]https://chatglm.cn/blog?continueFlag=d70d7590143c950d12ac7283214d879d
—Fin— _ _