Stability AI 发布最新语言模型:Stable LM 3B

Stability AI 昨日发布最新语言模型:Stable LM 3B,可在笔记本和手机等智能设备上运行。

公告写道,Stable LM 3B 包含 30 亿个参数,相比于行业通常使用的 70 亿参数,它更小、更高效。主要功能如下: 

  • 文本生成:可以用于生成文本
  • 自回归:基于变换器解码器架构
  • 多样性的训练数据:使用了多个开源大规模数据集

Stable LM 3B 主要特点:

  1. 高性能:尽管只有 30 亿个参数,但性能与更大的模型相当,甚至有时超过它们。
  2. 低功耗:设计为在便携式设备上高效运行,因此电力需求较低。
  3. 多平台兼容:可以在边缘设备、家用电脑以及其他便携式数字设备上运行。
  4. 可微调:模型可以根据特定需求进行微调,如编程辅助或其他专用应用。
  5. 开源:该模型已在 Hugging Face 平台上开源 (https://huggingface.co/stabilityai/stablelm-3b-4e1t),方便开发者使用和改进。
  6. 训练细节:该模型在 Stability AI 的集群上进行了训练,使用了 256 个 NVIDIA A100 40GB GPU(AWS P4d 实例)。

详情:https://stability.ai/blog/

猜你喜欢

转载自www.oschina.net/news/260235/stable-lm-3b