关注文章底部公众号可获取每日AI新闻,还有更多好玩使用的黑科技工具分享
斯坦福大学推出可在手机端运行大模型—Octopus v2
Octopus-V2-2B 是一个拥有 20 亿参数的开源语言模型,专为 Android API 量身定制,旨在在 Android 设备上无缝运行,并将实用性扩展到从 Android 系统管理到多个设备的编排等各种应用程序。Octopus v2 可以在智能手机、汽车、个人电脑等端侧运行,在准确性和延迟方面超越了 GPT-4,并将上下文长度减少了 95%。此外,Octopus v2 比 Llama7B + RAG 方案快 36 倍。
论文地址:
https://arxiv.org/abs/2404.01744
模型主页:
https://huggingface.co/NexaAIDev/Octopus-v2