使用autodl服务器,两个3090显卡上运行, Yi-34B-Chat-int4模型,并使用vllm优化加速,显存占用42G,速度23 words/s 业界资讯 2023-12-18 01:17 0 阅读 NoSuchKey 猜你喜欢