使用autodl服务器，两个3090显卡上运行， Yi-34B-Chat-int4模型，并使用vllm优化加速，显存占用42G，速度23 words/s
NoSuchKey
猜你喜欢
转载自blog.csdn.net/freewebsys/article/details/134725765
今日推荐
周排行