【AI实战】大模型 LLM 部署推理框架的 vLLM 应用 - 代码天地

【AI实战】大模型 LLM 部署推理框架的 vLLM 应用

业界资讯 2023-09-03 09:05:20 阅读次数: 0

NoSuchKey

猜你喜欢

转载自blog.csdn.net/zengNLP/article/details/131764968

【AI实战】大模型 LLM 部署推理框架的 vLLM 应用

vllm源码解析(五)：LLM模型推理

大模型推理和部署框架vLLM

大模型推理加速框架vllm部署的实战方案

PTM：大模型加速方法或框架(预训练阶段/推理阶段)的简介、常用框架(Megatron-LM/Colossal-AI/DeepSpeed等，FastLLM/vLLM等)、案例应用之详细攻略

大模型应用开发框架【LLM】

开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现离线推理-CPU版本

LLM推理部署（六）：TogetherAI推出世界上LLM最快推理引擎，性能超过vLLM和TGI三倍

【LLM】在PAI-DSW上使用 vLLM + Open-WebUI 部署Qwen2.5

LLM并发加速部署方案（llama.cpp、vllm、lightLLM、fastLLM）

vllm源码解析(四)：LLM模型权重加载与kv-cache初始化

开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Gradio

开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现离线推理-降本增效（一）

开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Docker-OpenResty（三）

开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现离线推理-使用Lora权重（三）

开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现离线推理-Tools助力（二）

VLLM推理流程梳理

【AI 大模型】a16z：LLM 应用程序的新兴架构：Emerging Architectures for LLM Applications

vllm server 启动的推理框架进行模型调用参数说明

基于大模型（LLM）的Agent 应用开发

开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Docker-Tools助力（四）

LangChain 一个面向构建基于大语言模型（LLM）的应用程序的框架

vLLM CPU和GPU模式署和推理 Qwen2 等大语言模型详细教程

vLLM~

LLMs：《vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention》翻译与解读

tensorrt-llm与vllm的量化性能比较

MATLAB算法实战应用案例精讲-【大模型】LLM算法（应用篇）

LLM大模型技术实战：一文带你入门大模型开发框架Langchain

LLM推理部署（五）：AirLLM使用4G显存即可在70B大模型上进行推理

AI大模型LLM 提示词工程实战

今日推荐

周排行

unity 内存管理**标记实时更新

微信返回时页面很卡或者页面跳转有问题

正则介绍以及grep

(转)editText圆角边框

模块化物料清单

js去掉数组中重复的元素

小程序Promise不支持finally解决方案

输入一颗二叉树的根节点，求二叉树的深度

POJ 2800:垂直直方图

Firefox 71 发布，具有画中画支持及更多功能

每日归档

更多

2025-02-05(0)

2025-02-04(0)

2025-02-03(0)

2025-02-02(0)

2025-02-01(0)

2025-01-31(0)

2025-01-30(0)

2025-01-29(0)

2025-01-28(0)

2025-01-27(0)