PAI BladeLLM推理引擎: 超长上下文、更高性能 - 代码天地

PAI BladeLLM推理引擎: 超长上下文、更高性能

其他 2023-09-28 03:03:08 阅读次数: 0

NoSuchKey

猜你喜欢

转载自my.oschina.net/u/5583868/blog/10111879

PAI BladeLLM推理引擎: 超长上下文、更高性能

使用 PAI-Blade 优化 Stable Diffusion 推理流程(二)

使用 PAI-Blade 优化 Stable Diffusion 推理流程

REST PAI

重新审视PAI——Oben Pai

天猫精灵业务如何使用机器学习PAI进行模型推理优化

阿里开源自研工业级稀疏模型高性能训练框架 PAI-HybridBackend

ChatGLM2-6B：性能大幅提升，8-32k上下文，推理提速42% —— 开源中英双语对话模型 ChatGLM-6B 的第二代来了！更强大的性能，更长的上下文，更高效的推理，更开放的协议！

YaRN：一种高效RoPE扩展方法，可推理更长上下文并达到SOTA

Attention变体：①FlashAttention（让语言模型拥有更长的上下文）、②Multi-Query Attention（更高效的推理）

阿里云PAI-DeepRec CTR 模型性能优化天池大赛——获奖队伍技术分享

C# 后台PAI

abap PBO,PAI定义

什么是PBO，和PAI

shu mei pai

【发布】ChatGLM2-6B：性能大幅提升，8-32k上下文，推理提速42%

LongLLaMA：LLaMA的升级版，处理超长上下文的利器！

阿里云PAI-Diffusion功能再升级，全链路支持模型调优，平均推理速度提升75%以上

Hazel游戏引擎（027）渲染上下文

[pai-diffusion]pai的easynlp的clip模型训练

[pai-diffusion]pai的easynlp的diffusion模型训练

机器学习PAI快速入门

MNN推理引擎最新实测，CPU、GPU性能全面领先！

港中文联合MIT提出超长上下文LongLoRA大模型微调算法

微软开源用于机器学习模型的高性能推理引擎 ONNX

如何打造一个高性能的前端智能推理引擎

ChatGLM2-6B：性能大幅提升，8-32k上下文，推理提速42%，在中文榜单位列榜首

清华ChatGLM2-6B开源！第二代性能大幅提升，推理提速42%，最高支持32K上下文

上下文敏感任务的众包有效结果推理

面向文本和视觉线索联合推断的多模态上下文推理方法 | ACL 2023

今日推荐

周排行

Android图片与下拉框

java常用的设计模式之单例模式

zabbix自动化监控之自动注册

杨老师课堂之Excel VBA 程序开发第八讲使用工作表函数

Android 去掉底部虚拟导航栏

Android Studio 3.2 Beta 4 发布，功能改进和修复

Linux-3.5_总线驱动设备

Qt QTableView QStandardItemModel用法

session处理

分享几个实用的方法

每日归档

更多

2025-02-06(0)

2025-02-05(0)

2025-02-04(0)

2025-02-03(0)

2025-02-02(0)

2025-02-01(0)

2025-01-31(0)

2025-01-30(0)

2025-01-29(0)

2025-01-28(0)