大模型上下文长度的超强扩展：从LongLoRA到LongQLoRA - 代码天地

大模型上下文长度的超强扩展：从LongLoRA到LongQLoRA

业界资讯 2024-01-08 17:11:52 阅读次数: 0

NoSuchKey

猜你喜欢

转载自blog.csdn.net/v_JULY_v/article/details/135375799

大模型上下文长度的超强扩展：从LongLoRA到LongQLoRA

如何扩展大模型的上下文长度

港中文联合MIT提出超长上下文LongLoRA大模型微调算法

【大模型】长度 32K 上下文的 ChatGLM2-6B-32K 来了，开源可商用

通透理解FlashAttention与FlashAttention2：让大模型上下文长度突破32K的技术之一

大模型的无限上下文与数据集组合艺术

大模型(LLM) + 上下文检索增强

大模型长上下文运行的关键问题

LongLoRA:不需要大量计算资源的情况下增强了预训练语言模型的上下文能力

AIGC：从‘金鱼记忆‘到‘过目不忘‘，实例解密大模型是如何记住对话的上下文的？

太酷啦，Transformer 的有效上下文长度可扩展至百万级

大模型上下文扩展之YaRN解析：从直接外推ALiBi、位置插值、NTK-aware插值、YaRN

语言大模型100K上下文窗口的秘诀

大语言模型拓展，通过上下文学习解决视觉任务

研究发现更大的上下文对大语言模型来说意义不大

【分享】百度千帆大模型Python调用上下文测评

【分享】讯飞星火认知大模型Python调用上下文测评

MiniCTX：面向大语言模型定理证明的上下文相关基准测试系统

大模型模仿人类记忆，迎来无限上下文时代

LongRAG：提升长文本上下文的大模型增强检索生成框架

Flask中的上下文和flask-script扩展

Flask框架——上下文、flask_script扩展

day92 请求扩展请求上下文

GitHub Copilot三连更：能在代码行里直接提问，上下文范围扩展到终端

执行上下文、this

seam 上下文

javascript上下文this

上下文菜单

CGContext与上下文

什么是上下文

今日推荐

周排行

教你如何约女孩子的方式去理解（TCP三次握手与四次挥手）

android按压背景

【量化小讲堂-Python&Pandas系列10】如何判断一个策略的好坏？(附代码)

编程题：利用链表实现栈

盘点47条 Allegro 使用技巧，你都知道吗？

在VMware Workstation中安装CentOS

二叉树的实现

cmake安装jsoncpp

ReactNative开发城市列表页

最全前端学习资源

每日归档

更多

2025-03-20(0)

2025-03-19(0)

2025-03-18(0)

2025-03-17(0)

2025-03-16(0)

2025-03-15(0)

2025-03-14(0)

2025-03-13(0)

2025-03-12(0)

2025-03-11(0)