简介
苹果刚刚发布了全新的Macbook Pro，声称它能够通过 128GB vram 和新的 M4 Max 芯片“轻松与具有 2000 亿个参数的 LLM 交互”。这意味着什么？通过正确的配置，您将能够在本地（和移动端）加载要求最高的 LLM，并以各种有趣的方式与它们交互。
请记住，当涉及到模型本身的参数时，“大并不总是好”；今天的 8B 模型通常可以胜过 6 个月前的 100B 模型，当谈到充分利用上下文窗口和中等尺寸模型时，这种马力可以改变游戏规则…基本上使用一个相当强大的模型（如 Minstral 8B）您可以充分利用它的 128k 令牌上下文窗口 - 因此，您可以在提示中包含几百页文本，并且您可以在上下文中以合理的交互率（T/S）与它进行交互。
我很想拥有一个本地知识库管理软件，该软件在本地使用 Minstral 8B + Minstral Embed 来完全嵌入我的书籍收藏、我的文章收藏、我的所有笔记，并允许我快速与其交互……现在可以做到，但这款新的#M4 Pro 处理器非常适合这项任务，你可以把它放在背包里。多么美好的时代啊。