Databricks: DBRX 132B Instruct

DBRX 是由 Databricks 开发的新开源大语言模型。在 132B 的参数量下，它在语言理解、编程、数学和逻辑的标准行业基准测试中超越了现有的开源 LLM，如 Llama 2 70B 和 Mixtral-8x7b。

它采用了细粒度的专家混合（MoE）架构。任何输入上都有 36B 参数处于激活状态。它在 12T 的文本和代码数据上进行了预训练。与其他开源 MoE 模型如 Mixtral-8x7B 和 Grok-1 相比，DBRX 是细粒度的，这意味着它使用了更多数量的小型专家。

查看发布公告和基准测试结果 这里。

#moe