Large language model

一个大型 LLM 通过将两个微调的 Llama 70B 模型合并成一个 120B 模型而创建。结合了 Xwin 和 Euryale。 致谢@chargoddard 开发了用于合并模型的框架 - mergekit。 [@Undi95](h...

DBRX 是由 Databricks 开发的新开源大语言模型。在 132B 的参数量下，它在语言理解、编程、数学和逻辑的标准行业基准测试中超越了现有的开源 LLM，如 Llama 2 70B 和 Mixtral-8x7b。 它采用了细粒度的专家混合（MoE）架构。任何输入上都有 36B 参数处于激活状态。它在 12T 的文本和代码数据上进行 ...