Pretrained experts

一个由 Mistral AI 提供的预训练生成稀疏专家混合模型，包含 8 个专家（前馈网络），总计 47B 参数。基础模型（未针对指令进行微调） - 请参见 Mixtral 8x7B Instruct 以获取经过指令微调的模型。 #moe ...