MiniMax: MiniMax-01
- 976.75K Context
- 0.2/M Input Tokens
- 1.1/M Output Tokens
- Rifx.Online
- Text image 2 text
- 20 Jan, 2025
MiniMax-01 是一个结合了 MiniMax-Text-01 进行文本生成和 MiniMax-VL-01 进行图像理解的模型。它拥有 4560 亿个参数,每次推理激活 459 亿个参数,并且可以处理多达 400 万个 token 的上下文。
文本模型采用混合架构,结合了 Lightning Attention、Softmax Attention 和专家混合(MoE)。图像模型采用“ViT-MLP-LLM”框架,并在文本模型的基础上进行训练。
要了解更多关于发布的信息,请访问: https://www.minimaxi.com/en/news/minimax-01-series-2