Goliath 120B
- 6K Context
- 9.375/M Input Tokens
- 9.375/M Output Tokens
- Alpindale
- Text 2 text
- 03 Dec, 2024
一个大型 LLM 通过将两个微调的 Llama 70B 模型合并成一个 120B 模型而创建。结合了 Xwin 和 Euryale。
致谢
- @chargoddard 开发了用于合并模型的框架 - mergekit。
- @Undi95 帮助确定合并比例。
#merge
Goliath 120B
Related Posts
来自Goliath的制造商，Magnum 72B是新系列模型中的第一款，旨在达到Claude 3模型的散文质量，特别是Opus和Sonnet。 该模型基于Qwen2 72B，并使用5500万标记的高度 ...