Qwen 新发布:编码器之王是 Qwen2.5 编码器 32B!
- Rifx.Online
- Programming , Technology , Machine Learning
- 14 Nov, 2024
大家好!介绍一下 Qwen2.5-Coder-32B-Instruct:最新的 AI 模型正在引领编码界的风潮!
这些模型大多在 Apache 2.0 许可下发布。基准分数高得惊人:
如我们所见,它在开源模型中表现最佳,甚至超越了 GPT-4o。
Ollama 已经为多个模型系列提供了支持。
因此,运行起来非常简单。
ollama run qwen2.5-coder:32b
32B(Q4 格式)在单个 GPU 3090 上的性能可以从以下截图中找到:
它的速度是 32 tokens/s!超级快。我非常高兴和印象深刻。
除了 32B 模型外,较小的模型在模型大小方面也表现出色。如果您的计算能力不足,可以尝试一些较小的模型。例如,我在新款配备 M4 处理器和 16GB RAM 的 Mac Mini 上尝试了 14B 模型。
在基准分数之外,光标现在可以与最新的 Qwen 模型集成,包括 Qwen 2.5-Coder-32B-Instruct 和 OpenWebUI。
以下是使用 Qwen 2.5-Coder-32B-Instruct(Ollama)与 OpenWebUI 的截图:
我迫不及待想在日常工作中使用它!