Phi-3.5 Mini 128K Instruct
- 125K Context
- 0.1/M Input Tokens
- 0.1/M Output Tokens
- Microsoft
- Text 2 text
- 21 Aug, 2024
Phi-3.5 模型是轻量级的、先进的开放模型。这些模型使用 Phi-3 数据集进行训练,该数据集包括合成数据和经过筛选的公共网站数据,重点关注高质量和推理密集的特性。Phi-3.5 Mini 使用 3.8B 参数,是一种仅解码的稠密变换器模型,使用与 Phi-3 Mini 相同的分词器。
这些模型经过严格的增强过程,结合了监督微调、邻近策略优化和直接偏好优化,以确保精确的指令遵循和强大的安全措施。在针对测试常识、语言理解、数学、代码、长上下文和逻辑推理的基准评估中,Phi-3.5 模型在参数少于 130 亿的模型中展示了强大且先进的性能。