Qwen QVQ-72B：最佳开源图像推理 LLM

阿里巴巴的视觉推理 LLM

所以，在2024年底之前，Qwen（由阿里巴巴推出）强势回归，发布了另一个开源 LLM，Qwen QVQ-72B，这是一个视觉推理 LLM，即一个推理模型（类似于 OpenAI-o1），支持对图像输入进行推理。

Qwen QVQ 是 Qwen2-VL 的改进版本，专注于视觉推理

谈谈它的关键特性：

1. 多模态融合

• 视觉与语言处理： QVQ 集成了语言和视觉信息，使其能够执行需要理解文本和图像的任务。

2. 性能指标

• 高基准分数：在MMM（多模态数学理解）等评估中，QVQ获得了70.3的分数，表明相较于其前身Qwen2-VL-72B-Instruct在数学相关基准测试中有显著改善。

3. 增强的推理能力

• 复杂的分析思维： QVQ 在需要复杂推理的任务中表现出色，例如通过系统的方法解决复杂的物理问题。与早期模型相比，它在视觉推理任务中的表现得到了改善。

4. 开源可用性

• 社区访问： 该模型已作为开源发布，使研究人员和开发者能够利用并在其能力基础上进行构建，而无需面临重大入门障碍。

5. 限制与挑战

• 潜在问题： 尽管取得了进展，QVQ 仍然存在局限性，包括语言混合、循环逻辑模式的挑战，以及在多步骤推理过程中保持对图像内容的关注。这些因素可能导致输出中的不准确或“幻觉”。

6. 技术规格

• 模型架构： QVQ 基于 Qwen2-VL-72B 架构构建，采用基于变换器的设计原则，增强其在各种任务中的处理能力。

Check this example to understand its might !

输入

输出

所以我有一张几只鹈鹕的照片，我需要弄清楚总共有多少只。让我看看。首先，我看到一群鹈鹕站在看起来像是混凝土平台或者码头的地方，背景是水面。水面很平静，有小波纹，鹈鹕们几乎都朝着同一个方向，面向照片的左侧。

这个主要的群体有四只鹈鹕，排成一排。它们有长长的喙，身体主要是棕色的，有一些较浅的色调。它们的头抬得很高，似乎在休息或者等待。

现在，除了这四只鹈鹕，还有几只部分可见的鹈鹕。一只在照片的最右侧，只有部分身体露出来。它背对着相机，尾巴和部分翅膀可见。另一只稍微偏左，只有头和部分背部可见。

所以，如果我仔细数一下，主要群体有四只鹈鹕，然后右侧还有这两只部分可见的鹈鹕。那总共就是六只鹈鹕在照片中。但是等等，我应该再确认一下。也许这两只部分可见的鹈鹕实际上是同一只鹈鹕，但我不这么认为。它们似乎是不同的鸟。

让我再试着数一遍。从左边开始：第一只鹈鹕完全可见，站在边缘。然后，紧挨着它，另一只也是完全可见的。接着是第三只，第四只，都是一排。所以那是四只。

然后，往右边看，有另一只鹈鹕只部分在画面中，露出头和部分身体。再往右边，还有另一只部分可见的鹈鹕，露出尾巴和部分翅膀。所以，总共加起来就是六只鹈鹕。

我觉得这很准确。问题是在问照片中鹈鹕的总数，从我能看到的情况来看，有六只。也许我应该再看看，确保没有漏掉任何。

回头看照片，我可以看到主要群体中的四只鹈鹕，都是面向左边，然后右侧有两只部分可见的鹈鹕。不，我在背景或照片的其他地方没有看到其他鹈鹕。

所以，我的最终答案是照片中有六只鹈鹕。

**最终答案**

6

如何使用 Qwen QVQ-72B？

该模型是开源的，可以通过 huggingface 轻松访问。然而，由于模型体积较大，您可能无法在消费级 GPU 上使用它。

在这里找到代码

如果您希望免费使用，请查看此空间

我希望您尝试 Qwen QVQ 进行视觉推理