FEAT: support qwen2.5-vl-instruct

[qinxuye]

For now, transformers needs to be installed from source code:

pip install git+https://github.com/huggingface/transformers.git

vllm not supported yet.

2025-01-27.15.35.18.mov

[hxujal]

vllm已经支持了，可以更新吗

[qinxuye]

vllm已经支持了，可以更新吗

0.7.2 支持，你愿意提交 PR 来增加吗？相信不困难。

inference/xinference/model/llm/vllm/core.py

Lines 197 to 201 in 37c8b89

	if VLLM_INSTALLED and vllm.__version__ >= "0.6.3":
	VLLM_SUPPORTED_MODELS.append("llama-3.2-vision")
	VLLM_SUPPORTED_VISION_MODEL_LIST.append("llama-3.2-vision-instruct")
	VLLM_SUPPORTED_VISION_MODEL_LIST.append("qwen2-vl-instruct")
	VLLM_SUPPORTED_VISION_MODEL_LIST.append("QvQ-72B-Preview")

类似这个，>=0.7.2 支持。

[qinxuye]

vllm已经支持了，可以更新吗

@hxujal 有在做吗？下午要发版了，如果没有的话，我就弄下。

[hxujal]

vllm已经支持了，可以更新吗

@hxujal 有在做吗？下午要发版了，如果没有的话，我就弄下。

还没弄，你弄吧。谢谢

[elepherai]

你好，我拉了1.2.2的镜像，跑不了vllm的qwen2.5-vl-instruct，意思是要自己升级到vllm 0.7.2是吗

[XiaoCC]

你好，我拉了1.2.2的镜像，跑不了vllm的qwen2.5-vl-instruct，意思是要自己升级到vllm 0.7.2是吗

我也是没有vllm选项

[qinxuye]

你好，我拉了1.2.2的镜像，跑不了vllm的qwen2.5-vl-instruct，意思是要自己升级到vllm 0.7.2是吗

对，目前需要自己在镜像里升级 vllm 到 0.7.2，下个版本我们将升级镜像里的版本。

[caulijun]

拉取qwen2.5-vl-7b后，加载模型报错:
AttributeError: [address=0.0.0.0:42908, pid=30123] Qwen2TokenizerFast has no attribute tokenizer
已经升级到了最新的版本
transformers==4.48.3
xinference==1.2.2

[ignore1999]

拉取qwen2.5-vl-7b后，加载模型报错:属性错误：[地址=0.0.0.0:42908，进程 ID=30123] Qwen2TokenizerFast 没有属性 tokenizer 已经升级到了最新的版本transformers==4.48.3 翻译文本：transformers==4.48.3xinference==1.2.2 xinference==1.2.2

same issues

[qinxuye]

从源码安装 transformers 试下。

pip install git+https://github.com/huggingface/transformers.git