Qwen 2.5 VL AWQ 3B

O Qwen 2.5 VL AWQ 3B é um modelo de linguagem e visão que suporta 3 bilhões de parâmetros e oferece capacidades avançadas como análise visual, raciocínio de agente, compreensão de vídeo longo, localização visual e geração de saída estruturada.

Ver como Markdown

O Qwen 2.5 VL AWQ 3B é um modelo de linguagem e visão que oferece capacidades avançadas como análise visual, raciocínio de agente, compreensão de vídeo longo, localização visual e geração de saída estruturada. Ele suporta 3 bilhões de parâmetros.

Detalhes do modelo

CategoriaDetalhes
Nome do modeloQwen2.5 VL
VersãoAWQ 3B
Categoria do modeloVLM
Tamanho3B parâmetros
Modelo HuggingFaceQwen/Qwen2.5-VL-3B-Instruct-AWQ
Endpoint compatível com a OpenAIChat API Overview
LicençaApache 2.0

Capacidades

RecursoDetalhes
Tool Calling✅
Tamanho do contexto32k tokens
Suporta LoRA✅
Dados de entradaTexto + Imagem

Uso

Exemplo básico de chat completion

Este é um exemplo básico de uma requisição de chat completion usando este modelo:

const modelResponse = await Azion.AI.run("qwen-qwen25-vl-3b-instruct-awq", {
"stream": true,
"messages": [
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": "Name the european capitals"
}
]
})
PropriedadeTipoDescrição
streambooleanIndica se a resposta deve ser transmitida por stream.
messages[]arrayArray de objetos de mensagem, contendo as mensagens do sistema e do usuário.
messages[].rolestringO papel do remetente da mensagem.
messages[].contentstringO conteúdo da mensagem.

Exemplo de resposta:

{
"id": "chatcmpl-e27716424abf4b3f891ff4850470cb09",
"object": "chat.completion",
"created": 1746821581,
"model": "qwen-qwen25-vl-3b-instruct-awq",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"reasoning_content": null,
"content": "Sure! Here is a list of some European capitals...",
"tool_calls": []
},
"logprobs": null,
"finish_reason": "stop",
"stop_reason": null
}
],
"usage": {
"prompt_tokens": 9,
"total_tokens": 527,
"completion_tokens": 518,
"prompt_tokens_details": null
},
"prompt_logprobs": null
}
PropriedadeTipoDescrição
idstringIdentificador único para a resposta do chat.
objectstringTipo de objeto.
creatednumberCarimbo de data e hora quando a resposta do chat foi criada.
modelstringModelo usado para a resposta do chat.
choices[]arrayArray contendo as escolhas feitas pelo modelo.
choices[].indexnumberÍndice da escolha.
choices[].messageobjectMensagem retornada pelo modelo na escolha.
choices[].message.rolestringPapel do remetente da mensagem.
choices[].message.reasoning_contentstringRaciocínio por trás da resposta do modelo.
choices[].message.contentstringConteúdo da mensagem enviada pelo modelo.
choices[].message.tool_calls[]arrayArray de chamadas de ferramenta.
choices[].logprobsnumberProbabilidades logarítmicas.
choices[].finish_reasonstringMotivo para terminar a resposta.
usageobjectContém informações sobre o uso de tokens.
usage.prompt_tokensnumberNúmero de tokens no prompt.
usage.total_tokensnumberTotal de tokens usados.
usage.completion_tokensnumberNúmero de tokens usados na conclusão.
usage.prompt_tokens_detailsstringInformações detalhadas sobre os tokens do prompt.
prompt_logprobsnumberProbabilidades logarítmicas para o prompt.

Exemplo de Tool Calling

Este é um exemplo de uma requisição de Tool Calling usando este modelo:

const modelResponse = await Azion.AI.run("qwen-qwen25-vl-3b-instruct-awq", {
"stream": true,
"messages": [
{
"role": "system",
"content": "You are a helpful assistant with access to tools."
},
{
"role": "user",
"content": "What is the weather in London?"
}
],
"tools": [
{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a location",
"parameters": {
"type": "object",
"properties": {
"location": {
"type": "string",
"description": "The city and state"
}
},
"required": [
"location"
]
}
}
}
]
})
PropriedadeTipoDescrição
messages[]arrayArray contendo as mensagens trocadas entre o sistema e o usuário.
messages[].rolestringPapel do remetente da mensagem.
messages[].contentstringO conteúdo da mensagem.
tools[]arrayArray contendo as ferramentas usadas na consulta.
tools[].typestringO tipo da ferramenta.
tools[].functionobjectA função sendo chamada pela ferramenta.
tools[].function.namestringO nome da função.
tools[].function.descriptionstringUma descrição da função.
tools[].function.parametersobjectOs parâmetros requeridos pela função.

Exemplo de resposta:

{
"id": "chatcmpl-88affc4730cf4219a06d2b15aad9ad44",
"object": "chat.completion",
"created": 1746821866,
"model": "qwen-qwen25-vl-3b-instruct-awq",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"reasoning_content": null,
"content": null,
"tool_calls": [
{
"id": "chatcmpl-tool-fd3311e75aed4cbfbeb7244ced77379f",
"type": "function",
"function": {
"name": "get_weather",
"arguments": "{\"location\": \"London\"}"
}
}
]
},
"logprobs": null,
"finish_reason": "tool_calls",
"stop_reason": null
}
],
"usage": {
"prompt_tokens": 293,
"total_tokens": 313,
"completion_tokens": 20,
"prompt_tokens_details": null
},
"prompt_logprobs": null
}
PropriedadeTipoDescrição
choices[]arrayArray contendo as escolhas feitas pelo assistente.
choices[].indexintegerO índice da primeira escolha.
choices[].messageobjectA mensagem enviada pelo assistente na primeira escolha.
choices[].message.rolestringO papel do assistente na mensagem.
choices[].message.reasoning_contentnullO conteúdo de raciocínio.
choices[].message.contentnullO conteúdo da mensagem.
choices[].message.tool_calls[]arrayArray de chamadas de ferramenta invocadas pelo assistente na mensagem.
choices[].message.tool_calls[].idstringO ID da chamada de ferramenta.
choices[].message.tool_calls[].typestringO tipo da chamada de ferramenta.
choices[].message.tool_calls[].functionobjectA função chamada pela ferramenta.
choices[].message.tool_calls[].function.namestringO nome da função chamada.
choices[].message.tool_calls[].function.argumentsstringOs argumentos passados para a função em formato JSON.
logprobsnullO valor logprobs.
finish_reasonstringO motivo pelo qual a resposta terminou.
stop_reasonnullO motivo pelo qual a resposta foi interrompida.
usage.prompt_tokensintegerO número de tokens do prompt usados.
usage.total_tokensintegerO total de tokens usados.
usage.completion_tokensintegerO número de tokens de conclusão usados.
usage.prompt_tokens_detailsnullOs detalhes para os tokens do prompt.
prompt_logprobsnullOs logprobs do prompt.

Exemplo multimodal (texto + imagem)

Este é um exemplo de uma requisição multimodal usando este modelo:

const modelResponse = await Azion.AI.run("qwen-qwen25-vl-3b-instruct-awq", {
"stream": true,
"messages": [
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "What is in this image?"
},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/image.jpg"
}
}
]
}
]
})
PropriedadeTipoDescrição
messages[]arrayArray contendo as mensagens enviadas pelo sistema e pelo usuário.
messages[].rolestringO papel do remetente da mensagem.
messages[].content[]arrayArray contendo os objetos de conteúdo na mensagem.
messages[].content[]objectO objeto de conteúdo na mensagem.
messages[].content[].typestringO tipo do objeto de conteúdo.
messages[].content[].image_urlobjectO objeto de URL de imagem no objeto de conteúdo.
messages[].content[].image_url.urlstringA URL da imagem.
streambooleanIndica se a resposta deve ser transmitida por stream.

A resposta será semelhante à do exemplo básico de conclusão de chat.

Schema JSON

{
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"required": [
"messages"
],
"properties": {
"messages": {
"type": "array",
"items": {
"$ref": "#/components/schemas/Message"
}
},
"temperature": {
"type": "number",
"minimum": 0,
"maximum": 2
},
"top_p": {
"type": "number",
"minimum": 0,
"maximum": 1,
"default": 1
},
"n": {
"type": "integer",
"minimum": 1,
"default": 1
},
"stream": {
"type": "boolean",
"default": false
},
"max_tokens": {
"type": "integer",
"minimum": 1
},
"presence_penalty": {
"type": "number",
"minimum": -2,
"maximum": 2,
"default": 0
},
"frequency_penalty": {
"type": "number",
"minimum": -2,
"maximum": 2,
"default": 0
},
"tools": {
"type": "array",
"items": {
"$ref": "#/components/schemas/ToolDefinition"
}
}
},
"components": {
"schemas": {
"Message": {
"oneOf": [
{
"$ref": "#/components/schemas/SystemMessage"
},
{
"$ref": "#/components/schemas/UserMessage"
},
{
"$ref": "#/components/schemas/AssistantMessage"
},
{
"$ref": "#/components/schemas/ToolMessage"
}
]
},
"SystemMessage": {
"type": "object",
"required": [
"role",
"content"
],
"properties": {
"role": {
"type": "string",
"enum": [
"system"
]
},
"content": {
"$ref": "#/components/schemas/TextContent"
}
}
},
"UserMessage": {
"type": "object",
"required": [
"role",
"content"
],
"properties": {
"role": {
"type": "string",
"enum": [
"user"
]
},
"content": {
"oneOf": [
{
"type": "string"
},
{
"type": "array",
"items": {
"oneOf": [
{
"$ref": "#/components/schemas/TextContentItem"
},
{
"$ref": "#/components/schemas/ImageContentItem"
}
]
}
}
]
}
}
},
"AssistantMessage": {
"oneOf": [
{
"$ref": "#/components/schemas/AssistantMessageWithoutToolCalls"
},
{
"$ref": "#/components/schemas/AssistantMessageWithToolCalls"
}
]
},
"ToolMessage": {
"type": "object",
"required": [
"role",
"content",
"tool_call_id"
],
"properties": {
"role": {
"enum": [
"tool"
]
},
"content": {
"type": "string"
},
"tool_call_id": {
"type": "string"
}
}
},
"AssistantMessageWithoutToolCalls": {
"type": "object",
"required": [
"role",
"content"
],
"properties": {
"role": {
"type": "string",
"enum": [
"assistant"
]
},
"content": {
"$ref": "#/components/schemas/TextContent"
}
},
"not": {
"required": [
"tool_calls"
]
}
},
"AssistantMessageWithToolCalls": {
"type": "object",
"required": [
"role",
"tool_calls"
],
"properties": {
"role": {
"type": "string",
"enum": [
"assistant"
]
},
"tool_calls": {
"type": "array",
"items": {
"$ref": "#/components/schemas/ToolCalls"
}
}
}
},
"TextContent": {
"oneOf": [
{
"type": "string"
},
{
"type": "array",
"items": {
"$ref": "#/components/schemas/TextContentItem"
}
}
],
"description": "Text content that can be provided either as a simple string or as an array of TextContentItem objects"
},
"ImageContent": {
"type": "array",
"items": {
"$ref": "#/components/schemas/ImageContentItem"
}
},
"TextContentItem": {
"type": "object",
"required": [
"type",
"text"
],
"properties": {
"type": {
"type": "string",
"enum": [
"text"
]
},
"text": {
"type": "string"
}
}
},
"ImageContentItem": {
"type": "object",
"required": [
"type",
"image_url"
],
"properties": {
"type": {
"type": "string",
"enum": [
"image_url"
]
},
"image_url": {
"type": "object",
"required": [
"url"
],
"properties": {
"url": {
"type": "string",
"format": "uri"
}
}
}
}
},
"ToolCalls": {
"type": "object",
"required": [
"function",
"id",
"type"
],
"properties": {
"function": {
"type": "object",
"required": [
"name",
"arguments"
],
"properties": {
"name": {
"type": "string"
},
"arguments": {
"type": "string"
}
}
},
"id": {
"type": "string"
},
"type": {
"enum": [
"function"
]
}
},
"description":"The name and arguments of a function that should be called, as generated by the model."
},
"ToolDefinition": {
"type": "object",
"required": [
"type",
"function"
],
"properties": {
"type": {
"type": "string",
"enum": [
"function"
]
},
"function": {
"type": "object",
"required": [
"name"
],
"properties": {
"name": {
"type": "string"
},
"description": {
"type": "string"
},
"parameters": {
"type": "object",
"additionalProperties": true
},
"strict": {
"type": "boolean",
"default": false
}
}
}
},
"description": "Definition of a tool that can be used by the model"
}
}
}
}