vLLM

vLLM به‌عنوان یک backend ‏/v1 سازگار با OpenAI به سبک پراکسی در نظر گرفته می‌شود، نه یک endpoint بومی OpenAI. یعنی:

برای مدل‌های Qwen که از طریق vLLM ارائه می‌شوند، وقتی سرور انتظار kwargs مربوط به chat-template در Qwen را دارد، روی ردیف مدل ارائه‌دهنده پیکربندی‌شده compat.thinkingFormat: "qwen-chat-template" را تنظیم کنید. مدل‌هایی که به این شکل پیکربندی شده‌اند یک نمایه دودویی /think (off، on) ارائه می‌کنند، چون تفکر template در Qwen یک پرچم روشن/خاموش درخواست است، نه یک نردبان effort به سبک OpenAI.

{  models: {    providers: {      vllm: {        models: [          {            id: "Qwen/Qwen3-8B",            name: "Qwen3 8B",            reasoning: true,            compat: { thinkingFormat: "qwen-chat-template" },          },        ],      },    },  },}

OpenClaw ‏/think off را به این نگاشت می‌کند:

{  "chat_template_kwargs": {    "enable_thinking": false,    "preserve_thinking": true  }}

سطح‌های تفکر غیر از off مقدار enable_thinking: true را ارسال می‌کنند. اگر endpoint شما در عوض انتظار پرچم‌های سطح بالای به سبک DashScope را دارد، از compat.thinkingFormat: "qwen" استفاده کنید تا enable_thinking در ریشه درخواست ارسال شود.

vLLM/Nemotron 3 می‌تواند از kwargs مربوط به chat-template استفاده کند تا کنترل کند reasoning به‌صورت reasoning پنهان برگردانده شود یا متن پاسخ قابل مشاهده. وقتی یک نشست OpenClaw از vllm/nemotron-3-* با تفکر خاموش استفاده می‌کند، Plugin داخلی vLLM این را ارسال می‌کند:

{  "chat_template_kwargs": {    "enable_thinking": false,    "force_nonempty_content": true  }}

برای سفارشی‌سازی این مقادیر، chat_template_kwargs را زیر params مدل تنظیم کنید. اگر params.extra_body.chat_template_kwargs را هم تنظیم کنید، آن مقدار اولویت نهایی دارد چون extra_body آخرین بازنویسی بدنه درخواست است.

{  agents: {    defaults: {      models: {        "vllm/nemotron-3-super": {          params: {            chat_template_kwargs: {              enable_thinking: false,              force_nonempty_content: true,            },          },        },      },    },  },}

ابتدا مطمئن شوید vLLM با parser فراخوانی ابزار و chat template درست برای مدل راه‌اندازی شده است. برای مثال، مستندات vLLM برای مدل‌های Qwen2.5 مقدار hermes و برای مدل‌های Qwen3-Coder مقدار qwen3_xml را ذکر می‌کند.

نشانه‌ها:

• skillها یا ابزارها هرگز اجرا نمی‌شوند
• دستیار JSON/XML خامی مانند {"name":"read","arguments":...} را چاپ می‌کند
• وقتی OpenClaw مقدار tool_choice: "auto" را ارسال می‌کند، vLLM یک آرایه خالی tool_calls برمی‌گرداند

برخی ترکیب‌های Qwen/vLLM فقط وقتی درخواست از tool_choice: "required" استفاده کند، فراخوانی ابزار ساخت‌یافته برمی‌گردانند. برای آن ورودی‌های مدل، فیلد درخواست سازگار با OpenAI را با params.extra_body اجباری کنید:

{  agents: {    defaults: {      models: {        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {          params: {            extra_body: {              tool_choice: "required",            },          },        },      },    },  },}

مقدار Qwen-Qwen2.5-Coder-32B-Instruct را با شناسه دقیقی که این دستور برمی‌گرداند جایگزین کنید:

openclaw models list --provider vllm

می‌توانید همین بازنویسی را از CLI اعمال کنید:

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

این یک راهکار سازگاری opt-in است. باعث می‌شود هر turn مدل همراه با ابزارها به یک فراخوانی ابزار نیاز داشته باشد، بنابراین فقط برای یک ورودی مدل محلی اختصاصی که این رفتار در آن پذیرفتنی است از آن استفاده کنید. آن را به‌عنوان پیش‌فرض سراسری برای همه مدل‌های vLLM به کار نبرید، و از پراکسی‌ای که کورکورانه متن دلخواه دستیار را به فراخوانی ابزار قابل اجرا تبدیل می‌کند استفاده نکنید.

اگر سرور vLLM شما روی میزبان یا پورت غیرپیش‌فرض اجرا می‌شود، baseUrl را در پیکربندی صریح ارائه‌دهنده تنظیم کنید:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:9000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [          {            id: "my-custom-model",            name: "Remote vLLM Model",            reasoning: false,            input: ["text"],            contextWindow: 64000,            maxTokens: 4096,          },        ],      },    },  },}

برای مدل‌های محلی بزرگ، میزبان‌های راه دور در LAN، یا پیوندهای tailnet، یک timeout درخواست در محدوده ارائه‌دهنده تنظیم کنید:

{  models: {    providers: {      vllm: {        baseUrl: "http://192.168.1.50:8000/v1",        apiKey: "${VLLM_API_KEY}",        api: "openai-completions",        timeoutSeconds: 300,        models: [{ id: "your-model-id", name: "Local vLLM Model" }],      },    },  },}

timeoutSeconds فقط روی درخواست‌های HTTP مدل vLLM اعمال می‌شود، از جمله راه‌اندازی اتصال، headerهای پاسخ، جریان‌دهی بدنه، و کل abort مربوط به guarded-fetch. پیش از افزایش agents.defaults.timeoutSeconds که کل اجرای agent را کنترل می‌کند، این روش را ترجیح دهید.

بررسی کنید سرور vLLM در حال اجرا و قابل دسترسی باشد:

curl http://127.0.0.1:8000/v1/models

اگر خطای اتصال می‌بینید، میزبان، پورت، و اینکه vLLM با حالت سرور سازگار با OpenAI شروع شده است را بررسی کنید. برای endpointهای صریح local loopback، LAN، یا Tailscale، OpenClaw برای درخواست‌های guarded مدل به origin دقیق پیکربندی‌شده models.providers.vllm.baseUrl اعتماد می‌کند. originهای metadata/link-local بدون opt-in صریح همچنان مسدود می‌مانند. فقط وقتی درخواست‌های vLLM باید به یک origin خصوصی دیگر برسند models.providers.vllm.request.allowPrivateNetwork: true را تنظیم کنید، و برای انصراف از اعتماد به exact-origin آن را روی false قرار دهید.

اگر درخواست‌ها با خطاهای احراز هویت شکست می‌خورند، یک VLLM_API_KEY واقعی تنظیم کنید که با پیکربندی سرور شما مطابقت داشته باشد، یا ارائه‌دهنده را به‌صورت صریح زیر models.providers.vllm پیکربندی کنید.

کشف خودکار مستلزم تنظیم بودن VLLM_API_KEY است. اگر models.providers.vllm را تعریف کرده‌اید، OpenClaw فقط از مدل‌های اعلام‌شده شما استفاده می‌کند مگر اینکه agents.defaults.models شامل "vllm/*": {} باشد.

اگر یک مدل Qwen به‌جای اجرای skill، نحو ابزار JSON/XML را چاپ می‌کند، راهنمای Qwen در بخش پیکربندی پیشرفته بالا را بررسی کنید. راه‌حل معمول این است:

• vLLM را با parser/template درست برای آن مدل راه‌اندازی کنید
• شناسه دقیق مدل را با openclaw models list --provider vllm تایید کنید
• فقط اگر tool_choice: "auto" همچنان فراخوانی ابزار خالی یا فقط متنی برمی‌گرداند، یک بازنویسی اختصاصی برای هر مدل با params.extra_body.tool_choice: "required" اضافه کنید