Tools
نظرة عامة على الوسائط
ينشئ OpenClaw الصور ومقاطع الفيديو والموسيقى، ويفهم الوسائط الواردة (الصور والصوت والفيديو)، وينطق الردود بصوت مسموع باستخدام تحويل النص إلى كلام. تعتمد جميع إمكانات الوسائط على الأدوات: يقرر الوكيل متى يستخدمها استنادًا إلى المحادثة، ولا تظهر كل أداة إلا عند تهيئة موفّر داعم واحد على الأقل.
يستخدم الكلام المباشر عقد جلسة Talk بدلًا من مسار أداة الوسائط
أحادية الاستخدام. لدى Talk ثلاثة أوضاع: realtime الأصلي لدى الموفّر،
وstt-tts المحلي أو المتدفق، وtranscription لالتقاط الكلام بغرض المراقبة فقط. تشترك هذه
الأوضاع في أدلة الموفّرين، وأغلفة الأحداث، ودلالات الإلغاء مع
الاتصالات الهاتفية والاجتماعات والتفاعل الآني في المتصفح والعملاء الأصليين الذين يدعمون الضغط للتحدث.
الإمكانات
أنشئ الصور وعدّلها انطلاقًا من مطالبات نصية أو صور مرجعية عبر
image_generate. تعمل بصورة غير متزامنة في جلسات الدردشة — إذ تُنفَّذ في الخلفية
وتنشر النتيجة عند جاهزيتها.
تحويل النص إلى فيديو، والصورة إلى فيديو، والفيديو إلى فيديو عبر video_generate.
تعمل بصورة غير متزامنة — إذ تُنفَّذ في الخلفية وتنشر النتيجة عند جاهزيتها.
أنشئ موسيقى أو مسارات صوتية عبر music_generate. تعمل بصورة غير متزامنة في جلسات
الدردشة ضمن دورة حياة مهام إنشاء الوسائط المشتركة.
حوّل الردود الصادرة إلى صوت منطوق عبر أداة tts بالإضافة إلى
إعداد messages.tts. تعمل بصورة متزامنة.
لخّص الصور والصوت والفيديو الواردة باستخدام موفّري نماذج يدعمون الرؤية وplugins مخصصة لفهم الوسائط.
انسخ الرسائل الصوتية الواردة نصيًا عبر موفّري STT بالدُفعات أو موفّري STT المتدفق لمكالمات Voice Call.
مصفوفة إمكانات الموفّرين
| الموفّر | الصور | الفيديو | الموسيقى | TTS | STT | الصوت الآني | فهم الوسائط |
|---|---|---|---|---|---|---|---|
| Alibaba | ✓ | ||||||
| Azure Speech | ✓ | ||||||
| BytePlus | ✓ | ||||||
| ComfyUI | ✓ | ✓ | ✓ | ||||
| Deepgram | ✓ | ||||||
| DeepInfra | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| ElevenLabs | ✓ | ✓ | |||||
| fal | ✓ | ✓ | ✓ | ||||
| ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| Gradium | ✓ | ||||||
| Inworld | ✓ | ||||||
| LiteLLM | ✓ | ||||||
| Local CLI | ✓ | ||||||
| Microsoft | ✓ | ||||||
| Microsoft Foundry | ✓ | ||||||
| MiniMax | ✓ | ✓ | ✓ | ✓ | |||
| Mistral | ✓ | ||||||
| OpenAI | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| OpenRouter | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| PixVerse | ✓ | ||||||
| Qwen | ✓ | ✓ | |||||
| Runway | ✓ | ||||||
| SenseAudio | ✓ | ||||||
| Together | ✓ | ||||||
| Volcengine | ✓ | ||||||
| Vydra | ✓ | ✓ | ✓ | ||||
| xAI | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| Xiaomi MiMo | ✓ |
غير المتزامن مقابل المتزامن
| الإمكانية | الوضع | السبب |
|---|---|---|
| الصور | غير متزامن | قد تستمر معالجة الموفّر بعد انتهاء دور الدردشة؛ وتستخدم المرفقات المنشأة مسار الإكمال المشترك. |
| تحويل النص إلى كلام | متزامن | تصل استجابات الموفّر خلال ثوانٍ؛ وتُرفق بصوت الرد. |
| الفيديو | غير متزامن | تستغرق معالجة الموفّر من 30 ثانية إلى عدة دقائق؛ وقد تعمل قوائم الانتظار البطيئة حتى انقضاء المهلة المهيأة. |
| الموسيقى | غير متزامن | تتسم معالجة الموفّر بالخصائص نفسها الخاصة بالفيديو. |
بالنسبة إلى الأدوات غير المتزامنة، يرسل OpenClaw الطلب إلى الموفّر، ويعيد معرّف
المهمة فورًا، ويتتبع المهمة في سجل المهام. يواصل الوكيل
الرد على الرسائل الأخرى أثناء تنفيذ المهمة. عندما ينتهي الموفّر،
يوقظ OpenClaw الوكيل مع مسارات الوسائط المنشأة حتى يتمكن من إبلاغ
المستخدم عبر وضع الرد المرئي المعتاد للجلسة: تسليم الرد النهائي
تلقائيًا عند تهيئته، أو message(action="send") عندما تتطلب الجلسة
أداة الرسائل. إذا كانت جلسة مقدّم الطلب غير نشطة أو فشلت عملية إيقاظها
النشطة، وكانت بعض الوسائط المنشأة لا تزال مفقودة من رد الإكمال،
يرسل OpenClaw إجراءً احتياطيًا مباشرًا قابلًا للتكرار بأمان لا يحتوي إلا على الوسائط المفقودة. ولا تُنشر
الوسائط التي سلّمها رد الإكمال بالفعل مرة أخرى.
تحويل الكلام إلى نص ومكالمات Voice Call
يمكن لكل من Deepgram وDeepInfra وElevenLabs وGoogle وGroq وMistral وOpenAI وOpenRouter
وSenseAudio وxAI نسخ الصوت الوارد نصيًا عبر مسار الدُفعات
tools.media.audio عند تهيئته. تضع plugins القنوات التي تجري فحصًا مسبقًا
لملاحظة صوتية من أجل تقييد الإشارات أو تحليل الأوامر علامة على المرفق المنسوخ
نصيًا ضمن السياق الوارد، وبذلك تعيد مرحلة فهم الوسائط المشتركة
استخدام ذلك النص بدلًا من إجراء استدعاء STT ثانٍ للصوت نفسه.
كما تسجل Deepgram وElevenLabs وMistral وOpenAI وxAI موفّري STT المتدفق لمكالمات Voice Call، بحيث يمكن توجيه الصوت الهاتفي المباشر إلى المورّد المحدد دون انتظار اكتمال التسجيل.
بالنسبة إلى محادثات المستخدم المباشرة، يُفضّل استخدام وضع Talk. تبقى مرفقات الصوت المعالجة بالدُفعات ضمن مسار الوسائط؛ بينما ينبغي للصوت الآني في المتصفح والضغط الأصلي للتحدث والاتصالات الهاتفية وصوت الاجتماعات استخدام أحداث Talk والأدلة ذات نطاق الجلسة التي يعيدها Gateway.
تعيينات الموفّرين (كيفية توزيع المورّدين عبر الأسطح)
أسطح الصور والفيديو والموسيقى وTTS بالدُفعات وSTT بالدُفعات والصوت الآني في الواجهة الخلفية وفهم الوسائط.
OpenAI
أسطح الصور والفيديو وTTS بالدُفعات وSTT بالدُفعات وSTT المتدفق لمكالمات Voice Call والصوت الآني في الواجهة الخلفية وتضمين الذاكرة.
DeepInfra
أسطح توجيه الدردشة/النماذج وإنشاء الصور/تحريرها وتحويل النص إلى فيديو وTTS بالدُفعات وSTT بالدُفعات وفهم وسائط الصور وتضمين الذاكرة. تعرض DeepInfra أيضًا إعادة الترتيب والتصنيف واكتشاف الكائنات وأنواعًا أصلية أخرى من النماذج؛ لا يملك OpenClaw عقد موفّر لهذه الفئات حتى الآن، ولذلك لا تسجل هذه Plugin هذه الإمكانات.
xAI
الصور والفيديو والبحث وتنفيذ التعليمات البرمجية وTTS بالدُفعات وSTT بالدُفعات وSTT المتدفق لمكالمات Voice Call. يُعد الصوت الآني لدى xAI إمكانية متاحة في المنبع، لكنه غير مسجل في OpenClaw حتى يصبح عقد الصوت الآني المشترك قادرًا على تمثيله.
