Tools
Ikhtisar media
OpenClaw menghasilkan gambar, video, dan musik, memahami media masuk (gambar, audio, video), serta mengucapkan balasan dengan lantang menggunakan teks-ke-ucapan. Semua kemampuan media digerakkan oleh alat: agen memutuskan kapan menggunakannya berdasarkan percakapan, dan setiap alat hanya muncul jika setidaknya satu penyedia pendukung telah dikonfigurasi.
Ucapan langsung menggunakan kontrak sesi Talk, bukan jalur alat media sekali jalan.
Talk memiliki tiga mode: realtime bawaan penyedia, stt-tts lokal atau streaming,
dan transcription untuk menangkap ucapan dalam mode pengamatan saja. Mode-mode tersebut
berbagi katalog penyedia, amplop peristiwa, dan semantik pembatalan dengan
telepon, rapat, waktu nyata peramban, dan klien tekan-untuk-bicara bawaan.
Kemampuan
Buat dan edit gambar dari perintah teks atau gambar referensi melalui
image_generate. Asinkron dalam sesi obrolan — berjalan di latar belakang dan
mengirimkan hasil saat siap.
Teks-ke-video, gambar-ke-video, dan video-ke-video melalui video_generate.
Asinkron — berjalan di latar belakang dan mengirimkan hasil saat siap.
Hasilkan musik atau trek audio melalui music_generate. Asinkron dalam sesi
obrolan pada siklus hidup tugas pembuatan media bersama.
Ubah balasan keluar menjadi audio ucapan melalui alat tts beserta
konfigurasi messages.tts. Sinkron.
Ringkas gambar, audio, dan video masuk menggunakan penyedia model berkemampuan visi dan plugin khusus pemahaman media.
Transkripsikan pesan suara masuk melalui STT batch atau penyedia STT streaming Panggilan Suara.
Matriks kemampuan penyedia
| Penyedia | Gambar | Video | Musik | TTS | STT | Suara waktu nyata | Pemahaman media |
|---|---|---|---|---|---|---|---|
| Alibaba | ✓ | ||||||
| Azure Speech | ✓ | ||||||
| BytePlus | ✓ | ||||||
| ComfyUI | ✓ | ✓ | ✓ | ||||
| Deepgram | ✓ | ||||||
| DeepInfra | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| ElevenLabs | ✓ | ✓ | |||||
| fal | ✓ | ✓ | ✓ | ||||
| ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| Gradium | ✓ | ||||||
| Inworld | ✓ | ||||||
| LiteLLM | ✓ | ||||||
| CLI Lokal | ✓ | ||||||
| Microsoft | ✓ | ||||||
| Microsoft Foundry | ✓ | ||||||
| MiniMax | ✓ | ✓ | ✓ | ✓ | |||
| Mistral | ✓ | ||||||
| OpenAI | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| OpenRouter | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| PixVerse | ✓ | ||||||
| Qwen | ✓ | ✓ | |||||
| Runway | ✓ | ||||||
| SenseAudio | ✓ | ||||||
| Together | ✓ | ||||||
| Volcengine | ✓ | ||||||
| Vydra | ✓ | ✓ | ✓ | ||||
| xAI | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| Xiaomi MiMo | ✓ |
Asinkron dibandingkan sinkron
| Kemampuan | Mode | Alasan |
|---|---|---|
| Gambar | Asinkron | Pemrosesan penyedia dapat berlangsung lebih lama daripada satu giliran obrolan; lampiran yang dihasilkan menggunakan jalur penyelesaian bersama. |
| Teks-ke-ucapan | Sinkron | Respons penyedia kembali dalam hitungan detik; dilampirkan ke audio balasan. |
| Video | Asinkron | Pemrosesan penyedia memerlukan 30 dtk hingga beberapa menit; antrean lambat dapat berjalan hingga batas waktu yang dikonfigurasi. |
| Musik | Asinkron | Memiliki karakteristik pemrosesan penyedia yang sama seperti video. |
Untuk alat asinkron, OpenClaw mengirimkan permintaan kepada penyedia, segera mengembalikan
ID tugas, dan melacak pekerjaan tersebut dalam buku besar tugas. Agen terus
merespons pesan lain selama pekerjaan berjalan. Ketika penyedia selesai,
OpenClaw membangunkan agen dengan jalur media yang dihasilkan agar agen dapat memberi tahu
pengguna melalui mode balasan terlihat normal sesi: pengiriman balasan akhir otomatis
jika dikonfigurasi, atau message(action="send") jika sesi mewajibkan
alat pesan. Jika sesi peminta tidak aktif atau pembangkitan aktifnya
gagal, dan sebagian media yang dihasilkan masih tidak ada dalam balasan penyelesaian,
OpenClaw mengirimkan fallback langsung idempoten yang hanya berisi media yang belum terkirim. Media
yang telah dikirimkan oleh balasan penyelesaian tidak dikirim lagi.
Ucapan-ke-teks dan Panggilan Suara
Deepgram, DeepInfra, ElevenLabs, Google, Groq, Mistral, OpenAI, OpenRouter,
SenseAudio, dan xAI semuanya dapat mentranskripsikan audio masuk melalui jalur batch
tools.media.audio jika dikonfigurasi. Plugin saluran yang melakukan pemeriksaan awal terhadap
catatan suara untuk penyaringan penyebutan atau penguraian perintah menandai lampiran yang telah
ditranskripsikan pada konteks masuk, sehingga proses pemahaman media bersama
menggunakan kembali transkrip tersebut alih-alih melakukan panggilan STT kedua untuk audio yang sama.
Deepgram, ElevenLabs, Mistral, OpenAI, dan xAI juga mendaftarkan penyedia STT streaming Panggilan Suara, sehingga audio telepon langsung dapat diteruskan ke vendor yang dipilih tanpa menunggu rekaman selesai.
Untuk percakapan pengguna secara langsung, utamakan mode Talk. Lampiran audio batch tetap berada pada jalur media; waktu nyata peramban, tekan-untuk-bicara bawaan, telepon, dan audio rapat harus menggunakan peristiwa Talk dan katalog dalam cakupan sesi yang dikembalikan oleh Gateway.
Pemetaan penyedia (cara vendor dibagi di berbagai permukaan)
Permukaan gambar, video, musik, TTS batch, STT batch, suara waktu nyata backend, dan pemahaman media.
OpenAI
Permukaan gambar, video, TTS batch, STT batch, STT streaming Panggilan Suara, suara waktu nyata backend, dan embedding memori.
DeepInfra
Permukaan perutean obrolan/model, pembuatan/penyuntingan gambar, teks-ke-video, TTS batch, STT batch, pemahaman media gambar, dan embedding memori. DeepInfra juga menyediakan pemeringkatan ulang, klasifikasi, deteksi objek, dan jenis model bawaan lainnya; OpenClaw belum memiliki kontrak penyedia untuk kategori tersebut, sehingga plugin ini tidak mendaftarkannya.
xAI
Gambar, video, pencarian, eksekusi kode, TTS batch, STT batch, dan STT streaming Panggilan Suara. Suara waktu nyata xAI adalah kemampuan hulu, tetapi belum didaftarkan di OpenClaw hingga kontrak suara waktu nyata bersama dapat merepresentasikannya.
