Biarkan asisten pemrograman AI mengendalikan desktop secara langsung: alat CLI asli Zig usecomputer open source, kompatibel dengan Claude Code dan Codex

Menurut pemantauan 1M AI News, pengembang sumber terbuka Tommaso De Rossi merilis alat baris perintah otomatisasi desktop usecomputer, yang ditulis dengan Zig sebagai file biner asli, tidak bergantung pada runtime Node.js, memungkinkan asisten pemrograman AI (Claude Code, Codex, OpenCode, dll) mengendalikan mouse, keyboard, dan tangkapan layar desktop secara langsung. Mendukung macOS dan Linux (X11, Wayland melalui XWayland).

usecomputer menyediakan perintah CLI seperti tangkapan layar, gerak/klik/seret/scroll mouse, input keyboard, dan pembuatan shortcut, dilengkapi sistem pemetaan koordinat (coord-map) yang secara otomatis mengonversi koordinat piksel dalam tangkapan layar ke koordinat layar sebenarnya. Output tangkapan layar secara default akan memperkecil sisi terpanjang hingga 1568 piksel agar sesuai dengan jendela konteks model. Alat ini juga mendukung Kitty Graphics Protocol, setelah pengaturan variabel lingkungan, tangkapan layar dapat langsung disisipkan ke dalam konteks model tanpa perlu membaca file tambahan.

De Rossi sebelumnya mengembangkan alat otomatisasi browser Playwriter (lebih dari 3200 bintang di GitHub), usecomputer memperluas otomatisasi dari browser ke otomatisasi desktop. Proyek ini dipisahkan dari repositori tunggal kimaki-nya, dan menyediakan dua cara penggunaan: CLI dan pustaka Node.js. README-nya menyertakan contoh integrasi lengkap untuk alat komputer OpenAI dan penggunaan komputer Anthropic.