Согласно мониторингу 1M AI News, открытый разработчик Томмазо Де Россі выпустил инструмент командной строки для автоматизации рабочего стола usecomputer, написанный на Zig в виде нативного двоичного файла, не зависящий от среды выполнения Node.js, что позволяет помощникам по программированию на AI (Claude Code, Codex, OpenCode и др.) напрямую управлять мышью, клавиатурой и делать скриншоты на рабочем столе. Поддерживаются macOS и Linux (X11, Wayland через совместимость с XWayland).
usecomputer предоставляет команды CLI для снятия скриншотов, перемещения/клика/перетаскивания/прокрутки мыши, ввода с клавиатуры и создания горячих клавиш, а также включает систему отображения координат (coord-map), автоматически преобразующую пиксельные координаты в скриншоте в реальные координаты экрана. По умолчанию вывод скриншота масштабируется так, чтобы его самая длинная сторона была 1568 пикселей, что подходит для контекстных окон модели. Инструмент также поддерживает протокол Kitty Graphics Protocol: после установки переменных окружения скриншоты могут быть встроены прямо в контекст модели без необходимости дополнительного чтения файлов.
Ранее Де Россі разработал инструмент автоматизации браузера Playwriter (более 3200 звезд на GitHub), и usecomputer расширяет автоматизацию с браузера на автоматизацию рабочего стола. Проект выделен из его единого репозитория kimaki и доступен в двух форматах: командная строка и библиотека для Node.js. В README приведены полные примеры интеграции с инструментами OpenAI computer и Anthropic computer.