Инженер запустил голосового ИИ-бота на чемодане с Nvidia Jetson — работает офлайн

Если вы мечтаете о быстром, способном и амбициозном ИИ-компаньоне, который будет сопровождать вас везде, даже без Wi-Fi и сотовой сети, пользователь Reddit CreativelyBankrupt уже собрал то, что вам нужно. Энтузиаст локальных моделей создал робота-чемодан на базе Nvidia Jetson Orin NX Super 16GB под названием Sparky. Он работает полностью офлайн, запускает Gemma 4 E4B прямо на железе, оснащён более чем 30 датчиками и, что главное, имеет собственное мнение на всё. Впечатление о чём это означает вы можете получить из видео: огромные подвижные глаза, встроенные прямо в крышку чемодана.

В сообществе r/LocalLLaMA CreativelyBankrupt описал конструкцию этого необычного цифрового помощника. Sparky полностью работает на Jetson — на Gemma 4 E4B, квантизированной до Q4_K_M через llama.cpp с KV-кешем Q8 и Flash Attention. Контекст разговора держится на 12 тысячах токенов, включая системные инструкции. Плюс ко всему 30+ датчиков дают роботу полное представление об окружающем мире, куда бы его ни отнесли.

С точки зрения производительности результаты впечатляют. Time To First Token (время до первого токена ответа) составляет примерно 200 миллисекунд — робот начинает отвечать практически мгновенно. Дальше Sparky генерирует около 14–15 токенов в секунду. При этом ответы звучат естественно: для распознавания речи используется SenseVoiceSmall, для синтеза — Piper. Анимация рта синхронизируется с PixiJS-лицом и обновляется на частоте 43 Гц.

CreativelyBankrupt отметил, что в Gemma 4 встроена поддержка зрения и OCR, поэтому робот может анализировать фотографии и текст напрямую. Управляется Sparky через ряд кнопок, джойстик и аналоговый энкодер, так что все возможности разговора доступны без простых команд.

Создатель рассказал о Sparky в Reddit, первоначально ища советы по оптимизации Gemma 4 E4B на Jetson. Но сообщество ответило в основном восхищением: проект назвали крутым, очаровательным, кошмарно забавным. Запаковать полнофункциональную локальную LLM в мобильный чемодан с собственной личностью — идея, которая явно нашла своих почитателей.