Ми шукаємо досвідченого AI / ML інженера або Python full-stack розробника, який зможе повністю налаштувати та протестувати локальний голосовий асистент з повним циклом аудіо → обробка → аудіо з затримкою до 1 секунди. Ви відповідатимете за вибір, налаштування та оптимізацію локальної LLM, системи розпізнавання мовлення (STT) та синтезу мовлення (TTS) для досягнення цієї мети на нашому GPU-сервері. Що потрібно зробити Налаштувати та протестувати повністю локальний pipeline, який включає: Локальну мовну модель (LLM) Ви самі обираєте оптимальний варіант (наприклад: LLaMA.cpp, Mistral, Phi-3 тощо) Розпізнавання мовлення в реальному часі (STT) Whisper / FasterWhisper або більш швидкі альтернативи Синтез мовлення (TTS) XTTS, Coqui, Piper, Bark або інші реалістичні рішення Повний цикл: audio-in → LLM → audio-out з загальною затримкою < 1 секунди Провести реальні тести затримки, знайти та оптимізувати вузькі місця Надати повний інсталяційний сетап (Docker або shell-скрипти — прийнятно) Наша система GPU: RTX 4090 ОС: Ubuntu / Linux Інтернет: доступний для завантаження моделей Стек: Python-проєкти — бажано✅ Вимоги Доведений досвід розгортання локальних LLM Глибоке розуміння speech-to-text та text-to-speech Досвід побудови low-latency / real-time pipeline Вміння вимірювати, аналізувати та усувати затримки аудіо Ви самостійно обираєте, обґрунтовуєте та конфігуруєте всі моделі⭐ Буде плюсом, якщо ви: Працювали з перериваними голосовими асистентами (interruptible voice) Маєте досвід з RunPod, Hugging Face Spaces, Ollama, KoboldCPP, Llamafile Уже поєднували Whisper + TTS у системах з низькою затримкою⏱ Терміни та бюджет Старт: якомога швидше (ASAP) Фіксований бюджет: $1000 (вмотивоване підняття бюджету можливе) (за робочий тестовий pipeline + документацію) Подальша співпраця можлива: багатокористувацький voicebot, керування діалогами, масштабування тощо Як податися У заявці, будь ласка, вкажіть: Короткий опис подібних проєктів, які ви вже реалізували Підтвердження, що ви можете самостійно обрати та обґрунтувати LLM + STT + TTS Термін, за який ви зможете надати робочий pipeline з затримкою ≤ 1 секунди