Главное в материале

  • Block представила полнодуплексную голосовую модель Dessa, обученную полностью на человеческой речи на одной стойке NVIDIA GPU
  • Модель работает локально на потребительских компьютерах уровня MacBook M4 Max и выше, публичный доступ пока закрыт
  • Block приглашает исследователей по безопасности протестировать модель; Square уже использует голосовой ИИ для обработки заказов

Block выпустила голосовую модель Dessa

Компания Block, основанная Джеком Дорси, представила новую голосовую модель Dessa, разработанную в исследовательской лаборатории компании. По данным TechCrunch, модель работает локально и звучит на удивление по-человечески: она выражает эмоции с помощью смеха, пауз и даже плача. Компания заявила, что Dessa обучена полностью на человеческой речи с использованием одной стойки GPU NVIDIA.

Полнодуплексная архитектура без текстового конвейера

Dessa — полнодуплексная модель: она может одновременно говорить и слушать, как модель GPT-Live, которую OpenAI выпустила ранее в этом году. Обычно речевые модели paired с большой языковой моделью для поиска знаний, но Block утверждает, что знания Dessa происходят из её разговорных данных. По словам компании, существующие модели звучат неестественно, потому что в их конвейере есть текст, управляющий генерацией речи; такие модели, как ElevenLabs v4 или Fish Audio Drama 3, используют голосовые теги для передачи эмоций. Block утверждает, что эмоции встроены в её модель, однако TechCrunch отмечает, что неясно, управляются ли они какими-то тегами.

Демонстрации и критика текущих голосовых ИИ

В блоге Block заявила: «Взаимодействие с текущим голосовым ИИ может быть просто ужасным. Он превращает ваш голос в текст и выбрасывает огромное количество информации, которую текст сам по себе не может передать. Самые мощные ИИ в мире не могут услышать, как вы себя чувствуете». Исследователи компании опубликовали несколько примеров разговоров с Dessa, где модель использовала разные голоса, интонации и эмоции: в одном диалоге бот говорил, что устал от работы, и звучал уставшим; в другом — почти срывался на эмоциях; в третьем сотрудник Block играл с ассистентом в угадывающую игру, которую модель быстро разгадывала. Джек Дорси написал в X, что «разговор с ней ощущается как разговор с человеком… полный эмоций, нюансов, пауз и естественного ритма». Исследователь Ragavan Thurairatnam назвал Dessa «моментом GPT-3 для речи».

Локальный запуск и доступ

По словам компании, модель может работать локально на потребительском компьютере, таком как MacBook M4 Max или лучше. Публичного доступа к Dessa пока нет: Block пригласила исследователей по безопасности протестировать модель — вероятно, чтобы проверить случаи, когда голосовой агент может обманывать собеседника.

Значение для бизнеса Block

Block работает в финансовой сфере и продаёт решения малому бизнесу; Square уже использует голосовой ИИ для обработки заказов. Собственная модель, работающая на устройстве, позволит компании развивать больше бизнес- и потребительских сценариев при меньших затратах. Редакционно: анонс примечателен тем, что Dessa обучена без текстового промежуточного слоя, но ключевые заявления Block — о «встроенных» эмоциях и качестве звучания — пока подтверждены только собственными демонстрациями компании, а независимая проверка ограничена закрытым доступом. Неизвестно также, как модель масштабируется за пределами одной GPU-стойки и когда появится публичный доступ.