Главное в материале

  • AWS выпустила TorchNeuron: PyTorch-приложения запускаются на Trainium с изменением одной строки конфигурации, по данным Amazon
  • Amazon заявила о планах внести в PyTorch изменения, отвязывающие фреймворк от привязки к конкретным чипам
  • AWS приводит пример Deepgram: на 70% больше обработанного аудио на доллар при production-качестве

Новый инструмент против программного преимущества Nvidia

В понедельник, 19 октября, Amazon Web Services представила инструмент TorchNeuron, который позволяет AI-стартапам переносить свои приложения на фирменный чип Amazon Trainium. Этим шагом компания атакует программное преимущество Nvidia, благодаря которому её GPU стали выбором по умолчанию для AI-приложений.

Как работает TorchNeuron

TorchNeuron совместим с PyTorch — бесплатным open-source набором инструментов для создания, обучения и запуска AI-моделей. По словам Amazon, приложение на PyTorch можно запустить на Trainium, изменив всего одну строку конфигурации, без переписывания кода. Amazon утверждает, что около 85% AI-приложений написаны на PyTorch. Фреймворк изначально разработала Facebook, а с 2022 года он входит в Linux Foundation. Nvidia годами обеспечивала бесшовную поддержку PyTorch в своей программной инфраструктуре CUDA, поэтому её аппаратура встроена в фреймворк фактически по умолчанию.

Не первая попытка портирования

Amazon не первая компания, упростившая перенос чипов на платформу: пользователи PyTorch и раньше могли перенести приложения на GPU AMD или чипы Apple простой сменой конфигурации. Однако AWS подчёркивает, что перенос на Trainium даёт стартапам доступ ко всей облачной экосистеме Amazon, в отличие от «неоклаудов», привязанных к Nvidia — таких как Coreweave, Nebius и Firmus.

Аргументы AWS

«Вы строите на AWS. Вы не ставите на узкоспециализированного провайдера вычислений и не лихорадочно достраиваете всё остальное вокруг него», — заявил TechCrunch по электронной почте Колин Брейс, вице-президент по технологическому ПО в AWS Annapurna Labs, подразделении, разрабатывающем фирменные чипы Amazon. По его словам, инфраструктура для перехода от прототипа к продакшену уже есть, что позволяет основателям быстро двигаться и масштабироваться. AWS утверждает, что поскольку один и тот же чип обрабатывает и обучение, и инференс, и тесно интегрирован с облачной инфраструктурой, её облако сэкономит стартапам деньги, даже если цена за токен не самая низкая. «Ценность Trainium — это соотношение цены и производительности плюс одна платформа для обучения и инференса, что улучшает экономику полной рабочей нагрузки», — добавил Брейс. Он привёл пример провайдера голосовых AI-приложений Deepgram (конкурент ElevenLabs), который перешёл на Trainium с нативным PyTorch и обрабатывает на 70% больше аудио на доллар при production-качестве.

Изменения в самом PyTorch

Amazon заявила, что не ограничивается удобным переносом на своё облако: компания вносит изменения в основной проект PyTorch, чтобы убрать код, привязывающий фреймворк к конкретным чипам. «Подход Amazon выходит за рамки его собственного оборудования. Компания вносит изменения upstream в сам PyTorch, работая с сообществом PyTorch над удалением кода, привязывающего фреймворк к конкретным чипам. Цель — сделать PyTorch более аппаратно-независимым для всего сообщества разработчиков, а не только для пользователей Trainium», — говорится в блоге Amazon. Брейс назвал это «настоящей историей — устранением lock-in, который не давал разработчикам реального выбора».

Открытые вопросы

TechCrunch отмечает, что одна из задач PyTorch — скрывать сложности запуска AI-кода на оборудовании, и остаётся неясным, даст ли вытеснение Nvidia из фреймворка разработчикам больше выбора и более доступные варианты, как обещает Amazon, или лишь дополнительные трудности с конфигурацией. В то же время, если Amazon удастся отвязать PyTorch от Nvidia, последствия для лидера GPU-рынка могут выйти далеко за рамки конкуренции на уровне чипов.