Главное в материале

  • Google выпустила TorchTPU как open-source проект — PyTorch-совместимую среду для чипов TPU
  • Amazon днём ранее представила TorchNeuron для чипов Trainium и вносит изменения в основной PyTorch
  • PyTorch, по некоторым оценкам, используется в 85% AI-приложений; обе компании стремятся ослабить позиции Nvidia

Google выпустила TorchTPU

Во вторник, 20 октября, Google объявила, что TorchTPU — её давно ожидаемая версия PyTorch — теперь доступен как проект с открытым исходным кодом. Этим шагом Google присоединяется к Amazon в попытке ослабить доминирование Nvidia в индустрии ИИ, где большинство AI-приложений по умолчанию пишутся для работы на чипах Nvidia (GPU).

Контекст: PyTorch и его связь с Nvidia

PyTorch — популярный open-source инструментарий, который разработчики AI-приложений и стартапы используют для создания, обучения и запуска моделей. По некоторым оценкам, он применяется в 85% AI-приложений. PyTorch был создан Meta (тогда ещё Facebook) в 2016 году, когда чипы Nvidia уже были стандартом для ИИ-исследований, поэтому многие функции библиотеки изначально разрабатывались под них. В 2022 году Meta передала PyTorch фонду Linux Foundation.

Что даёт TorchTPU

TorchTPU позволяет запускать AI-приложения на чипах Google — Tensor Processing Units (TPU) — и упрощает перенос существующих PyTorch-приложений на TPU и, соответственно, в Google Cloud. Разработчикам достаточно изменить конфигурацию, переписывать приложения не нужно.

Ответ Amazon: TorchNeuron

В понедельник Amazon представила собственную версию PyTorch — TorchNeuron, которая позволяет переносить AI-приложения на её собственный чип Trainium и в AWS также без переписывания кода. Amazon заявила, что идёт дальше: компания вносит код в основной проект PyTorch, который отвязывает различные функции от чипов Nvidia, делая библиотеку по умолчанию более открытой к любому оборудованию.

Чем Google усиливает свою позицию

По данным TechCrunch, Google может в чём-то превосходить Amazon: компания заявляет, что работала напрямую с Meta, Hugging Face, Inferact (разработчиком vLLM), RadixArk (разработчиком SGLang) и другими, чтобы функции и библиотеки TorchTPU корректно работали с популярными инструментами разработки, как и оригинальный PyTorch. Кроме того, Google запустила специальный набор инструментов TPU agent suite для переноса приложений на свои чипы и облако с исправлением ошибок по ходу процесса, а также обновила инструмент LiteRT для запуска ИИ на телефонах, ноутбуках и встраиваемых устройствах, чтобы он лучше работал с PyTorch-приложениями.

Оговорка

Как отмечает TechCrunch, всё это не означает, что разработчики AI-приложений автоматически массово откажутся от оборудования Nvidia только потому, что теперь им проще перейти на альтернативные чипы и облака. Однако Amazon и Google явно работают над тем, чтобы ликвидировать преимущество Nvidia.