Главное в материале
- OpenAI открыла Decisions API всем клиентам; модель построена на ChatGPT Luna с ускоренным инференсом (100–180 мс вместо 1–3 с)
- Рынок создала модель Jev стартапа TypeSafe (оценка $7,6 млрд); в бенчмарках AIM System One Index и Artificial Analysis Decision Index лидируют D1 Ultra (Liquid) и Elephant-1 (Base Lab), OpenAI — 8-е и 14-е места
- В испытаниях с Box, Datadog, Ramp и Speak API сократил задержки: у Speak с 1,4 с до 0,13 с
OpenAI выходит на рынок моделей решений
OpenAI впервые сделала свою модель Decisions API общедоступной, выйдя на рынок быстрого и дешёвого «интеллекта для принятия решений». Этот сегмент создала модель Jev стартапа TypeSafe, основанного бывшим исследователем OpenAI, — благодаря ей компания была оценена в $7,6 млрд. Модели такого класса, называемые также System One, действуют как «суперклассификаторы»: по набору вариантов они быстро делают выбор и выдают оценку уверенности. Разработчики обнаружили, что такие модели могут заменять LLM во многих рабочих процессах, работая быстрее и значительно дешевле.
Как OpenAI создала свой аналог
Продуктовый лидер API OpenAI Никунж Ханда рассказал TechCrunch, что коллеги, увидев Jev, решили, что у них «миллион сценариев использования» для такой технологии. Вместо создания специально калиброванной модели решений команда взяла ChatGPT Luna и перенастроила её для ускорения инференса и снижения стоимости. «Главным прорывом Decisions API стала скорость: сокращение с одной-трёх секунд до 100, 120, 180 миллисекунд», — сказал Ханда, добавив, что в будущем возможна специализированная тренировка моделей, но пока «это обычная Luna, которая справляется с задачей».
Развёртывание и первые клиенты
Decisions API была анонсирована на дне разработчика OpenAI 29 сентября, а в четверг стала доступна всем клиентам. В публичную версию добавлены голосовые и визуальные модальности, а инференс-ресурсы географически распределены для снижения задержек в разных регионах. В первоначальных испытаниях с Box, Datadog, Ramp и Speak инженеры использовали API для замены LLM OpenAI с большей пропускной способностью. CTO Speak (разработчика ИИ-репетиторов языков) Эндрю Хсу сообщил, что API сократил время между действиями с 1,4 секунды до 0,13 секунды. OpenAI также применила продукт для отзывчивости своего голосового ассистента Dots.
Бенчмарки и конкуренция
Единого критерия «хорошей» модели решений нет — оптимизация по интеллекту, стоимости, калибровке и скорости зависит от задачи. CEO TypeSafe Диогу Алмейда не доверяет бенчмаркам и призывает тестировать модели в собственной работе, однако и TypeSafe на прошлой неделе опубликовала собственный рейтинг вместе с релизом новой версии Jev. Публичные бенчмарки AIM System One Index и Artificial Analysis Decision Index отдают предпочтение D1 Ultra от Liquid (выпущена на прошлой неделе) и Elephant-1 от Base Lab. Новейшая Jev занимает седьмое и третье места соответственно, модель OpenAI — восьмое и четырнадцатое. При этом предложения TypeSafe пока наиболее запрашиваемые на OpenRouter. В игровом бенчмарке JevMan, где модели играют в PacMan, лидирует последняя Jev; Феликс Вундерлих из Opper AI, создавшей бенчмарк, отметил, что игра «интересный тест из-за непрерывного потока быстрых решений с высокими ставками».
Преимущества OpenAI и перспективы
Преимуществом более мощной модели OpenAI может быть мультимодальность: по словам Ханды, в классификации изображений «Luna чрезвычайно мощная и показывает лучшую калибровку». Клиенты также просят больше гибкости в использовании изображений как выходных данных. Ханда видит потенциал в дальнейшем ускорении: «Можем ли мы дойти до 60 миллисекунд — и тогда можно представить API-вызов для каждого кадра видео». По мере удешевления и ускорения таких моделей, как отмечает TechCrunch, они могут оправдать имя Jev, данное в честь экономиста, предсказавшего, что дешёвый товар становится только более повсеместным.
