OpenAI и «Jalapeño» - это не про «еще один чип», а про контроль над инференсом.
OpenAI показала на конференции Hot Chips первые бенчмарки собственного ускорителя для инференса (не обучения) - «Jalapeño». Если цифры подтвердятся, это важный сдвиг: у разработчиков появится еще один рычаг для снижения стоимости ответа и задержек - а значит, меньше зависимости от одного вендора и больше вариантов архитектуры под TCO.
Почему мне это интересно именно как человеку, который строит агентные пайплайны:
- инференс - это «счетчик», который тикает на каждом токене
- латентность напрямую бьет по UX в чат-ботах и цепочках агентов
- конкуренция на железе почти всегда приводит к снижению цены/ватт и цена/токен (со временем).
Но важная оговорка: сейчас это репортинг со стороны и ранние образцы. Рынок любит красивые бенчмарки - а потом выясняется, что сравнивали разные режимы, модели и оптимизации.
Что известно по цифрам: по данным OpenAI, часть прогонов которых проверил SemiAnalysis, Jalapeño дает в 1,5-1,9 раза больше работы на ватт на пиковой нагрузке и в 1,7-3,6 раза меньшую задержку, чем лучшие коммерческие системы, а на GPT-OSS 120B выдает около 1 400 токенов в секунду на пользователя. Чип делали вместе с Broadcom, от начала проекта до производства прошло 16 месяцев. Пока есть только инженерные образцы, в продаже его нет. Подробности - в разборе The Decoder.