Together AI привлекла ИИ-агентов для GPU-кода, который обслуживает её инфраструктуру инференса: агенты могут переписывать и оптимизировать низкоуровневые участки, но право отправить изменения в продакшен осталось у людей. Это важный сигнал для команд, работающих с дорогими ускорителями: автоматизация уже добралась до кода, где одна неудачная правка способна стоить не только нескольких упавших тестов, но и заметной доли GPU-кластера.
О подходе компании сообщает The New Stack. В центре истории не обещание «автономной разработки», а вполне приземлённое разделение ролей: агент ищет варианты оптимизации и готовит изменения, инженер проверяет результат и принимает решение о развёртывании. Together AI использует такой режим для GPU-кода, от которого зависит производительность инференсной платформы.
Для инфраструктурных команд это существенно именно из-за характера задачи. Прикладной код часто можно ускорить добавлением серверов или масштабированием очереди. С GPU-инференсом так не получится: цена ошибки выше, а результат определяется множеством мелочей — раскладкой данных в памяти, размером батча, синхронизацией потоков, выбором ядер и особенностями конкретного ускорителя. Патч, который выглядит аккуратно в диффе, способен ухудшить задержки, снизить пропускную способность или проявить ошибку лишь под реальной нагрузкой.
ИИ-агенты для GPU в такой схеме не заменяют инженера, который знает профиль нагрузки и ограничения сервиса. Они превращаются в инструмент перебора гипотез. Агенту можно поручить изучить участок кода, предложить переписывание и подготовить набор изменений; человеку остаётся проверить корректность, воспроизводимость бенчмарков, влияние на стоимость запроса и риски эксплуатации. Это ближе к сильному помощнику по производительности, чем к кнопке «сделать быстрее».
Самое показательное решение Together AI — сохранить человеческий контроль над деплоем. В разговорах об агентной разработке обычно быстрее всего исчезает именно этот последний шаг: если модель создала патч и тесты прошли, возникает соблазн замкнуть цикл. Но тестовый прогон не равен безопасному запуску в инфраструктуре инференса. Даже хороший набор тестов может не покрыть редкую конфигурацию модели, нестабильный профиль запросов, длительную работу процесса или эффект от соседних задач на том же оборудовании.
Поэтому в рабочем процессе важны не только способности агента писать код. Нужны измеримые критерии: какие метрики считаются улучшением, на каком железе проводится сравнение, какой разброс результатов допустим, что станет причиной отката. Для GPU-оптимизации особенно полезны независимые прогоны и сравнение не одного красивого числа, а нескольких показателей: задержки, пропускной способности, потребления памяти и устойчивости под нагрузкой. Иначе агент может честно оптимизировать метрику, которую команда выбрала слишком узко.
В этом смысле история Together AI продолжает более широкий тренд: кодогенерация постепенно смещается от пользовательских интерфейсов и типовых сервисов к инфраструктурному и производительному коду. Там ценность потенциально выше, потому что небольшой выигрыш повторяется на огромном числе запросов. Но и требования к проверке жёстче. Если ошибка в административной форме раздражает пользователя, ошибка в горячем пути инференса может затронуть весь сервис.
Для российских разработчиков и технических руководителей здесь нет необходимости немедленно отдавать агентам CUDA-ядра или критичные оптимизации. Практичнее начать с ограниченного контура: поручать агенту анализ профиля, подготовку альтернативных реализаций, генерацию тестов и документации к изменениям. В продакшен стоит пропускать лишь те патчи, для которых есть понятный владелец, воспроизводимый бенчмарк и простой откат. Такой процесс полезен и без сверхкрупного GPU-парка: он дисциплинирует работу с любыми дорогими вычислениями.
Бизнесу важно не перепутать скорость подготовки изменений со скоростью получения результата. Агент способен сократить время между идеей и первым вариантом патча, но не отменяет стоимость валидации. Наоборот, чем дешевле становится генерация вариантов, тем важнее становятся очереди на ревью, стенды и качественная наблюдаемость. Команда, которая заранее определила, что именно проверяет, выиграет от автоматизации заметно больше команды, просто увеличившей число сгенерированных диффов.
Подход Together AI задаёт, вероятно, наиболее реалистичную модель на ближайшее время: ИИ-агенты для GPU берут на себя поиск и реализацию части оптимизаций, а ответственность за изменение работающей системы остаётся у инженеров. Открытым остаётся вопрос масштаба: когда такие агенты научатся стабильно доказывать пользу правок на реальных нагрузках, граница человеческого контроля может сдвинуться. Но кнопка деплоя пока остаётся тем местом, где автоматизации приходится встречаться с инженерной ответственностью.
