Короткий промпт ≠ дешёвый промпт: как оптимизация ломает prefix cache в LLM-агентах
Купить в 1 клик

Не хватает прав доступа к веб-форме.

Спасибо за заказ!
Ошибка!
В ближайшее время наш менеджер свяжется с вами.

Мы работаем для Вас!

Время работы:  Пн-Пт   10 -17; Сб.-Вск  выходной

1280x800 532x281
12.мая.2026

Короткий промпт ≠ дешёвый промпт: как оптимизация ломает prefix cache в LLM-агентах

32 tools в промпте - дешевле, чем 7. Да, да - если вы строите агентов, это не опечатка. Это следствие того, как работает prefix cache в агентском цикле, и почему локальная оптимизация одного запроса ломает кэш на всей траектории. Третья статья серии про prefix caching - теперь про этих ваших агентов. Читать далее

Название: Короткий промпт ≠ дешёвый промпт: как оптимизация ломает prefix cache в LLM-агентах
Ссылка на источник:  https://habr.com/ru/companies/bitrix/articles/1033822/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1033822

Возврат к списку