12.мая.2026
Короткий промпт ≠ дешёвый промпт: как оптимизация ломает prefix cache в LLM-агентах
32 tools в промпте - дешевле, чем 7. Да, да - если вы строите агентов, это не опечатка. Это следствие того, как работает prefix cache в агентском цикле, и почему локальная оптимизация одного запроса ломает кэш на всей траектории. Третья статья серии про prefix caching - теперь про этих ваших агентов. Читать далее
Название: Короткий промпт ≠ дешёвый промпт: как оптимизация ломает prefix cache в LLM-агентах
Ссылка на источник:
https://habr.com/ru/companies/bitrix/articles/1033822/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1033822