Мы работаем для Вас!

20.апр.2026

Как подключить Langfuse к LLM через JWT?

Langfuse, помимо трассирования запросов, удобно использовать для prompt management и LLM-as-a-judge.  Но в закрытой корпоративной среде он упирается в простую вещь:  LF работает со статическим API key, а ваш LLM gateway — нет. То есть gateway требует короткоживущий JWT, а Langfuse не умеет его получать.  И в этот момент интеграция ломается.Мы столкнулись именно с такой ситуацией. Модели self-hosted, OpenAI подобный API, но для доступа к нему на каждый запрос нужен JWT, который выдаётся централизованным провайдером. Langfuse в LLM Connection умеет передать API key и заголовки, но не сможет сам сходить в auth-сервис, получить временный токен и подставить его в запрос.В этой статье я рассказываю о своем опыте решения этой проблемы на продакшен уровне.  Читать далее
Название: Как подключить Langfuse к LLM через JWT?
Ссылка на источник:  https://habr.com/ru/articles/1025168/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1025168