ai-forever / gigachain

⚡ Набор решений для разработки LLM-приложений на русском языке с поддержкой GigaChat ⚡
MIT License
322 stars 37 forks source link

Повторно выполняется авторизация при использовании configurable_fields #174

Closed andreizverev closed 3 months ago

andreizverev commented 3 months ago

Если использовать GigaChat через configurable_fields, то авторизация выполняется повторно при передаче кастомного параметра. Например:

model = GigaChat().configurable_fields(
    temperature=ConfigurableField(
        id="temperature",
        name="LLM Temperature",
        description="The temperature of the LLM",
    )
)
prompt = PromptTemplate.from_template("Pick a random number above {x}")
chain = prompt | model

#Авторизация выполняется первый раз
chain.invoke({"x": 0})
#Авторизация выполняется второй раз
chain.invoke({"x": 0}, config={"configurable": {"temperature": 0.9}})
Rai220 commented 3 months ago

Да, на данный момент это особенность реализации работы configurable полей - они пересоздают соединение с моделью. В будущих версиях попробуем это исправить.