issues
search
marhaedgh
/
coffit-server
0
stars
0
forks
source link
Inference Server 에 Sampling parameter 적용 이슈
#25
Open
WagyuShark
opened
2 weeks ago
WagyuShark
commented
2 weeks ago
현재 OpenAILike 을 통해 LLM 추론서버를 사용중
Sampling parameter를 요청마다 변경해서 적용할 수 없음
llama Index에서 매 추론 요청마다 Sampling parameter를 포함할 수 있게 하는 함수를 찾아 수정해야함