즉, 해당 Langchain 공식독스에 의하면 우리가 사용하는 SentenceTransformer의 경우 직접 지원을 함.
여기서 추가적으로 생각해볼 수 있는것은
해당 공식독스는 tiktoken, spaCy, NLTK, SentenceTransformer, huggingface 밖에 지원을 안하던데 타 토크나이저는 LangChain에 접붙여서 가용이 안되는가? 우회적으로 huggingface에 업로드하여 사용하는수밖에 없나? 한번 시도해볼만한것 같다.
Retriever에 관한 작업에서는 아래와 같은 중요한 매개변수가 존재한다.
결론적으로 내보이는 내용은 다음과 같다.
이에 따른 솔루션은 아래와 같다 ▼
여기서 추가적으로 생각해볼 수 있는것은
해당 공식독스는 tiktoken, spaCy, NLTK, SentenceTransformer, huggingface 밖에 지원을 안하던데 타 토크나이저는 LangChain에 접붙여서 가용이 안되는가? 우회적으로 huggingface에 업로드하여 사용하는수밖에 없나? 한번 시도해볼만한것 같다.