[chat] url contents parsing in user input

[YubinMoon]

유저가 질문을 입력할 때 url을 미리 가져와 내용을 추출해 llm에 전달하는 기능 추가

이점

• 도메인 별 효율적인 parser를 선택해 내용을 추출할 수 있음
• LLM이 다시 url 내용을 호출하는 단계를 줄일 수 있음
• memory에 doc 형태로 저장해 필요할 때 다시 가져올 수 있음
• 작은 내용은 messages에 포함시켜 전달 가능

유의점

• url이 반복 입력됐을 때 memory에 내용이 중복되지 않도록 해야함
• llm이 사용자 입력에 있는 url의 내용을 인지할 수 있도록 프롬프트를 구성해야 함

한계점

• CSR인 페이지는 가져오기 어려움
• 페이지에서 이미지를 추출해 전달하기 까다로움

구현할 내용

• user input에서 url list 추출
• 각 url의 raw data 가져오기
• 각 domain에 맞는 parser 구현
• parsing된 내용을 memory에 저장
• 내용 일부분(description이나 일부 내용)을 systemMessage 형태로 전달

[YubinMoon]

아직 중복 문제 해결 필요

[YubinMoon]

tool을 활용해서 GPT가 url 데이터 요청 시 fast model을 사용해 데이터를 요약하여 전달하기로 변경