링크 내 콘텐츠 읽기

[NeuroWhAI]

사용자가 링크를 주면서 여기의 콘텐츠와 관련된 대화를 하고 싶어하는 경우가 종종 있는데 현재는 지원하지 않음. HTML 읽어서 지원하는 건 크게 어렵진 않으나 동적 콘텐츠는 좀 어렵고 토큰 소모가 큰 문제가 있음. 토큰 소모는 좀 더 일반 텍스트스럽게 추출해주는 도구를 쓰면 좋을 것 같고 동적 콘텐츠는 브라우징이 필요함.

[NeuroWhAI]

Turndown 같은 라이브러리로 Markdown으로 바꾸면 일단 좀 토큰 줄지 않을까.

[NeuroWhAI]

https://github.com/jina-ai/reader

이거 알아보자.