search

aws-samples / jp-rag-sample

このソリューションは AWS 上で検索用途の Retrieval Augmented Generation (RAG) を構築するサンプルコードです。
MIT No Attribution
99 stars 9 forks source link

[Feature Request] Claude Instant 対応 #13

Closed maekawataiki closed 1 year ago

maekawataiki commented 1 year ago

RAG においては Claude Instant でも十分要約と出典のリストが可能なためレイテンシとコストの低い Claude Instant のサポートもあると良い。

ysekiy commented 1 year ago

料金の差

instant のほうが安い https://aws.amazon.com/jp/bedrock/pricing/?nc1=h_ls Screenshot 2023-10-09 at 11 32 30

レイテンシー

low-latency との触れ込みがある Screenshot 2023-10-09 at 11 34 09

たしかに、 https://github.com/ysekiy/jp-rag-sample/blob/d32c6c034304f8c20933b6896ef51f60aef08[…]y/backend/api/fargate/src/langchain/app/chain/claude_bedrock.py

を変えて、defaultをinstantにしておくほうが良さそうですね。

ysekiy commented 1 year ago

https://github.com/aws-samples/jp-rag-sample/pull/16

dry-run&approve おねしゃす。