Sh1n0g1 / security_news_matomerukun

9 stars 3 forks source link

This model's maximum context length is 4097 tokens. #4

Open Sh1n0g1 opened 1 year ago

Sh1n0g1 commented 1 year ago

image

Sh1n0g1 commented 1 year ago

ChatGPT3.5のAPIの制限により発生するエラーメッセージです。4096単語以上の記事はこの制限により、要約することができません。ChatGPT4のAPIがリリースするまで待ちましょう。

現状は記事が長すぎる場合は10000文字(≒4000単語)に切り捨てて、エラーが出ないようにしています。 ただし、日本語の記事の場合は1文字1トークンとしてカウントされるため、エラーは引き続き出ます。