長いテキストの分割処理

xcd0 commented 1 year ago

長いテキストは送信しても受理されない。また、受理されても処理結果が途切れてしまう。ある程度の長さで分割して投げ、処理結果を結合したい。

必要そうなタスクリスト

形式判別、結合、などの実装はそう難しくない。分割する位置の決定が面倒。問題のある位置で分割しないようにする必要がある。

英文を翻訳させたい場合などではドットで区切れば十分かもしれない。
プログラムにコメントを付与させたい場合などでは、関数の終わりの位置などで分割するのが良さそう。
- どのプログラミング言語に対応するか、は作業量に直結する。
- 既存のOSSに都合の良いものがあれば利用したいところ。
- 自力でパーサーやレキサーを実装する事態は避けたい。とりあえずは始めやすい文章の分割あたりから実装する。

xcd0 commented 1 year ago

AIモデルが更新されgpt-3.5-turboからgpt-3.5-turbo-16kになったため、受理される文字列が長くなった。これにより多少は分割の必要性が下がった。しかし、依然として分割が不要なわけではないので、分割処理を実装したい。

xcd0 commented 1 year ago

とりあえずmarkdownと見なして実装分割位置

但し、<pre>要素内で分割しない様にしたい。単体の<pre>で超えるのは…

xcd0 commented 1 year ago

とりあえずmarkdownだけの対応とした。需要があればcppなども対応する

xcd0 / easygpt