nakashima723
commented
1 year ago クローラには、検索語を追加・保存する機能が必要です。
検索語はjson形式で保存・管理します。以下のようなフォーマットで考えます。
{
"all-age-queries" : ["勇者のクズ", "ほにゃほにゃ" ,"へにょへにょ" ],
"r18-queries" : [ "ほげほげ", "もにゃもにゃ" ]
}なんらかの理由でクロールが中断したとき、途中から再開する機能があってもいいかもしれませんが、かなり大量の作品（検索語）をかかえる場合にしか必要ないと思われるので、ひとまず置いておきます。
各スクレイパーは一定時間ごとに起動させ、抽出したデータを整理して保存しておく必要があります。 別々のサイトで同じ内容のTorrentファイルがアップされていた場合、重複を防ぐ処理も必要です。