hoppiece / anime-tinder

The prototype of matching service between geeks and cartoons.

0 stars 4 forks source link

add crawling anime links #50

Closed hoppiece closed 3 years ago

hoppiece commented 3 years ago

実装概要

Wikipedia に存在するアニメの一覧を取得します。
各年のテレビアニメにあるリンクをたどってアニメの情報を取ってきます。
60ページ程度のクローリングなので許してもらえるはず。
5000件くらいのアニメの情報を取ってこれます。

ジャンルとかの情報はどうしてくれるの？という方は下記のコメントを読んでちょ

{"title": "ダンジョンに出会いを求めるのは間違っているだろうかIV", "url": "https://ja.wikipedia.org//wiki/%E3%83%80%E3%83%B3%E3%82%B8%E3%83%A7%E3%83%B3%E3%81%AB%E5%87%BA%E4%BC%9A%E3%81%84%E3%82%92%E6%B1%82%E3%82%81%E3%82%8B%E3%81%AE%E3%81%AF%E9%96%93%E9%81%95%E3%81%A3%E3%81%A6%E3%81%84%E3%82%8B%E3%81%A0%E3%82%8D%E3%81%86%E3%81%8BIV", "year": "2022"}

How to run

collecting_content/ 配下で

python animeinfocrawl.py > [path to output]

でjsonが得られます。このjsonファイルは可読性重視でUTF-8 なので注意。

comment

5000件一気にクロールするのはちょっと良くないので(?)ジャンルとか出演者の情報はその都度クローリングするようにしたほうが良いかもしれない。つまり、データベースに詳細情報がなかった場合にWikipedia を探しに行って、データベースに書き加えておくというような。ただ本番までにこれ実装するのは面倒だと思うので、もう少しいい方法を考えます。
5秒おきにクロールするとかなら許してもらえるかも。
ウィキペディアのダンプファイル(クロールしないでね、代わりにwikipediaの全データダウンロードできるよ、っていうファイル)からあらすじの文字列とかを掘ってこれそうなので、そこから頑張ってジャンルとか出演者の情報を取ってこれるかも。