gengogo5 / general_crawler

汎用クローラのプロトタイプ
0 stars 0 forks source link

ルール取得部分の共通化を考える #27

Open gengogo5 opened 4 years ago

gengogo5 commented 4 years ago

サイトマップ、RSS、トップページの3種類のクロールロジックごとに、 複数のルールを引数から取得している。

パラメータからルールを取り出すだけのクラスを用意したほうが見通しが良いかもしれない。 一方で、必須・任意の管理まで移譲してしまうかどうかはもう少し考える。

必須・任意はバックエンド側で担保してもらうという考え方もあり。