search

watanta / MTGA_scrapy

https://mtgarena.pro/decks/?metaをクロールしたい
0 stars 0 forks source link

themeが全部rogueになっている　 #3

Closed watanta closed 5 years ago

watanta commented 5 years ago

各themeになってない。

watanta commented 5 years ago

deckname, deck_url, dateも全て同じ。 for文の中でrequest.metaにitemを渡そうとすると最後のforの要素だけ入るっぽい。

watanta commented 5 years ago

コンストラクタの位置が間違ってた for theme in themes: item = MtgaScrapyItem() item["theme"] = theme.split('/')[2] url = 'https://mtgdecks.net/Standard/' + item["theme"] request = Request(url, callback=self.decks_by_theme) request.meta["item"] = item

        yield request
watanta commented 5 years ago

各themeのdeckのdeckname, deck_urlが同じものになっている

watanta commented 5 years ago

for分のなかでitem = MtgaScrapyItem()するために、request.metaにitemではなくitemの各要素を直接入れた