JunTingLin / shopee_crawler

1 stars 0 forks source link

請問一下。stop.txt的用意是? #3

Open arguskao opened 1 year ago

arguskao commented 1 year ago

我有嘗試了一下,如果我設定pages比較多頁,即使已經找不到產品,仍然會繼續往下找...

JunTingLin commented 1 year ago

因為我後續有使用圓餅圖擷取最常出現的關鍵詞,所以使用stop.txt停用詞來過濾不需要納入的詞彙。 stop.txt是for organize_data.py的,假如純粹只是要爬回資料shapee.py應該就夠了。 至於你說的pages設比較多頁仍然會繼續往下找,這部分的確是這樣,我沒有再做進一步的處理,可能可以考慮放著讓它跑完或是pages設小一點。