search

nanashi-byakuren / poverty-reddit-bot

機能が貧弱なRedditのbot
MIT License
0 stars 0 forks source link

いまいちリンク先の最終更新日がとれていない #1

Open nanashi-byakuren opened 3 years ago

nanashi-byakuren commented 3 years ago

全然とれてない

2021-01-30 21:58:52 [root] INFO: 東京ガスの乙女ゲー風入浴アプリでメアド1万件流出, last_modified None
2021-01-30 21:58:54 [root] INFO: 日本人は“死にたい”と訴える患者と正しく向き合えるのか…闘病生活の末に安楽死を決断した女性と考える, last_modified None
2021-01-30 21:58:59 [root] INFO: 女子陸上選手はなぜ“セパレート型”ユニフォームを着る？ 努力を踏みにじる「性的画像撮影」の卑劣さ - 陸上 - Number Web, last_modified None
2021-01-30 21:59:06 [root] INFO: Qアノン信奉者の共和党新人議員、ペロシ氏殺害支持するSNS投稿で窮地, last_modified None
2021-01-30 21:59:12 [root] INFO: [去年の記事] 新型コロナ「ＳＡＲＳより感染力が強い」2020年1月29日, last_modified None
2021-01-30 21:59:19 [root] INFO: キングコングの西野亮廣が吉本興業を退社「プペル」宣伝めぐり対立 - ライブドアニュース, last_modified None
2021-01-30 21:59:19 [root] INFO: 仏大統領「ワクチン効果ない」 アストラゼネカ製、高齢者接種で, last_modified None
2021-01-30 21:59:26 [root] INFO: 注目の音声SNS「Clubhouse」の問題・課題を考える(塚越健司) - 個人, last_modified None
2021-01-30 21:59:34 [root] INFO: 『鬼滅の刃』が韓国で公開初日から観客動員ダントツ1位になった理由（金 敬哲）, last_modified None
2021-01-30 21:59:41 [root] INFO: 福島第１原発処理水 東電がタンク増設検討 政府の方針決定遅れで, last_modified None
2021-01-30 21:59:41 [root] INFO: 東京都で新たに769人の感染確認 重症者は6人減の141人, last_modified None
2021-01-30 21:59:44 [scrapy.extensions.logstats] INFO: Crawled 21 pages (at 21 pages/min), scraped 0 items (at 0 items/min)
2021-01-30 21:59:48 [root] INFO: ブリーダーが飼育放棄した猫が産んだ子猫たち 兄弟の強い絆を感じる2匹だった 里親になった春日さん「どんなことがあっても、この子達を守るために自分達が強くなろう」, last_modified None
2021-01-30 21:59:54 [root] INFO: 「NHKスペシャル」「クローズアップ現代」が“上から”の指示で番組改変!?, last_modified None
2021-01-30 21:59:59 [root] INFO: 「緊急事態宣言」延長へ 1カ月程度で検討[2021/01/30 11:24], last_modified None
2021-01-30 22:00:05 [root] INFO: 帰れない船乗り40万人 なぜ？ 物流支える商船員の交代問題 下船しても苦難の道のり, last_modified None
2021-01-30 22:00:09 [root] INFO: ポテチの袋で寝袋作り、環境活動家がホームレス支援の取り組み 米デトロイト, last_modified None
2021-01-30 22:00:28 [root] INFO: 米史上2人目の「カトリック系大統領」誕生から考える、現代アメリカの宗教観, last_modified None

全部スクレイピングするのは流石に手間がかかりすぎるので、ニュースを取得したサイトのsitemap.xmlを見に行って対象URLの最終更新日を見ることにする

参考

nanashi-byakuren commented 3 years ago

取れるようになってきた

2021-01-31 11:17:27 [root] INFO: 東京ガスの乙女ゲー風入浴アプリでメアド1万件流出, url: https://this.kiji.is/728222578707513344, last_modified 2021-01-30T14:03:32+00:00
2021-01-31 11:17:41 [root] INFO: 女子陸上選手はなぜ“セパレート型”ユニフォームを着る？ 努力を踏みにじる「性的画像撮影」の卑劣さ - 陸上 - Number Web, url: https://number.bunshun.jp/articles/-/846814, last_modified 2021-01-31T07:49:04+09:00
2021-01-31 11:18:30 [root] INFO: ブリーダーが飼育放棄した猫が産んだ子猫たち 兄弟の強い絆を感じる2匹だった 里親になった春日さん「どんなことがあっても、この子達を守るために自分達が強くなろう」, url: https://maidonanews.jp/article/14099137, last_modified 2021-01-30T16:45:43+09:00
2021-01-31 11:18:37 [root] INFO: 「NHKスペシャル」「クローズアップ現代」が“上から”の指示で番組改変!?, url: https://hbol.jp/237978, last_modified 2021-01-30T08:32:09+09:00