ハッピーメール対応

[tsu-nera]

ログイン突破しても、掲示板のページをGET Requestすると、再びログインを求められて失敗する。splash のヘッドレスブラウザが必要なのか？少し時間がかかりそう。

[tsu-nera]

ハッピーメールはJSのシミュレートが必要。Seleniumをつかえばできるのだが、それだとScrapingHubに載せることができないため、今回はSeleniumを利用しない。かわりに、Splashを利用する

ドキュメントはここ https://splash.readthedocs.io/en/stable/index.html

[tsu-nera]

ハッピーメールは取得レコードが300ほどに制限があるっぽい。

[tsu-nera]

エリアの変更をすると、splashサーバでエラーが発生する。

QIODevice::write (QSslSocket): device not open

どうもOSレベルのエラーなので難しそう。地域の変更は手動で実施で。

[tsu-nera]

さっきまで動いてたread_boardも動かなくなった。 device not open ってなんなんだ。

[tsu-nera]

issue発見 scrapinghub/splash 602

[tsu-nera]

splashくそだな。seleniumで書き直そう。1日無駄になった。

[tsu-nera]

なんでさっきまで動いていたものが、時間をおくと全く動かなくなるんだ。くそすぎる。

[tsu-nera]

1日分の全書き直しはつらい。こっちも暇じゃないんで。