1ヶ月分のCSVをlocal、heroku共に取得する

[yusuko]

What

CSVのデータサイズが大きい時に、ループをかなり回す必要があるという仮説が生まれた。 その仮説のもと

• どのリクエストをループさせるか
• 何回までループさせるのか
• Herokuでのエラーは起きないか

等を確認する。

HerokuにてPlayer_twiのcsvデータが１ヶ月分取れたらissue closed

Summary

https://github.com/ookamiinc/twitter-analytics-acquirer/issues/16 にてデータの書き込みを分割したところ、localとherokuにて10月分のデータ取得&書き込みに成功した。

プロセスにおいて主に２つの点を改善した。

• データの取得
  • アナリティクスデータはデータが大きいため、リクエストを多く送らないとデータを取れない仕様になっていた。Chromeの検証機能で確認した。
  • 上記より、スクレイピングシステム上ではloop回数を最大80回にすることで対応した。(10月のPlayer_twiが55回ほど)
  • データの書き込み
    • データが大きい時、google_driveのlibrary(gem)にてメモリ落ちが発生していた。 https://github.com/ookamiinc/twitter-analytics-acquirer/issues/13#issuecomment-435862459
    • データを分割して、50件ずつ保存することで対応した。

[yusuko]

行うことを分解する

• データを固定する
  • 1ヶ月の分で設定
• ループを50にして設定する
  • localで取得できるか
  • 取得できた場合は、ループ数を減らして実験を繰り返す
• ループ自体の変更も試みる
• 最低値がわかった段階で、メモ。herokuにて同様の実験を行う

[yusuko]

1回目の実験結果(ループ50回)

• https://github.com/ookamiinc/twitter-analytics-acquirer/pull/14/commits/c777a72493d76b90b3f3248009a1532c931482ac でlocalで実行

• @Playerapp_vbは11回目で取得(90行)

• @Playerapp_yakyuは20回目で取得(578行)

• @Playerapp_cbskは3回目で取得(54行)

• @Playerapp_wbskは5回目で取得(109行)

• @Playerapp_tnsは2回目で取得(23行)

• @rugby_girl13は50回ループしたが取得はできなかった。

結果として下記のエラーがでた。 おそらくnilであるからでたエラーであると思う。

/Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:218:in `check_status': Invalid request (Google::Apis::ClientError)
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:183:in `process_response'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:299:in `execute_once'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:104:in `block (2 levels) in execute'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:61:in `block in retriable'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `times'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `retriable'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:101:in `block in execute'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:61:in `block in retriable'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `times'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `retriable'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:93:in `execute'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/base_service.rb:360:in `execute_or_queue_command'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/base_service.rb:252:in `http'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/api_client_fetcher.rb:49:in `request_raw'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/session.rb:623:in `block in request'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/session.rb:622:in `loop'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/session.rb:622:in `request'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/worksheet.rb:338:in `save'
    from /Users/anzaiyuusuke/Desktop/rails/twitter-analytics-acquirer/google_sheet_client.rb:22:in `write_in_spreadsheet'
    from script.rb:15:in `block in <main>'
    from script.rb:10:in `each'
    from script.rb:10:in `<main>'/Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:218:in `check_status': Invalid request (Google::Apis::ClientError)
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:183:in `process_response'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:299:in `execute_once'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:104:in `block (2 levels) in execute'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:61:in `block in retriable'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `times'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `retriable'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:101:in `block in execute'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:61:in `block in retriable'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `times'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `retriable'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:93:in `execute'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/base_service.rb:360:in `execute_or_queue_command'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/base_service.rb:252:in `http'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/api_client_fetcher.rb:49:in `request_raw'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/session.rb:623:in `block in request'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/session.rb:622:in `loop'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/session.rb:622:in `request'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/worksheet.rb:338:in `save'
    from /Users/anzaiyuusuke/Desktop/rails/twitter-analytics-acquirer/google_sheet_client.rb:22:in `write_in_spreadsheet'
    from script.rb:15:in `block in <main>'
    from script.rb:10:in `each'
    from script.rb:10:in `<main>'

[nafu]

retryの間隔ってどれくらいにしてる？

スパム判定防止のためにも、retryの間隔は空けたほうが良いかもね

[yusuko]

特に気にしていなかったです。 以後気をつけます！

１時間毎くらいにしますね。

[yusuko]

2回目の実験結果(ループ80回)

• localで実行

• @Playerapp_vbは4回目で取得(90行)

• @Playerapp_yakyuは21回目で取得(578行)

• @Playerapp_cbskは3回目で取得(54行)

• @Playerapp_wbskは5回目で取得(109行)

• @Playerapp_tnsは2回目で取得(23行)

• @rugby_girl13は7回で取得

• @hir0shima_carpは17回で取得

• @Player_twiは75回目で取得

ただし、Player_twiに書き込む途中で下記のエラーがでた。(メモリ落ちのエラー)

/Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient/session.rb:524:in `rescue in query': HTTPClient::KeepAliveDisconnected: Broken pipe (HTTPClient::KeepAliveDisconnected)
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient/session.rb:514:in `query'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient/session.rb:177:in `query'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:1242:in `do_get_block'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:1019:in `block in do_request'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:1138:in `rescue in protect_keep_alive_disconnected'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:1131:in `protect_keep_alive_disconnected'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:1014:in `do_request'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:1104:in `follow_redirect'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:854:in `request'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:291:in `execute_once'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:104:in `block (2 levels) in execute'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:61:in `block in retriable'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `times'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `retriable'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:101:in `block in execute'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:61:in `block in retriable'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `times'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `retriable'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:93:in `execute'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/base_service.rb:360:in `execute_or_queue_command'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/base_service.rb:252:in `http'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/api_client_fetcher.rb:49:in `request_raw'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/session.rb:623:in `block in request'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/session.rb:622:in `loop'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/session.rb:622:in `request'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/worksheet.rb:413:in `save'
    from /Users/anzaiyuusuke/Desktop/rails/twitter-analytics-acquirer/google_sheet_client.rb:22:in `write_in_spreadsheet'
    from script.rb:15:in `block in <main>'
    from script.rb:10:in `each'
    from script.rb:10:in `<main>'

[yusuko]

3回目の実験結果(2回目からは時間経ってます。)

• @Player_twiだけとるようにしてみた。
• @Player_twiは55回目で取得
  • メモリ落ちが発生した。これはスプレッドシートに書き込んでいる時に起きているもの。( https://github.com/ookamiinc/twitter-analytics-acquirer/issues/11#issuecomment-435642778 )

/Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient/session.rb:524:in `rescue in query': HTTPClient::KeepAliveDisconnected: Broken pipe (HTTPClient::KeepAliveDisconnected)
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient/session.rb:514:in `query'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient/session.rb:177:in `query'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:1242:in `do_get_block'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:1019:in `block in do_request'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:1138:in `rescue in protect_keep_alive_disconnected'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:1131:in `protect_keep_alive_disconnected'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:1014:in `do_request'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:1104:in `follow_redirect'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:854:in `request'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:291:in `execute_once'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:104:in `block (2 levels) in execute'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:61:in `block in retriable'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `times'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `retriable'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:101:in `block in execute'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:61:in `block in retriable'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `times'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `retriable'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:93:in `execute'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/base_service.rb:360:in `execute_or_queue_command'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/base_service.rb:252:in `http'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/api_client_fetcher.rb:49:in `request_raw'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/session.rb:623:in `block in request'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/session.rb:622:in `loop'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/session.rb:622:in `request'
    from /Users/anzaiyuusuke/.rbenv/versions/2.4.4/lib/ruby/gems/2.4.0/gems/google_drive-2.1.12/lib/google_drive/worksheet.rb:413:in `save'
    from /Users/anzaiyuusuke/Desktop/rails/twitter-analytics-acquirer/google_sheet_client.rb:22:in `write_in_spreadsheet'
    from script.rb:16:in `block in <main>'
    from script.rb:10:in `each'
    from script.rb:10:in `<main>'

[yusuko]

わかったこと(まだ仮説ではあるが)

• ループ数を増やせばデータは取得できることが判明(第2回、3回の実験を参照。 goodとは言えないが、物理的にリクエスト数を増やさなければいけないのも事実)

現状の課題

• データ量が多すぎるとスプレッドシートに書き込む段階でエラーが発生する。(メモリ落ち)

  次のアクション

• ローカルでエラーがどこで起きているのかの詳細をログで撮る
• メモリ落ち回避の施策を考える
• ただし上記２つは抜本的な解決になっているのか微妙。処理は長くなるが。直近１週間だけをリアルタイムで取ってくる。という処理に書き換えてもいいかもしれない。
  • 例 11/4 11/1 ~ 11/4(リアルタイム)
  • 例 11/11 11/1 ~ 11/4はすでに取ったもの、11/5 ~ 11/11はリアルタイムで取ったもの。

のようにするとか。

[yusuko]

直近１週間だけをリアルタイムで取ってくる。という処理に書き換えてもいいかもしれない。

@nafu @ladnack 上記処理についてどう思いますか？？ 日時指定というよりは、エクセルの行数で区切る形になるかもしれませんが。。。

具体的な処理は、まだきちんと考えていないですがもしご意見等あればお願いします🙇‍♂️

[sakatore]

取得期間を限定することでデータ量が減って、その結果、

• 全体としてループの回数が減る
• スプレッドシートへの保存処理での失敗を避けられる のであればその方がいいと思いました

[nafu]

データ欠損なく取得できれば目的達成だと思うので、 特に個人の好みはないでーす

[yusuko]

お二方ともありがとうございます！ では、分割取得するコードを実装する方向で動きます💪

[yusuko]

殴りメモなので、あとでわかりやすくします。

1をcsvの取得に関して案だし 2はスプレッドシートの書き込みに関して案だしする。

案A

1. csvは全体を取得。

   2. すでに書かれているスプレッドシートの行数をcountととすると、csvの配列の中で(count-50)番目から最後までをスプレッドシートに書き込む。(１日50ツイートしなければ欠損はない)

   数値は変更可能。

   案B

   案Aの、csvの取得範囲を変えたVer

   1. 11/10を超えると５日ごとに取得範囲が変わる。その際に取得範囲のデータの件数をDBに保存し、
   2. スプレッドシートに書き込む始点はDBに書かれたものからになる。

例) 11/15の時

• 11/15になった日はタスクが別で発生
  • 11/1~11/5のcsvデータを取得
  • 取得した配列の件数を取得。DBのescapeカラムに登録。
    • スプレッドシートは、行数{エスケープ+1)から書き込む(これは常時設定) 　 - start_dateはend_dateから計算されるように設定。(11/16なら11/5,11/21なら11/10がstart_date)
    • Time.nowのdayが５の倍数の時にだけ、タスクが走るようにする。

月初にはエスケープが0になるようにする。これを５日間単位で繰り返す。

[yusuko]

11/14(水) 9:00の定期実行結果

• Playerapp_tns,Player_twiはデータが取れなかった

[yusuko]

次の実装

目的

• csv取得する範囲を限定

• csvを書き出す範囲を限定

  手段

• 通常プロセスも変更
  • start_dateが動的になる
• 毎月5の倍数の日に、取得範囲変更のタスクを加える
• 具体的には
  • 取得しないcsvの行数を取得
  • stored csvに、取得しない行数を保存

11/10: 11/5までのcsvの行数を取得 DBに保存 翌日からは、11/6からのデータしか取らない。 エクセルには、DBに保存された行数+1から書き出す

実装

To do

• [x] DBのカラムの追加
  • integer
• [ ] 毎月1,6,11...の日のタスクを追加
  • [ ] 5の日の条件分岐
  • [ ] trueの時に、csvを取得する。そして、カウント
  • [ ] それをDBに保存
    • [ ] start_dataの変更
    • 日付によって、start_dataが動的に動くようにする
    • [ ] csvの書き込み形式の変更
    • [ ] これまた、開始位置を動的にする(DBに保存されたもの+1)

[yusuko]

stored_csv_lengthカラムをintで追加。

[yusuko]

現在起こっている問題

• Excelに上から順に最新のものを出力する。
  • 上のものが月初のものになるように変更する必要がある。

[yusuko]

Player_twiだけ重すぎるので、そこは手動という対応も選択肢の一つとしてはある。 期間限定取得しても取れない。。。

[yusuko]

タイトルはわざわざ毎回渡す必要ないので、カット。 またdelete_rowsしなくても、更新する際には自然と新しいものに生まれ変わる仕様である。

既存のcsvを残したまま、データを更新できることは確認した。

下記のコードで 1.csvを若い順に取得

2. 取得したコードは30行目から書き込まれた

    parsed_csv_without_header = CSV.parse(csv)[1..-1]
    return unless parsed_csv_without_header
    reversed_csv = parsed_csv_without_header.reverse
    reversed_csv.each.with_index do |row, index|
      for j in 1..row.count do
        worksheet[index + 30, j] = row[j - 1]
      end
    end

[yusuko]

案Bの実装を考えていたが、

• DBに正しいline_lengthを保存して置くことが難しい。
• 処理が複雑になりすぎる。

ので、まずは単純にAの改変を実装してみる。 問題点はスプレッドシート書き込み中のエラーだったため、 CSVを全体取得して、処理を分けてスプレッドシートに書き込む。 別issueで対応する。 https://github.com/ookamiinc/twitter-analytics-acquirer/issues/16

案A

1. csvは全体を取得。

   2. すでに書かれているスプレッドシートの行数をcountととすると、csvの配列の中で(count-50)番目から最後までをスプレッドシートに書き込む。(１日50ツイートしなければ欠損はない)

   数値は変更可能。

   案B

   案Aの、csvの取得範囲を変えたVer

   1. 11/10を超えると５日ごとに取得範囲が変わる。その際に取得範囲のデータの件数をDBに保存し、
   2. スプレッドシートに書き込む始点はDBに書かれたものからになる。

例) 11/15の時

• 11/15になった日はタスクが別で発生
  • 11/1~11/5のcsvデータを取得
  • 取得した配列の件数を取得。DBのescapeカラムに登録。
    • スプレッドシートは、行数{エスケープ+1)から書き込む(これは常時設定) 　 - start_dateはend_dateから計算されるように設定。(11/16なら11/5,11/21なら11/10がstart_date)
    • Time.nowのdayが５の倍数の時にだけ、タスクが走るようにする。

月初にはエスケープが0になるようにする。これを５日間単位で繰り返す。

[yusuko]

Summary

https://github.com/ookamiinc/twitter-analytics-acquirer/issues/16 にてデータの書き込みを分割したところ、localとherokuにて10月分のデータ取得&書き込みに成功した。

プロセスにおいて主に２つの点を改善した。

• データの取得
  • アナリティクスデータはデータが大きいため、リクエストを多く送らないとデータを取れない仕様になっていた。Chromeの検証機能で確認した。
  • 上記より、スクレイピングシステム上ではloop回数を最大80回にすることで対応した。(10月のPlayer_twiが55回ほど)
  • データの書き込み
    • データが大きい時、google_driveのlibrary(gem)にてメモリ落ちが発生していた。 https://github.com/ookamiinc/twitter-analytics-acquirer/issues/13#issuecomment-435862459
    • データを分割して、50件ずつ保存することで対応した。