yusuko commented 5 years ago

What

扱うアカウントを 1→8にする。

To do

[x] worksheetnameの変更
[x] DBにデータ挿入(local)　確認
[x] DBにデータ挿入(production)　確認

Summary

８つのアカウントで取得できない原因は２つあった。
csvの取得
- データ量が多いため、csvを取得するためには物理的に多くの回数をexport_urlにリクエストを送る必要があった。
- よってループ数を増やすことで上記に対応した。
csvのスプレッドシートへの書き込み
- データ量が多いため、csvをスプレッドシートに書き込む際にメモリ落ちが生まれていた。
  - gemを必要最低限にする
  - csvを分けてスプレッドシートに書き込む(1回につき50lineまで)

上記によって、10月データの取得の成功。11/19~11/20の6回で自動取得もエラーなく成功した。

yusuko commented 5 years ago

UPDATE twitter_accounts 
     SET worksheet_name = "Playerapp_vb"
     WHERE name = "Playerapp_vb";

DELETE FROM twitter_accounts
     WHERE name = "shogi_ask";

yusuko commented 5 years ago

herokuでのみ、csvのillegal quotingエラーが発生した。

/app/vendor/ruby-2.4.4/lib/ruby/2.4.0/csv.rb:1912:in `block (2 levels) in shift': Illegal quoting in line 2. (CSV::MalformedCSVError)
    from /app/vendor/ruby-2.4.4/lib/ruby/2.4.0/csv.rb:1868:in `each'
    from /app/vendor/ruby-2.4.4/lib/ruby/2.4.0/csv.rb:1868:in `block in shift'
    from /app/vendor/ruby-2.4.4/lib/ruby/2.4.0/csv.rb:1828:in `loop'
    from /app/vendor/ruby-2.4.4/lib/ruby/2.4.0/csv.rb:1828:in `shift'
    from /app/vendor/ruby-2.4.4/lib/ruby/2.4.0/csv.rb:1770:in `each'
    from /app/vendor/ruby-2.4.4/lib/ruby/2.4.0/csv.rb:1784:in `to_a'
    from /app/vendor/ruby-2.4.4/lib/ruby/2.4.0/csv.rb:1784:in `read'
    from /app/vendor/ruby-2.4.4/lib/ruby/2.4.0/csv.rb:1324:in `parse'
    from /app/google_sheet_client.rb:16:in `write_in_spreadsheet'
    from script.rb:14:in `block in <main>'
    from script.rb:9:in `each'
    from script.rb:9:in `<main>'

yusuko commented 5 years ago

不要なスペースが入っている場合 https://stackoverflow.com/questions/16772830/ruby-unable-to-parse-a-csv-file-csvmalformedcsverror-illegal-quoting-in-line

" "　を本文中に入れた場合 http://whatsnewinruby.hatenablog.com/entry/2016/10/27/100000

CSVについて http://www.ietf.org/rfc/rfc4180.txt

yusuko commented 5 years ago

失敗しているCSV

"\"ツイートID\",\"ツイートの固定リンク\",\"ツイート本文\",\"時間\",\"インプレッション\",\"エンゲージメント\",\"エンゲージメント率\",\"リツイート\",\"返信\",\"いいね\",\"ユーザープロフィールクリック\",\"URLクリック数\",\"ハッシュタグクリック\",\"詳細クリック\",\"固定リンクのクリック数\",\"アプリ表示\",\"アプリインストール\",\"フォローしている\",\"ツイートをメール送信\",\"ダイアル式電話\",\"メディアの再生数\",\"メディアのエンゲージメント\",\"プロモのインプレッション\",\"プロモのエンゲージメント\",\"プロモのエンゲージメント率\",\"プロモのリツイート\",\"プロモの返信\",\"プロモのいいね\",\"プロモのユーザープロフィールクリック\",\"プロモのURLクリック数\",\"プロモのハッシュタグクリック\",\"プロモの詳細クリック\",\"プロモの固定リンクのクリック数\",\"プロモのアプリ表示\",\"プロモのアプリインストール\",\"プロモのフォローしている\",\"プロモのツイートをメール送信\",\"プロモのダイアル式電話\",\"プロモのメディアの再生数\",\"プロモのメディアのエンゲージメント\"\n\"1049656543589875712\",\"https://twitter.com/Playerapp_cbsk/status/1049656543589875712\",\"大学生の皆さんーー！！\n絶対楽しいのでぜひぜひ参加下さい😊 https://t.co/90pPlcUF2L\",\"2018-10-09 13:43 +0000\",\"1216.0\",\"4.0\",\"0.003289473684210526\",\"0.0\",\"0.0\",\"1.0\",\"2.0\",\"0.0\",\"0.0\",\"1.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1049164532881358848\",\"https://twitter.com/Playerapp_cbsk/status/1049164532881358848\",\"おおー！！\n大学バスケでもやろうかなー需要あるかなーー😎\n\n#高校バスケ #ウインターカップ ＃大学バスケ https://t.co/snkoMweMAT\",\"2018-10-08 05:08 +0000\",\"1361.0\",\"6.0\",\"0.00440852314474651\",\"1.0\",\"0.0\",\"2.0\",\"0.0\",\"0.0\",\"1.0\",\"2.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048767660815609856\",\"https://twitter.com/Playerapp_cbsk/status/1048767660815609856\",\"🏀RT&amp;いいねで #大学バスケ を盛り上げよう🏀\n\n大東文化を応援🔥→「RT」\n早稲田(@w_basketball )を応援🔥→「いいね」\n\nPlayer!速報はこちら👇\nhttps://t.co/kAS3LIwvS4 https://t.co/FWLsgTuy1I\",\"2018-10-07 02:51 +0000\",\"2954.0\",\"91.0\",\"0.030805687203791468\",\"3.0\",\"0.0\",\"7.0\",\"12.0\",\"13.0\",\"0.0\",\"16.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"439\",\"40\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048767584500297728\",\"https://twitter.com/Playerapp_cbsk/status/1048767584500297728\",\"🏀RT&amp;いいねで #大学バスケ を盛り上げよう🏀\n\n早稲田(@w_basketball )を応援🔥→「RT」\n大東文化を応援🔥→「いいね」\n\nこちらも注目の1戦ですね👀\n\nPlayer!速報はこちら👇\nhttps://t.co/kAS3LIwvS4 https://t.co/9VE8yifWO6\",\"2018-10-07 02:50 +0000\",\"3104.0\",\"75.0\",\"0.02416237113402062\",\"6.0\",\"0.0\",\"3.0\",\"18.0\",\"7.0\",\"0.0\",\"5.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"381\",\"36\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048767298532663296\",\"https://twitter.com/Playerapp_cbsk/status/1048767298532663296\",\"【#大学バスケ 注目試合👀】\n\n早稲田 VS 大東文化\n10/7(日)15:40 TIP OFF！\n\n現在首位の大東文化に早稲田がどう挑むか💨\n試合前にぜひ両チームへの応援コメントを書き込んでみてください😊\n\nhttps://t.co/zvmK0LT97J\",\"2018-10-07 02:49 +0000\",\"908.0\",\"21.0\",\"0.023127753303964757\",\"1.0\",\"0.0\",\"0.0\",\"3.0\",\"14.0\",\"0.0\",\"3.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048388500695875584\",\"https://twitter.com/Playerapp_cbsk/status/1048388500695875584\",\"【#大学バスケ 注目試合👀】\n\n法政 VS 明星\n10/6(土)12:00 TIP OFF！\n\n好調を保つ法政に対し、\n明星はどんな戦略で挑むか楽しみです✍️\n\n試合前にぜひ両チームへの応援コメントを書き込んでみてください😊\n\nhttps://t.co/H1qt6a2YHS\",\"2018-10-06 01:44 +0000\",\"644.0\",\"9.0\",\"0.013975155279503106\",\"0.0\",\"0.0\",\"0.0\",\"4.0\",\"2.0\",\"0.0\",\"3.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n"

成功しているCSV

"\"ツイートID\",\"ツイートの固定リンク\",\"ツイート本文\",\"時間\",\"インプレッション\",\"エンゲージメント\",\"エンゲージメント率\",\"リツイート\",\"返信\",\"いいね\",\"ユーザープロフィールクリック\",\"URLクリック数\",\"ハッシュタグクリック\",\"詳細クリック\",\"固定リンクのクリック数\",\"アプリ表示\",\"アプリインストール\",\"フォローしている\",\"ツイートをメール送信\",\"ダイアル式電話\",\"メディアの再生数\",\"メディアのエンゲージメント\",\"プロモのインプレッション\",\"プロモのエンゲージメント\",\"プロモのエンゲージメント率\",\"プロモのリツイート\",\"プロモの返信\",\"プロモのいいね\",\"プロモのユーザープロフィールクリック\",\"プロモのURLクリック数\",\"プロモのハッシュタグクリック\",\"プロモの詳細クリック\",\"プロモの固定リンクのクリック数\",\"プロモのアプリ表示\",\"プロモのアプリインストール\",\"プロモのフォローしている\",\"プロモのツイートをメール送信\",\"プロモのダイアル式電話\",\"プロモのメディアの再生数\",\"プロモのメディアのエンゲージメント\"\n\"1049988972653363200\",\"https://twitter.com/Playerapp_tns/status/1049988972653363200\",\"上海ロレックス・マスターズシングルス 2回戦 錦織 vs ウー・イービン\n第2セットは錦織が6-0で取り返しました！\n勝負の行方は第3セットに！\n#上海マスターズ　#錦織圭\n https://t.co/04g1oAzeP2\",\"2018-10-10 11:44 +0000\",\"313.0\",\"8.0\",\"0.025559105431309903\",\"0.0\",\"0.0\",\"0.0\",\"2.0\",\"3.0\",\"0.0\",\"3.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1049980502139011073\",\"https://twitter.com/Playerapp_tns/status/1049980502139011073\",\"上海ロレックス・マスターズシングルス 2回戦 \n錦織 vs ウー・イービン\n第1セットは中国期待の若手ウーが6-3で先取！錦織挽回なるか！\n#上海マスターズ #錦織圭 \n https://t.co/rUswrZXx8d\",\"2018-10-10 11:10 +0000\",\"330.0\",\"14.0\",\"0.04242424242424243\",\"0.0\",\"0.0\",\"1.0\",\"3.0\",\"7.0\",\"1.0\",\"2.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048826246627385350\",\"https://twitter.com/Playerapp_tns/status/1048826246627385350\",\"楽天ジャパンオープンシングルス 決勝\nメドベージェフ vs 錦織\n試合開始です！！\n\nhttps://t.co/dH8I7d9tXC\",\"2018-10-07 06:43 +0000\",\"99.0\",\"10.0\",\"0.10101010101010101\",\"0.0\",\"0.0\",\"0.0\",\"0.0\",\"8.0\",\"0.0\",\"2.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048783127278018560\",\"https://twitter.com/Playerapp_tns/status/1048783127278018560\",\"楽天ジャパンオープンシングルス 決勝\n メドベージェフ vs 錦織\n本日の15:30試合開始です！！\n錦織楽天オープン優勝なるか！Player!ではポイント速報を行います。皆さん応援しましょう！！\n#楽天オープン #錦織圭 \n\n https://t.co/e2flmDZ7vy\",\"2018-10-07 03:52 +0000\",\"430.0\",\"27.0\",\"0.06279069767441861\",\"0.0\",\"0.0\",\"2.0\",\"1.0\",\"19.0\",\"0.0\",\"5.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048498750279151618\",\"https://twitter.com/Playerapp_tns/status/1048498750279151618\",\"楽天ジャパンオープンシングルス \n準決勝 錦織 vs ガスケ\n錦織選手が7−6,6−1のストレートでガスケを下し、決勝進出です！！\n錦織強い！　優勝まであと1勝です！！\n#楽天オープン　#決勝　#錦織圭　\nhttps://t.co/srlUNNrMKC\",\"2018-10-06 09:02 +0000\",\"389.0\",\"14.0\",\"0.03598971722365039\",\"0.0\",\"0.0\",\"2.0\",\"0.0\",\"10.0\",\"1.0\",\"1.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048486806319128576\",\"https://twitter.com/Playerapp_tns/status/1048486806319128576\",\"楽天ジャパンオープンシングルス 準決勝 錦織 vs ガスケ\n第1セットは錦織がタイブレークを制しました！！！ \n#楽天オープン #錦織がんばれ\n https://t.co/mTlczWODOY\",\"2018-10-06 08:15 +0000\",\"233.0\",\"2.0\",\"0.008583690987124463\",\"0.0\",\"0.0\",\"0.0\",\"1.0\",\"1.0\",\"0.0\",\"0.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048458418355204098\",\"https://twitter.com/Playerapp_tns/status/1048458418355204098\",\"楽天ジャパンオープンシングルス 準決勝 \n錦織VSガスケ\n錦織2年ぶりのツアータイトルなるか！\n間もなく試合開始です！\n#楽天オープン #テニス #錦織圭 \n https://t.co/Tyuits5NWD\",\"2018-10-06 06:22 +0000\",\"403.0\",\"28.0\",\"0.06947890818858561\",\"1.0\",\"1.0\",\"0.0\",\"3.0\",\"22.0\",\"1.0\",\"0.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1047344150851375105\",\"https://twitter.com/Playerapp_tns/status/1047344150851375105\",\"楽天オープン1回戦\n西岡VSキリオス\n強敵キリオスを相手に検討しましたが、惜しくも5-7，6-7で敗れてしまいました。\n西岡選手、お疲れ様です！！\n#西岡良仁　#楽天オープン\n https://t.co/xeFN6Ha5DC\",\"2018-10-03 04:34 +0000\",\"624.0\",\"11.0\",\"0.017628205128205128\",\"1.0\",\"0.0\",\"3.0\",\"0.0\",\"3.0\",\"1.0\",\"3.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1047323948403240962\",\"https://twitter.com/Playerapp_tns/status/1047323948403240962\",\"楽天オープン1回戦\n西岡良仁VSニック・キリオス\n試合開始です！！\n西岡選手、強敵キリオスを相手に先週優勝の勢いに乗れるか注目の試合です！\n#楽天オープン　#西岡　\n https://t.co/M8K1kefsCL\",\"2018-10-03 03:14 +0000\",\"491.0\",\"12.0\",\"0.024439918533604887\",\"0.0\",\"0.0\",\"0.0\",\"1.0\",\"10.0\",\"1.0\",\"0.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1046730742867189766\",\"https://twitter.com/Playerapp_tns/status/1046730742867189766\",\"綿貫陽介選手がロビンハーセ選手に逆転勝利！\nATPツアーで初めての勝利を挙げました！！おめでとうございます！！！\n#楽天オープン #綿貫陽介\n\n楽天ジャパンオープンシングルス 1回戦 綿貫 vs ハーセ https://t.co/dKgWzjZyPP\",\"2018-10-01 11:57 +0000\",\"478.0\",\"6.0\",\"0.012552301255230125\",\"1.0\",\"0.0\",\"1.0\",\"0.0\",\"4.0\",\"0.0\",\"0.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n"

yusuko commented 5 years ago

res.body.force_encoding('utf-8').gsub(/\"/, ")

にすると /nで区切られる。

yusuko commented 5 years ago

各列は

"
\"A\",\"B\",\"C\",.....,\"AH\" \n
\"A\",\"B\",\"C\",.....,\"AH\" \n
....
....
\"A\",\"B\",\"C\",.....,\"AH\" \n
"

yusuko commented 5 years ago

"\"ツイートID\",\"ツイートの固定リンク\",\"ツイート本文\",\"時間\",\"インプレッション\",\"エンゲージメント\",\"エンゲージメント率\",\"リツイート\",\"返信\",\"いいね\",\"ユーザープロフィールクリック\",\"URLクリック数\",\"ハッシュタグクリック\",\"詳細クリック\",\"固定リンクのクリック数\",\"アプリ表示\",\"アプリインストール\",\"フォローしている\",\"ツイートをメール送信\",\"ダイアル式電話\",\"メディアの再生数\",\"メディアのエンゲージメント\",\"プロモのインプレッション\",\"プロモのエンゲージメント\",\"プロモのエンゲージメント率\",\"プロモのリツイート\",\"プロモの返信\",\"プロモのいいね\",\"プロモのユーザープロフィールクリック\",\"プロモのURLクリック数\",\"プロモのハッシュタグクリック\",\"プロモの詳細クリック\",\"プロモの固定リンクのクリック数\",\"プロモのアプリ表示\",\"プロモのアプリインストール\",\"プロモのフォローしている\",\"プロモのツイートをメール送信\",\"プロモのダイアル式電話\",\"プロモのメディアの再生数\",\"プロモのメディアのエンゲージメント\"\n\"1049656543589875712\",\"https://twitter.com/Playerapp_cbsk/status/1049656543589875712\",\"大学生の皆さんーー！！\n絶対楽しいのでぜひぜひ参加下さい😊 https://t.co/90pPlcUF2L\",\"2018-10-09 13:43 +0000\",\"1216.0\",\"4.0\",\"0.003289473684210526\",\"0.0\",\"0.0\",\"1.0\",\"2.0\",\"0.0\",\"0.0\",\"1.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1049164532881358848\",\"https://twitter.com/Playerapp_cbsk/status/1049164532881358848\",\"おおー！！\n大学バスケでもやろうかなー需要あるかなーー😎\n\n#高校バスケ #ウインターカップ＃大学バスケ https://t.co/snkoMweMAT\",\"2018-10-08 05:08 +0000\",\"1361.0\",\"6.0\",\"0.00440852314474651\",\"1.0\",\"0.0\",\"2.0\",\"0.0\",\"0.0\",\"1.0\",\"2.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048767660815609856\",\"https://twitter.com/Playerapp_cbsk/status/1048767660815609856\",\"🏀RT&いいねで #大学バスケを盛り上げよう🏀\n\n大東文化を応援🔥→「RT」\n早稲田(@w_basketball )を応援🔥→「いいね」\n\nPlayer!速報はこちら👇\nhttps://t.co/kAS3LIwvS4 https://t.co/FWLsgTuy1I\",\"2018-10-07 02:51 +0000\",\"2954.0\",\"91.0\",\"0.030805687203791468\",\"3.0\",\"0.0\",\"7.0\",\"12.0\",\"13.0\",\"0.0\",\"16.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"439\",\"40\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048767584500297728\",\"https://twitter.com/Playerapp_cbsk/status/1048767584500297728\",\"🏀RT&いいねで #大学バスケを盛り上げよう🏀\n\n早稲田(@w_basketball )を応援🔥→「RT」\n大東文化を応援🔥→「いいね」\n\nこちらも注目の1戦ですね👀\n\nPlayer!速報はこちら👇\nhttps://t.co/kAS3LIwvS4 https://t.co/9VE8yifWO6\",\"2018-10-07 02:50 +0000\",\"3104.0\",\"75.0\",\"0.02416237113402062\",\"6.0\",\"0.0\",\"3.0\",\"18.0\",\"7.0\",\"0.0\",\"5.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"381\",\"36\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048767298532663296\",\"https://twitter.com/Playerapp_cbsk/status/1048767298532663296\",\"【#大学バスケ注目試合👀】\n\n早稲田 VS 大東文化\n10/7(日)15:40 TIP OFF！\n\n現在首位の大東文化に早稲田がどう挑むか💨\n試合前にぜひ両チームへの応援コメントを書き込んでみてください😊\n\nhttps://t.co/zvmK0LT97J\",\"2018-10-07 02:49 +0000\",\"908.0\",\"21.0\",\"0.023127753303964757\",\"1.0\",\"0.0\",\"0.0\",\"3.0\",\"14.0\",\"0.0\",\"3.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048388500695875584\",\"https://twitter.com/Playerapp_cbsk/status/1048388500695875584\",\"【#大学バスケ注目試合👀】\n\n法政 VS 明星\n10/6(土)12:00 TIP OFF！\n\n好調を保つ法政に対し、\n明星はどんな戦略で挑むか楽しみです✍️\n\n試合前にぜひ両チームへの応援コメントを書き込んでみてください😊\n\nhttps://t.co/H1qt6a2YHS\",\"2018-10-06 01:44 +0000\",\"644.0\",\"9.0\",\"0.013975155279503106\",\"0.0\",\"0.0\",\"0.0\",\"4.0\",\"2.0\",\"0.0\",\"3.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n"

yusuko commented 5 years ago

"\"ツイートID\",\"ツイートの固定リンク\",\"ツイート本文\",\"時間\",\"インプレッション\",\"エンゲージメント\",\"エンゲージメント率\",\"リツイート\",\"返信\",\"いいね\",\"ユーザープロフィールクリック\",\"URLクリック数\",\"ハッシュタグクリック\",\"詳細クリック\",\"固定リンクのクリック数\",\"アプリ表示\",\"アプリインストール\",\"フォローしている\",\"ツイートをメール送信\",\"ダイアル式電話\",\"メディアの再生数\",\"メディアのエンゲージメント\",\"プロモのインプレッション\",\"プロモのエンゲージメント\",\"プロモのエンゲージメント率\",\"プロモのリツイート\",\"プロモの返信\",\"プロモのいいね\",\"プロモのユーザープロフィールクリック\",\"プロモのURLクリック数\",\"プロモのハッシュタグクリック\",\"プロモの詳細クリック\",\"プロモの固定リンクのクリック数\",\"プロモのアプリ表示\",\"プロモのアプリインストール\",\"プロモのフォローしている\",\"プロモのツイートをメール送信\",\"プロモのダイアル式電話\",\"プロモのメディアの再生数\",\"プロモのメディアのエンゲージメント\"\n\"1049988972653363200\",\"https://twitter.com/Playerapp_tns/status/1049988972653363200\",\"上海ロレックス・マスターズシングルス 2回戦錦織 vs ウー・イービン\n第2セットは錦織が6-0で取り返しました！\n勝負の行方は第3セットに！\n#上海マスターズ　#錦織圭\n https://t.co/04g1oAzeP2\",\"2018-10-10 11:44 +0000\",\"313.0\",\"8.0\",\"0.025559105431309903\",\"0.0\",\"0.0\",\"0.0\",\"2.0\",\"3.0\",\"0.0\",\"3.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1049980502139011073\",\"https://twitter.com/Playerapp_tns/status/1049980502139011073\",\"上海ロレックス・マスターズシングルス 2回戦 \n錦織 vs ウー・イービン\n第1セットは中国期待の若手ウーが6-3で先取！錦織挽回なるか！\n#上海マスターズ #錦織圭 \n https://t.co/rUswrZXx8d\",\"2018-10-10 11:10 +0000\",\"330.0\",\"14.0\",\"0.04242424242424243\",\"0.0\",\"0.0\",\"1.0\",\"3.0\",\"7.0\",\"1.0\",\"2.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048826246627385350\",\"https://twitter.com/Playerapp_tns/status/1048826246627385350\",\"楽天ジャパンオープンシングルス決勝\nメドベージェフ vs 錦織\n試合開始です！！\n\nhttps://t.co/dH8I7d9tXC\",\"2018-10-07 06:43 +0000\",\"99.0\",\"10.0\",\"0.10101010101010101\",\"0.0\",\"0.0\",\"0.0\",\"0.0\",\"8.0\",\"0.0\",\"2.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048783127278018560\",\"https://twitter.com/Playerapp_tns/status/1048783127278018560\",\"楽天ジャパンオープンシングルス決勝\n メドベージェフ vs 錦織\n本日の15:30試合開始です！！\n錦織楽天オープン優勝なるか！Player!ではポイント速報を行います。皆さん応援しましょう！！\n#楽天オープン #錦織圭 \n\n https://t.co/e2flmDZ7vy\",\"2018-10-07 03:52 +0000\",\"430.0\",\"27.0\",\"0.06279069767441861\",\"0.0\",\"0.0\",\"2.0\",\"1.0\",\"19.0\",\"0.0\",\"5.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048498750279151618\",\"https://twitter.com/Playerapp_tns/status/1048498750279151618\",\"楽天ジャパンオープンシングルス \n準決勝錦織 vs ガスケ\n錦織選手が7−6,6−1のストレートでガスケを下し、決勝進出です！！\n錦織強い！　優勝まであと1勝です！！\n#楽天オープン　#決勝　#錦織圭　\nhttps://t.co/srlUNNrMKC\",\"2018-10-06 09:02 +0000\",\"389.0\",\"14.0\",\"0.03598971722365039\",\"0.0\",\"0.0\",\"2.0\",\"0.0\",\"10.0\",\"1.0\",\"1.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048486806319128576\",\"https://twitter.com/Playerapp_tns/status/1048486806319128576\",\"楽天ジャパンオープンシングルス準決勝錦織 vs ガスケ\n第1セットは錦織がタイブレークを制しました！！！ \n#楽天オープン #錦織がんばれ\n https://t.co/mTlczWODOY\",\"2018-10-06 08:15 +0000\",\"233.0\",\"2.0\",\"0.008583690987124463\",\"0.0\",\"0.0\",\"0.0\",\"1.0\",\"1.0\",\"0.0\",\"0.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048458418355204098\",\"https://twitter.com/Playerapp_tns/status/1048458418355204098\",\"楽天ジャパンオープンシングルス準決勝 \n錦織VSガスケ\n錦織2年ぶりのツアータイトルなるか！\n間もなく試合開始です！\n#楽天オープン #テニス #錦織圭 \n https://t.co/Tyuits5NWD\",\"2018-10-06 06:22 +0000\",\"403.0\",\"28.0\",\"0.06947890818858561\",\"1.0\",\"1.0\",\"0.0\",\"3.0\",\"22.0\",\"1.0\",\"0.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1047344150851375105\",\"https://twitter.com/Playerapp_tns/status/1047344150851375105\",\"楽天オープン1回戦\n西岡VSキリオス\n強敵キリオスを相手に検討しましたが、惜しくも5-7，6-7で敗れてしまいました。\n西岡選手、お疲れ様です！！\n#西岡良仁　#楽天オープン\n https://t.co/xeFN6Ha5DC\",\"2018-10-03 04:34 +0000\",\"624.0\",\"11.0\",\"0.017628205128205128\",\"1.0\",\"0.0\",\"3.0\",\"0.0\",\"3.0\",\"1.0\",\"3.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1047323948403240962\",\"https://twitter.com/Playerapp_tns/status/1047323948403240962\",\"楽天オープン1回戦\n西岡良仁VSニック・キリオス\n試合開始です！！\n西岡選手、強敵キリオスを相手に先週優勝の勢いに乗れるか注目の試合です！\n#楽天オープン　#西岡　\n https://t.co/M8K1kefsCL\",\"2018-10-03 03:14 +0000\",\"491.0\",\"12.0\",\"0.024439918533604887\",\"0.0\",\"0.0\",\"0.0\",\"1.0\",\"10.0\",\"1.0\",\"0.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1046730742867189766\",\"https://twitter.com/Playerapp_tns/status/1046730742867189766\",\"綿貫陽介選手がロビンハーセ選手に逆転勝利！\nATPツアーで初めての勝利を挙げました！！おめでとうございます！！！\n#楽天オープン #綿貫陽介\n\n楽天ジャパンオープンシングルス 1回戦綿貫 vs ハーセ https://t.co/dKgWzjZyPP\",\"2018-10-01 11:57 +0000\",\"478.0\",\"6.0\",\"0.012552301255230125\",\"1.0\",\"0.0\",\"1.0\",\"0.0\",\"4.0\",\"0.0\",\"0.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n"

yusuko commented 5 years ago

14:31実施時

エラー発生データ(これはlocalでbyebugでとった)

"\"ツイートID\",\"ツイートの固定リンク\",\"ツイート本文\",\"時間\",\"インプレッション\",\"エンゲージメント\",\"エンゲージメント率\",\"リツイート\",\"返信\",\"いいね\",\"ユーザープロフィールクリック\",\"URLクリック数\",\"ハッシュタグクリック\",\"詳細クリック\",\"固定リンクのクリック数\",\"アプリ表示\",\"アプリインストール\",\"フォローしている\",\"ツイートをメール送信\",\"ダイアル式電話\",\"メディアの再生数\",\"メディアのエンゲージメント\",\"プロモのインプレッション\",\"プロモのエンゲージメント\",\"プロモのエンゲージメント率\",\"プロモのリツイート\",\"プロモの返信\",\"プロモのいいね\",\"プロモのユーザープロフィールクリック\",\"プロモのURLクリック数\",\"プロモのハッシュタグクリック\",\"プロモの詳細クリック\",\"プロモの固定リンクのクリック数\",\"プロモのアプリ表示\",\"プロモのアプリインストール\",\"プロモのフォローしている\",\"プロモのツイートをメール送信\",\"プロモのダイアル式電話\",\"プロモのメディアの再生数\",\"プロモのメディアのエンゲージメント\"\n\"1049656543589875712\",\"https://twitter.com/Playerapp_cbsk/status/1049656543589875712\",\"大学生の皆さんーー！！\n絶対楽しいのでぜひぜひ参加下さい😊 https://t.co/90pPlcUF2L\",\"2018-10-09 13:43 +0000\",\"1332.0\",\"4.0\",\"0.003003003003003003\",\"0.0\",\"0.0\",\"1.0\",\"2.0\",\"0.0\",\"0.0\",\"1.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1049164532881358848\",\"https://twitter.com/Playerapp_cbsk/status/1049164532881358848\",\"おおー！！\n大学バスケでもやろうかなー需要あるかなーー😎\n\n#高校バスケ #ウインターカップ＃大学バスケ https://t.co/snkoMweMAT\",\"2018-10-08 05:08 +0000\",\"1578.0\",\"6.0\",\"0.0038022813688212928\",\"1.0\",\"0.0\",\"2.0\",\"0.0\",\"0.0\",\"1.0\",\"2.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048767660815609856\",\"https://twitter.com/Playerapp_cbsk/status/1048767660815609856\",\"🏀RT&いいねで #大学バスケを盛り上げよう🏀\n\n大東文化を応援🔥→「RT」\n早稲田(@w_basketball )を応援🔥→「いいね」\n\nPlayer!速報はこちら👇\nhttps://t.co/kAS3LIwvS4 https://t.co/FWLsgTuy1I\",\"2018-10-07 02:51 +0000\",\"3276.0\",\"95.0\",\"0.028998778998779\",\"3.0\",\"0.0\",\"7.0\",\"13.0\",\"14.0\",\"0.0\",\"17.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"463\",\"41\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048767584500297728\",\"https://twitter.com/Playerapp_cbsk/status/1048767584500297728\",\"🏀RT&いいねで #大学バスケを盛り上げよう🏀\n\n早稲田(@w_basketball )を応援🔥→「RT」\n大東文化を応援🔥→「いいね」\n\nこちらも注目の1戦ですね👀\n\nPlayer!速報はこちら👇\nhttps://t.co/kAS3LIwvS4 https://t.co/9VE8yifWO6\",\"2018-10-07 02:50 +0000\",\"3400.0\",\"78.0\",\"0.022941176470588236\",\"6.0\",\"0.0\",\"3.0\",\"18.0\",\"8.0\",\"0.0\",\"5.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"392\",\"38\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048767298532663296\",\"https://twitter.com/Playerapp_cbsk/status/1048767298532663296\",\"【#大学バスケ注目試合👀】\n\n早稲田 VS 大東文化\n10/7(日)15:40 TIP OFF！\n\n現在首位の大東文化に早稲田がどう挑むか💨\n試合前にぜひ両チームへの応援コメントを書き込んでみてください😊\n\nhttps://t.co/zvmK0LT97J\",\"2018-10-07 02:49 +0000\",\"956.0\",\"22.0\",\"0.02301255230125523\",\"1.0\",\"0.0\",\"0.0\",\"3.0\",\"15.0\",\"0.0\",\"3.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048388500695875584\",\"https://twitter.com/Playerapp_cbsk/status/1048388500695875584\",\"【#大学バスケ注目試合👀】\n\n法政 VS 明星\n10/6(土)12:00 TIP OFF！\n\n好調を保つ法政に対し、\n明星はどんな戦略で挑むか楽しみです✍️\n\n試合前にぜひ両チームへの応援コメントを書き込んでみてください😊\n\nhttps://t.co/H1qt6a2YHS\",\"2018-10-06 01:44 +0000\",\"663.0\",\"9.0\",\"0.013574660633484163\",\"0.0\",\"0.0\",\"0.0\",\"4.0\",\"2.0\",\"0.0\",\"3.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n"

Parseしたもの

<Enumerator: #<Enumerator: [["ツイートID", "ツイートの固定リンク", "ツイート本文", "時間", "インプレッション", "エンゲージメント", "エンゲージメント率", "リツイート", "返信", "いいね", "ユーザープロフィールクリック", "URLクリック数", "ハッシュタグクリック", "詳細クリック", "固定リンクのクリック数", "アプリ表示", "アプリインストール", "フォローしている", "ツイートをメール送信", "ダイアル式電話", "メディアの再生数", "メディアのエンゲージメント", "プロモのインプレッション", "プロモのエンゲージメント", "プロモのエンゲージメント率", "プロモのリツイート", "プロモの返信", "プロモのいいね", "プロモのユーザープロフィールクリック", "プロモのURLクリック数", "プロモのハッシュタグクリック", "プロモの詳細クリック", "プロモの固定リンクのクリック数", "プロモのアプリ表示", "プロモのアプリインストール", "プロモのフォローしている", "プロモのツイートをメール送信", "プロモのダイアル式電話", "プロモのメディアの再生数", "プロモのメディアのエンゲージメント"], ["1049656543589875712", "https://twitter.com/Playerapp_cbsk/status/1049656543589875712", "大学生の皆さんーー！！\n絶対楽しいのでぜひぜひ参加下さい😊 https://t.co/90pPlcUF2L", "2018-10-09 13:43 +0000", "1332.0", "4.0", "0.003003003003003003", "0.0", "0.0", "1.0", "2.0", "0.0", "0.0", "1.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1049164532881358848", "https://twitter.com/Playerapp_cbsk/status/1049164532881358848", "おおー！！\n大学バスケでもやろうかなー需要あるかなーー😎\n\n#高校バスケ #ウインターカップ＃大学バスケ https://t.co/snkoMweMAT", "2018-10-08 05:08 +0000", "1578.0", "6.0", "0.0038022813688212928", "1.0", "0.0", "2.0", "0.0", "0.0", "1.0", "2.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1048767660815609856", "https://twitter.com/Playerapp_cbsk/status/1048767660815609856", "🏀RT&いいねで #大学バスケを盛り上げよう🏀\n\n大東文化を応援🔥→「RT」\n早稲田(@w_basketball )を応援🔥→「いいね」\n\nPlayer!速報はこちら👇\nhttps://t.co/kAS3LIwvS4 https://t.co/FWLsgTuy1I", "2018-10-07 02:51 +0000", "3276.0", "95.0", "0.028998778998779", "3.0", "0.0", "7.0", "13.0", "14.0", "0.0", "17.0", "0.0", "0", "0", "0", "0", "0", "463", "41", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1048767584500297728", "https://twitter.com/Playerapp_cbsk/status/1048767584500297728", "🏀RT&いいねで #大学バスケを盛り上げよう🏀\n\n早稲田(@w_basketball )を応援🔥→「RT」\n大東文化を応援🔥→「いいね」\n\nこちらも注目の1戦ですね👀\n\nPlayer!速報はこちら👇\nhttps://t.co/kAS3LIwvS4 https://t.co/9VE8yifWO6", "2018-10-07 02:50 +0000", "3400.0", "78.0", "0.022941176470588236", "6.0", "0.0", "3.0", "18.0", "8.0", "0.0", "5.0", "0.0", "0", "0", "0", "0", "0", "392", "38", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1048767298532663296", "https://twitter.com/Playerapp_cbsk/status/1048767298532663296", "【#大学バスケ注目試合👀】\n\n早稲田 VS 大東文化\n10/7(日)15:40 TIP OFF！\n\n現在首位の大東文化に早稲田がどう挑むか💨\n試合前にぜひ両チームへの応援コメントを書き込んでみてください😊\n\nhttps://t.co/zvmK0LT97J", "2018-10-07 02:49 +0000", "956.0", "22.0", "0.02301255230125523", "1.0", "0.0", "0.0", "3.0", "15.0", "0.0", "3.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1048388500695875584", "https://twitter.com/Playerapp_cbsk/status/1048388500695875584", "【#大学バスケ注目試合👀】\n\n法政 VS 明星\n10/6(土)12:00 TIP OFF！\n\n好調を保つ法政に対し、\n明星はどんな戦略で挑むか楽しみです✍️\n\n試合前にぜひ両チームへの応援コメントを書き込んでみてください😊\n\nhttps://t.co/H1qt6a2YHS", "2018-10-06 01:44 +0000", "663.0", "9.0", "0.013574660633484163", "0.0", "0.0", "0.0", "4.0", "2.0", "0.0", "3.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"]]:each>:with_index>

yusuko commented 5 years ago

<Enumerator: #<Enumerator: [["ツイートID", "ツイートの固定リンク", "ツイート本文", "時間", "インプレッション", "エンゲージメント", "エンゲージメント率", "リツイート", "返信", "いいね", "ユーザープロフィールクリック", "URLクリック数", "ハッシュタグクリック", "詳細クリック", "固定リンクのクリック数", "アプリ表示", "アプリインストール", "フォローしている", "ツイートをメール送信", "ダイアル式電話", "メディアの再生数", "メディアのエンゲージメント", "プロモのインプレッション", "プロモのエンゲージメント", "プロモのエンゲージメント率", "プロモのリツイート", "プロモの返信", "プロモのいいね", "プロモのユーザープロフィールクリック", "プロモのURLクリック数", "プロモのハッシュタグクリック", "プロモの詳細クリック", "プロモの固定リンクのクリック数", "プロモのアプリ表示", "プロモのアプリインストール", "プロモのフォローしている", "プロモのツイートをメール送信", "プロモのダイアル式電話", "プロモのメディアの再生数", "プロモのメディアのエンゲージメント"], ["1049517120516587520", "https://twitter.com/Playerapp_wbsk/status/1049517120516587520", "【#wリーグ開幕戦】\n\n#富士通 vs #東京羽田\n\n🙋🏻‍♀️スカイアリーナ座間\n🙋🏻‍♀️2018年 10月19日 (金)\n🙋🏻‍♀️19:00〜\n\n開幕戦のカードはこちらです！！！\n\nお見逃しなくです！！！！！✌️", "2018-10-09 04:29 +0000", "4286.0", "24.0", "0.0055996266915538965", "3.0", "0.0", "12.0", "7.0", "0.0", "2.0", "0.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1049194323609186304", "https://twitter.com/Playerapp_wbsk/status/1049194323609186304", "ええ〜！！世界2位...世界2位ですよ！！！！😊\n\n3x3女子日本代表、U23W杯で銀メダル獲得…アジア大会に続く快挙 https://t.co/g0gbMOFdKD #playerapp https://t.co/g0gbMOFdKD", "2018-10-08 07:06 +0000", "8758.0", "253.0", "0.028887873943822792", "18.0", "0.0", "88.0", "9.0", "119.0", "5.0", "14.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047676903744630784", "https://twitter.com/Playerapp_wbsk/status/1047676903744630784", "【#福井国体少年女子バスケ】\n\n🆚愛知県選抜 - 宮崎県選抜\n🏆決勝\n\n愛知が宮崎を破り、🏆2年ぶり25回目の国体優勝🏆\nに輝きました👑👏\n\n#高校バスケ #国体\nhttps://t.co/CLSdDFJtPa", "2018-10-04 02:36 +0000", "16450.0", "653.0", "0.039696048632218844", "32.0", "0.0", "98.0", "142.0", "323.0", "13.0", "45.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047672876898209793", "https://twitter.com/Playerapp_wbsk/status/1047672876898209793", "【#福井国体少年女子バスケ】\n\n🆚愛知県選抜 - 宮崎県選抜\n🏆決勝\n⏰4Q 3分経過\n\n最終Qも愛知👏\n\nここにきて約20点ビハインド、\n宮崎厳しくなってきた🙏\n\n#高校バスケ #国体\n https://t.co/unpdm4TnQA", "2018-10-04 02:20 +0000", "2169.0", "105.0", "0.048409405255878286", "0.0", "0.0", "4.0", "30.0", "62.0", "1.0", "8.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047671453540212737", "https://twitter.com/Playerapp_wbsk/status/1047671453540212737", "【#福井国体少年女子バスケ】\n\n🆚愛知県選抜 - 宮崎県選抜\n🏆決勝\n⏰3Q終了\n\n愛知が再び16点差に！！！！\n最終Qも、もう一波乱ありそうです✍️✍️\n\n#高校バスケ #国体\n https://t.co/6ygc2jkjxJ", "2018-10-04 02:15 +0000", "1708.0", "37.0", "0.021662763466042154", "0.0", "0.0", "1.0", "9.0", "22.0", "1.0", "4.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047669580804513793", "https://twitter.com/Playerapp_wbsk/status/1047669580804513793", "【#福井国体少年女子バスケ】\n\n🆚愛知県選抜 - 宮崎県選抜\n🏆決勝\n⏰3Q 6分経過\n\nしかししかし！！\n愛知すかさず連続得点で突き放すー👏\n\nなんて面白い決勝戦😭\n\n#高校バスケ #国体\n https://t.co/xXMBtzrl4X", "2018-10-04 02:07 +0000", "2350.0", "83.0", "0.03531914893617021", "0.0", "0.0", "4.0", "29.0", "36.0", "4.0", "10.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047667856354070528", "https://twitter.com/Playerapp_wbsk/status/1047667856354070528", "【#福井国体少年女子バスケ】\n\n🆚愛知県選抜 - 宮崎県選抜\n🏆決勝\n⏰3Q\n\nなんとー！！！\n宮崎の猛追✨👏\n\n愛知はたまらずTOです⏰\n\n#高校バスケ #国体\n https://t.co/mZZNjhzG1J", "2018-10-04 02:00 +0000", "3033.0", "190.0", "0.06264424662050774", "3.0", "0.0", "11.0", "79.0", "84.0", "3.0", "10.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047665177305305089", "https://twitter.com/Playerapp_wbsk/status/1047665177305305089", "【#福井国体少年女子バスケ】\n\n🆚愛知県選抜 - 宮崎県選抜\n🏆決勝\n⏰前半終了\n\n愛知が18点リードで後半へ🙌\n決勝の舞台で100点ペースとは...\n\n何事じゃああ...\n\n#高校バスケ #国体\n https://t.co/gTmOO8gfRo", "2018-10-04 01:50 +0000", "2601.0", "138.0", "0.0530565167243368", "2.0", "0.0", "6.0", "36.0", "52.0", "4.0", "38.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047660900457431040", "https://twitter.com/Playerapp_wbsk/status/1047660900457431040", "【#福井国体少年女子バスケ】\n\n🆚愛知県選抜 - 宮崎県選抜\n🏆決勝\n⏰2Q \n\n2Q入って早速のダブルスコア、、、😳\n圧倒的すぎますー💁‍♀️\n\n#高校バスケ #国体\n https://t.co/KqTkacl9uJ", "2018-10-04 01:33 +0000", "1718.0", "67.0", "0.0389988358556461", "0.0", "0.0", "5.0", "3.0", "48.0", "0.0", "11.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047659710223011840", "https://twitter.com/Playerapp_wbsk/status/1047659710223011840", "【#福井国体少年女子バスケ】\n\n🆚愛知県選抜 - 宮崎県選抜\n🏆決勝\n⏰1Q終了\n\n愛知が1Qから二桁差ー!!\n流石に強い...😭\n\n#高校バスケ #国体\n https://t.co/KrZ57fLYkj", "2018-10-04 01:28 +0000", "1674.0", "46.0", "0.027479091995221028", "0.0", "0.0", "6.0", "13.0", "20.0", "1.0", "6.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047656404637573120", "https://twitter.com/Playerapp_wbsk/status/1047656404637573120", "【#福井国体少年女子バスケ】\n\n🆚愛知県選抜 - 宮崎県選抜\n🏆決勝\n\nまずは互角な展開!!!!\n宮崎食らいつけー✨\n\n#高校バスケ #国体\n https://t.co/HgW4O5mGME", "2018-10-04 01:15 +0000", "1504.0", "69.0", "0.045877659574468085", "0.0", "0.0", "3.0", "13.0", "42.0", "2.0", "9.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047654778640035840", "https://twitter.com/Playerapp_wbsk/status/1047654778640035840", "【#福井国体少年女子バスケ】\n\n🆚愛知県選抜 - 宮崎県選抜\n🏆決勝\n\n遂に！！始まりましたー！！\n\n⛹️‍♂️‍♀️スターター\n愛知：4坂本 8モハメド 9平下 13岡本 14江村\n宮崎：6成﨑 7ムボムボ 9ウォーカー 12日高 13フェスター\n\n#高校バスケ #国体\n https://t.co/QbqiKhr1sX", "2018-10-04 01:08 +0000", "3703.0", "141.0", "0.03807723467458817", "1.0", "0.0", "6.0", "35.0", "79.0", "4.0", "16.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047462247159590917", "https://twitter.com/Playerapp_wbsk/status/1047462247159590917", "【#福井国体少年女子バスケ】\n\n🆚愛知県選抜 - 宮崎県選抜\n🏆決勝\n\n明日はいよいよ決勝！！✨\n本命愛知か、宮崎が阻止するのか🙏\n\n今から待ちきれません😊🙌\n\n#高校バスケ #国体\nhttps://t.co/3tkv1APegy", "2018-10-03 12:23 +0000", "8009.0", "169.0", "0.021101261081283556", "4.0", "0.0", "19.0", "32.0", "92.0", "6.0", "16.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047454709173256192", "https://twitter.com/Playerapp_wbsk/status/1047454709173256192", "😭😭👏👏\n#AkatsukiFive\n\n目標に届かなかったからこそ見えた壁…女子日本代表が踏みだす次の一歩 https://t.co/CD4WjJ3mGu #playerapp https://t.co/CD4WjJ3mGu", "2018-10-03 11:53 +0000", "2091.0", "65.0", "0.031085604973696796", "1.0", "0.0", "15.0", "7.0", "37.0", "3.0", "2.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047355568459931648", "https://twitter.com/Playerapp_wbsk/status/1047355568459931648", "【#福井国体少年女子バスケ】\n\n👑決勝組み合わせ👑\n\n愛知🆚宮崎\n\n今大会ダークホースとなった宮崎、\n決勝まで来ました👏👏\n\n絶対王者愛知との決勝、\nかーなり楽しみです✨\n\n#高校バスケ #国体\n\n大会ページから予約を👇\nhttps://t.co/soRUi28QaQ … https://t.co/aDTTWhrC5L", "2018-10-03 05:20 +0000", "24014.0", "1274.0", "0.05305238610810361", "55.0", "0.0", "119.0", "242.0", "302.0", "39.0", "114.0", "0.0", "0", "0", "0", "0", "0", "403", "403", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047351703354277888", "https://twitter.com/Playerapp_wbsk/status/1047351703354277888", "【#福井国体少年女子バスケ】\n\n🆚宮崎県選抜 - 北海道選抜\n🏆準決勝\n\n宮崎が点の取り合いを制し決勝進出ー!!!!\n宮崎は本当に今大会台風の目となってます😭👏\n\n#高校バスケ #国体\nhttps://t.co/Qx7KqatChv", "2018-10-03 05:04 +0000", "7488.0", "299.0", "0.03993055555555555", "16.0", "0.0", "31.0", "49.0", "165.0", "9.0", "29.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047322989098725376", "https://twitter.com/Playerapp_wbsk/status/1047322989098725376", "【#福井国体少年女子バスケ】\n\n🆚愛知県選抜 - 大阪府選抜\n🏆準決勝\n\n愛知県が決勝進出！！！\n強すぎますー...😳😳\n\n#高校バスケ #国体\nhttps://t.co/RnAndWvtPA", "2018-10-03 03:10 +0000", "4982.0", "211.0", "0.04235246888799679", "6.0", "0.0", "17.0", "55.0", "97.0", "18.0", "18.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047288146700906496", "https://twitter.com/Playerapp_wbsk/status/1047288146700906496", "【#福井国体少年女子バスケ】\n\n🆚愛知県選抜 - 大阪府選抜\n🏆準決勝\n\n今日も結果速報ですー🙌\nこの後10時から😊\n\n#高校バスケ #国体\n https://t.co/DXUWM23F1V", "2018-10-03 00:52 +0000", "3399.0", "299.0", "0.08796704913209767", "2.0", "0.0", "5.0", "83.0", "167.0", "9.0", "33.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047083789996806149", "https://twitter.com/Playerapp_wbsk/status/1047083789996806149", "高田さん😭😭😭\n\n自分たちには責任があるとみんなに話してきました。誰かがいないとか、誰かが抜けたからっていうのは言い訳になるよと。\n\nhttps://t.co/CD4WjJ3mGu #playerapp https://t.co/CD4WjJ3mGu", "2018-10-02 11:20 +0000", "4207.0", "153.0", "0.03636795816496316", "4.0", "0.0", "34.0", "11.0", "99.0", "0.0", "5.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047048758398267393", "https://twitter.com/Playerapp_wbsk/status/1047048758398267393", "【#福井国体少年女子バスケ】\n\n👑👑ベスト4決定👑👑\n\n愛知🆚 大阪\n宮崎🆚 北海道\n\n愛知大阪の対決は見ものです!!!!\n\nそして、破竹の勢いで勝ち上がってきた宮崎の行方も見逃せませんー😭\n\n#高校バスケ #国体\n\n大会ページから予約を👇\nhttps://t.co/soRUi1Rfji https://t.co/XBS93IIyAB", "2018-10-02 09:00 +0000", "12862.0", "617.0", "0.04797076659928472", "16.0", "0.0", "60.0", "90.0", "105.0", "23.0", "28.0", "0.0", "0", "0", "0", "0", "0", "295", "295", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047043536506503168", "https://twitter.com/Playerapp_wbsk/status/1047043536506503168", "【#福井国体少年女子バスケ】\n\n🆚北海道選抜 - 愛媛県選抜\n🏆準々決勝\n\n北海道がベスト4最後の一つを掴みとりますー👏👏\n\n#高校バスケ #国体\nhttps://t.co/VDYNjBsfMj", "2018-10-02 08:40 +0000", "3672.0", "107.0", "0.029139433551198256", "1.0", "0.0", "7.0", "29.0", "53.0", "1.0", "16.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1047021171454201856", "https://twitter.com/Playerapp_wbsk/status/1047021171454201856", "【#福井国体少年女子バスケ】\n\n🆚秋田県選抜 - 宮崎県選抜\n🏆準々決勝\n\n東京を破った勢いそのまま、秋田にも快勝👏\nベスト4進出ですー✌️✌️\n\n#高校バスケ #国体\nhttps://t.co/kQVicrDWsj", "2018-10-02 07:11 +0000", "6384.0", "296.0", "0.046365914786967416", "9.0", "0.0", "23.0", "87.0", "139.0", "7.0", "31.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1046988891847348224", "https://twitter.com/Playerapp_wbsk/status/1046988891847348224", "【#福井国体少年女子バスケ】\n\n🆚大阪府選抜 - 福岡県選抜\n🏆準々決勝\n\n大阪が福岡相手に30点差つけ、\n準決勝進出ー👏\n\n#高校バスケ #国体\nhttps://t.co/5AA9P8YeBx", "2018-10-02 05:02 +0000", "4002.0", "116.0", "0.028985507246376812", "1.0", "0.0", "2.0", "39.0", "61.0", "4.0", "9.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1046984106138046465", "https://twitter.com/Playerapp_wbsk/status/1046984106138046465", "@bz_1988_bz すみません、愛知です🙇‍♀️\n愛知が82-69で勝ちました！", "2018-10-02 04:43 +0000", "855.0", "24.0", "0.028070175438596492", "0.0", "0.0", "1.0", "3.0", "0.0", "0.0", "20.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1046981036532555776", "https://twitter.com/Playerapp_wbsk/status/1046981036532555776", "【な、な、なんと...！！！】\n\n中の人...！？！⛹️‍♂️‍♀️\n\n#player \n\nhttps://t.co/O4dHb9dfwD", "2018-10-02 04:31 +0000", "2202.0", "78.0", "0.035422343324250684", "0.0", "0.0", "2.0", "7.0", "31.0", "0.0", "38.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1046964254300131329", "https://twitter.com/Playerapp_wbsk/status/1046964254300131329", "【#福井国体少年女子バスケ】\n\n🆚愛知県選抜 - 千葉県選抜\n🏆準々決勝\n\n愛知が一足先にベスト4進出でえす👏\n\n#高校バスケ #国体\nhttps://t.co/q2WxIQGm63", "2018-10-02 03:25 +0000", "7915.0", "523.0", "0.06607706885660139", "2.0", "1.0", "3.0", "143.0", "259.0", "18.0", "97.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1046697440370257920", "https://twitter.com/Playerapp_wbsk/status/1046697440370257920", "😳☺️😊😉\u{1F92D}👏\n#Bリーグ\n\n「少年のように可愛い」イケメン選手も！　今Bリーグに行くべき6つの理由 | ananニュース - マガジンハウス https://t.co/TspporCsvq #playerapp https://t.co/TspporCsvq", "2018-10-01 09:44 +0000", "2063.0", "33.0", "0.015996122152205527", "0.0", "0.0", "1.0", "10.0", "17.0", "1.0", "4.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1046687999709171712", "https://twitter.com/Playerapp_wbsk/status/1046687999709171712", "【#福井国体少年女子バスケ】\n\n🏆🏆🏆🏆ベスト8決定🏆🏆🏆🏆\n\n愛知🆚 千葉\n福岡🆚 大阪\n秋田🆚 宮城\n福井🆚 北海道\n\n波乱起きましたね!!!!\n東京が宮崎に敗退😳😳\n\n明日も楽しみなので、今日以上の試合を期待です🙌\n\n#高校バスケ #国体\nhttps://t.co/soRUi28QaQ https://t.co/TnsIUoLqvX", "2018-10-01 09:07 +0000", "16524.0", "1550.0", "0.09380295328007747", "10.0", "2.0", "27.0", "200.0", "190.0", "17.0", "110.0", "0.0", "0", "0", "0", "0", "0", "994", "994", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1046685208383184896", "https://twitter.com/Playerapp_wbsk/status/1046685208383184896", "【#福井国体少年女子バスケ】\n\n🆚福井選抜 - 愛媛選抜\n🏆1回戦\n\n最終試合は愛媛に軍配!!\n開催地福井、残念です🙇‍♀️\n\n#高校バスケ #国体\nhttps://t.co/IGbqe0Jk2w", "2018-10-01 08:56 +0000", "4409.0", "137.0", "0.031072805624858243", "3.0", "0.0", "2.0", "21.0", "98.0", "3.0", "10.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1046663919186505728", "https://twitter.com/Playerapp_wbsk/status/1046663919186505728", "【#福井国体少年女子バスケ】\n\n🆚東京選抜 - 宮崎選抜\n🏆1回戦\n\nなんと！！！\n宮城が東京を破りました👏👏\n\nすんばらしいー😊\n\n#高校バスケ #国体\nhttps://t.co/HIollqUWKO", "2018-10-01 07:31 +0000", "10508.0", "548.0", "0.052150742291587365", "14.0", "0.0", "32.0", "147.0", "274.0", "22.0", "59.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1046658390959648769", "https://twitter.com/Playerapp_wbsk/status/1046658390959648769", "【#福井国体少年女子バスケ】\n\n🆚福岡選抜 - 新潟選抜\n🏆1回戦\n\n福岡ー!!\n新潟相手に20点差つけベスト8👏👏\n\n#高校バスケ #国体\nhttps://t.co/xpJKpdCC4O", "2018-10-01 07:09 +0000", "5332.0", "187.0", "0.03507126781695424", "5.0", "0.0", "13.0", "60.0", "94.0", "6.0", "9.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1046604510641025025", "https://twitter.com/Playerapp_wbsk/status/1046604510641025025", "【#福井国体少年女子バスケ】\n\n🆚山口選抜 - 千葉選抜\n🏆1回戦\n\n第1試合、千葉選抜が大勝です👏\n\n#高校バスケ #国体\nhttps://t.co/MrRFdSMpi2", "2018-10-01 03:35 +0000", "7139.0", "323.0", "0.04524443199327637", "5.0", "0.0", "8.0", "138.0", "122.0", "22.0", "28.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"], ["1046573999919063040", "https://twitter.com/Playerapp_wbsk/status/1046573999919063040", "【国体少年女子バスケ⛹️‍♂️‍♀️】\n🏆1回戦\n\n国体始まりましたー🙌\n\n女子は参加地域少ないですが、\n高校バスケ好きは見逃しちゃダメです😳\n\n※今大会は結果速報となります\n#高校バスケ #国体\n\n大会ページ👇\nhttps://t.co/soRUi28QaQ", "2018-10-01 01:34 +0000", "9556.0", "699.0", "0.07314776056927584", "2.0", "0.0", "7.0", "119.0", "503.0", "35.0", "33.0", "0.0", "0", "0", "0", "0", "0", "0", "0", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-", "-"]]:each>:with_index>

yusuko commented 5 years ago

"\"ツイートID\",\"ツイートの固定リンク\",\"ツイート本文\",\"時間\",\"インプレッション\",\"エンゲージメント\",\"エンゲージメント率\",\"リツイート\",\"返信\",\"いいね\",\"ユーザープロフィールクリック\",\"URLクリック数\",\"ハッシュタグクリック\",\"詳細クリック\",\"固定リンクのクリック数\",\"アプリ表示\",\"アプリインストール\",\"フォローしている\",\"ツイートをメール送信\",\"ダイアル式電話\",\"メディアの再生数\",\"メディアのエンゲージメント\",\"プロモのインプレッション\",\"プロモのエンゲージメント\",\"プロモのエンゲージメント率\",\"プロモのリツイート\",\"プロモの返信\",\"プロモのいいね\",\"プロモのユーザープロフィールクリック\",\"プロモのURLクリック数\",\"プロモのハッシュタグクリック\",\"プロモの詳細クリック\",\"プロモの固定リンクのクリック数\",\"プロモのアプリ表示\",\"プロモのアプリインストール\",\"プロモのフォローしている\",\"プロモのツイートをメール送信\",\"プロモのダイアル式電話\",\"プロモのメディアの再生数\",\"プロモのメディアのエンゲージメント\"\n\"1049656543589875712\",\"https://twitter.com/Playerapp_cbsk/status/1049656543589875712\",\"大学生の皆さんーー！！\n絶対楽しいのでぜひぜひ参加下さい😊 https://t.co/90pPlcUF2L\",\"2018-10-09 13:43 +0000\",\"1332.0\",\"4.0\",\"0.003003003003003003\",\"0.0\",\"0.0\",\"1.0\",\"2.0\",\"0.0\",\"0.0\",\"1.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1049164532881358848\",\"https://twitter.com/Playerapp_cbsk/status/1049164532881358848\",\"おおー！！\n大学バスケでもやろうかなー需要あるかなーー😎\n\n#高校バスケ #ウインターカップ ＃大学バスケ https://t.co/snkoMweMAT\",\"2018-10-08 05:08 +0000\",\"1578.0\",\"6.0\",\"0.0038022813688212928\",\"1.0\",\"0.0\",\"2.0\",\"0.0\",\"0.0\",\"1.0\",\"2.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048767660815609856\",\"https://twitter.com/Playerapp_cbsk/status/1048767660815609856\",\"🏀RT&amp;いいねで #大学バスケ を盛り上げよう🏀\n\n大東文化を応援🔥→「RT」\n早稲田(@w_basketball )を応援🔥→「いいね」\n\nPlayer!速報はこちら👇\nhttps://t.co/kAS3LIwvS4 https://t.co/FWLsgTuy1I\",\"2018-10-07 02:51 +0000\",\"3276.0\",\"95.0\",\"0.028998778998779\",\"3.0\",\"0.0\",\"7.0\",\"13.0\",\"14.0\",\"0.0\",\"17.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"463\",\"41\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048767584500297728\",\"https://twitter.com/Playerapp_cbsk/status/1048767584500297728\",\"🏀RT&amp;いいねで #大学バスケ を盛り上げよう🏀\n\n早稲田(@w_basketball )を応援🔥→「RT」\n大東文化を応援🔥→「いいね」\n\nこちらも注目の1戦ですね👀\n\nPlayer!速報はこちら👇\nhttps://t.co/kAS3LIwvS4 https://t.co/9VE8yifWO6\",\"2018-10-07 02:50 +0000\",\"3400.0\",\"78.0\",\"0.022941176470588236\",\"6.0\",\"0.0\",\"3.0\",\"18.0\",\"8.0\",\"0.0\",\"5.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"392\",\"38\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048767298532663296\",\"https://twitter.com/Playerapp_cbsk/status/1048767298532663296\",\"【#大学バスケ 注目試合👀】\n\n早稲田 VS 大東文化\n10/7(日)15:40 TIP OFF！\n\n現在首位の大東文化に早稲田がどう挑むか💨\n試合前にぜひ両チームへの応援コメントを書き込んでみてください😊\n\nhttps://t.co/zvmK0LT97J\",\"2018-10-07 02:49 +0000\",\"956.0\",\"22.0\",\"0.02301255230125523\",\"1.0\",\"0.0\",\"0.0\",\"3.0\",\"15.0\",\"0.0\",\"3.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n\"1048388500695875584\",\"https://twitter.com/Playerapp_cbsk/status/1048388500695875584\",\"【#大学バスケ 注目試合👀】\n\n法政 VS 明星\n10/6(土)12:00 TIP OFF！\n\n好調を保つ法政に対し、\n明星はどんな戦略で挑むか楽しみです✍️\n\n試合前にぜひ両チームへの応援コメントを書き込んでみてください😊\n\nhttps://t.co/H1qt6a2YHS\",\"2018-10-06 01:44 +0000\",\"663.0\",\"9.0\",\"0.013574660633484163\",\"0.0\",\"0.0\",\"0.0\",\"4.0\",\"2.0\",\"0.0\",\"3.0\",\"0.0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"0\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\",\"-\"\n"

@ladnack ターミナルに出ているものはこちらです。

sakatore commented 5 years ago

@yusuko

HerokuでCollaboratorsにおれも追加しておいて

sakatore commented 5 years ago

@yusuko Did you already see http://blog.livedoor.jp/sasata299/archives/51330773.html ?

Ruby の CSV ライブラリでパースするときには、ダブルクォートは "" とエスケープされていないといけない

yusuko commented 5 years ago

OK! Thank you!

I'm checking now!

Did you already see http://blog.livedoor.jp/sasata299/archives/51330773.html ? Ruby の CSV ライブラリでパースするときには、ダブルクォートは "" とエスケープされていないといけない

No, I didn't. I try to do it.

yusuko commented 5 years ago

問題が発覚。そもそもログインができていなかった。

そのため、csvが取得できずに

.... が変数`csv`に代入されていた。電話番号が必要とのことなので、確認中。もしくはローカルにあるクッキー情報を、herokuに移すのもありか。

yusuko commented 5 years ago

ログインに電話番号が必要だったため、手動で一個一個入力していった。

ログイン問題は解決
ただ、後半２つのcsvが取れない。(" ")になる。

yusuko commented 5 years ago

csvが取得できる時とできない時がある。そのため、ループ処理で10回までリクエストを送っているがそれでも取得できない時がある🤔

また、別途でSQL connection Errorが起きる。

yusuko commented 5 years ago

Player_twiのデータ取得できていない件について。

csvは先ほど取れたが基本的にnilで返ってくることがほとんど
先ほどは、csvで取れたが下記のエラーが発生した。

Cookie#domain returns dot-less domain name now. Use Cookie#dot_domain if you need "." at the beginning.
/app/vendor/bundle/ruby/2.4.0/gems/httpclient-2.8.3/lib/httpclient/session.rb:524:in `rescue in query': HTTPClient::KeepAliveDisconnected: Broken pipe (HTTPClient::KeepAliveDisconnected)
    from /app/vendor/bundle/ruby/2.4.0/gems/httpclient-2.8.3/lib/httpclient/session.rb:514:in `query'
    from /app/vendor/bundle/ruby/2.4.0/gems/httpclient-2.8.3/lib/httpclient/session.rb:177:in `query'
    from /app/vendor/bundle/ruby/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:1242:in `do_get_block'
    from /app/vendor/bundle/ruby/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:1019:in `block in do_request'
    from /app/vendor/bundle/ruby/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:1138:in `rescue in protect_keep_alive_disconnected'
    from /app/vendor/bundle/ruby/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:1131:in `protect_keep_alive_disconnected'
    from /app/vendor/bundle/ruby/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:1014:in `do_request'
    from /app/vendor/bundle/ruby/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:1104:in `follow_redirect'
    from /app/vendor/bundle/ruby/2.4.0/gems/httpclient-2.8.3/lib/httpclient.rb:854:in `request'
    from /app/vendor/bundle/ruby/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:291:in `execute_once'
    from /app/vendor/bundle/ruby/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:104:in `block (2 levels) in execute'
    from /app/vendor/bundle/ruby/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:61:in `block in retriable'
    from /app/vendor/bundle/ruby/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `times'
    from /app/vendor/bundle/ruby/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `retriable'
    from /app/vendor/bundle/ruby/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:101:in `block in execute'
    from /app/vendor/bundle/ruby/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:61:in `block in retriable'
    from /app/vendor/bundle/ruby/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `times'
    from /app/vendor/bundle/ruby/2.4.0/gems/retriable-3.1.2/lib/retriable.rb:56:in `retriable'
    from /app/vendor/bundle/ruby/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/http_command.rb:93:in `execute'
    from /app/vendor/bundle/ruby/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/base_service.rb:360:in `execute_or_queue_command'
    from /app/vendor/bundle/ruby/2.4.0/gems/google-api-client-0.21.2/lib/google/apis/core/base_service.rb:252:in `http'
    from /app/vendor/bundle/ruby/2.4.0/gems/google_drive-2.1.11/lib/google_drive/api_client_fetcher.rb:37:in `request_raw'
    from /app/vendor/bundle/ruby/2.4.0/gems/google_drive-2.1.11/lib/google_drive/session.rb:576:in `block in request'
    from /app/vendor/bundle/ruby/2.4.0/gems/google_drive-2.1.11/lib/google_drive/session.rb:575:in `loop'
    from /app/vendor/bundle/ruby/2.4.0/gems/google_drive-2.1.11/lib/google_drive/session.rb:575:in `request'
    from /app/vendor/bundle/ruby/2.4.0/gems/google_drive-2.1.11/lib/google_drive/worksheet.rb:413:in `save'
    from /app/google_sheet_client.rb:22:in `write_in_spreadsheet'
    from script.rb:16:in `block in <main>'
    from script.rb:10:in `each'
    from script.rb:10:in `<main>'

yusuko commented 5 years ago

Player_twiのproductionで取れない原因 1.そもそもcsvの取得に失敗する時がある →ループ処理の変更

2.メモリ落ちでエラーの発生 Process running mem=547M(106.9%) Error R14 (Memory quota exceeded)

Player_twiの１アカウントでメモリ落ちするので、何かしらの対応が必須。

RAM(おそらく変数とかの記憶に使われる)の容量が足りていない。

メモリ落ちする。
速度が遅くなる(スワップ)。herokuではこれをエラーとしている。

sakatore commented 5 years ago

@yusuko

https://github.com/ookamiinc/twitter-analytics-acquirer/issues/9#issuecomment-429600448

HerokuでCollaboratorsにおれも追加しておいて

🙏

yusuko commented 5 years ago

I'm sorry for late reply! I added your account. Please check!

sakatore commented 5 years ago

Thanks👍

yusuko commented 5 years ago

heroku公式ドキュメント

https://devcenter.heroku.com/articles/ruby-memory-use

yusuko commented 5 years ago

gem "puma_worker_killer" を使うと、メモリが落ちてもリスタートする(??)

yusuko commented 5 years ago

gemの容量 https://devcenter.heroku.com/articles/ruby-memory-use

Too much memory on boot A common cause of memory use is due to libraries being required in a Gemfile but not used. You can see how much memory your gems use at boot time through the derailed benchmark gem.

First add the gem to your Gemfile:

gem 'derailed', group: :development Now $ bundle install and you’re ready to investigate memory use. You can run:

$ bundle exec derailed bundle:mem This will output the memory use of each of your gems as they are required into memory:

$ derailed bundle:mem TOP: 54.1836 MiB mail: 18.9688 MiB mime/types: 17.4453 MiB mail/field: 0.4023 MiB mail/message: 0.3906 MiB action_view/view_paths: 0.4453 MiB action_view/base: 0.4336 MiB

yusuko commented 5 years ago

twitter_analtics_acquirer

TOP: 46.668 MiB
  google_drive: 22.4453 MiB
    google_drive/session: 17.3906 MiB
      google_drive/api_client_fetcher: 15.582 MiB
        google/apis/drive_v3: 13.082 MiB
          google/apis/drive_v3/service.rb: 9.3984 MiB
            google/apis/core/base_service: 8.0039 MiB (Also required by: google/apis/drive_v3/classes.rb, google/apis/drive_v3/representations.rb)
              google/apis/core/batch: 3.4688 MiB
                google/apis/core/upload: 3.3672 MiB (Also required by: google/apis/core/composite_io, google/apis/core/base_service)
                  mime-types: 3.3086 MiB
                    mime/types: 3.3047 MiB (Also required by: mechanize/pluggable_parsers)
                      mime/types/registry: 3.0781 MiB
              httpclient: 2.9648 MiB
                httpclient/cookie: 2.0469 MiB
                  http-cookie: 2.0 MiB
                    http/cookie: 2.0 MiB (Also required by: http/cookie_jar, mechanize/cookie)
                      domain_name: 1.9336 MiB
                        domain_name/etld_data: 1.875 MiB
                httpclient/session: 0.8203 MiB (Also required by: httpclient/auth)
                  httpclient/timeout: 0.7578 MiB
              google/apis/core/api_command: 0.9063 MiB (Also required by: google/apis/core/upload, google/apis/core/download)
                google/apis/core/http_command: 0.8477 MiB (Also required by: google/apis/core/batch, google/apis/core/upload)
              addressable/template: 0.4336 MiB (Also required by: google/apis/core/api_command, google/apis/core/http_command)
            google/apis/core/json_representation: 0.707 MiB (Also required by: google/apis/drive_v3/classes.rb, google/apis/drive_v3/representations.rb)
              representable/json: 0.5898 MiB
                representable/hash: 0.5547 MiB
                  representable: 0.5156 MiB (Also required by: representable/decorator)
          google/apis/drive_v3/representations.rb: 3.1211 MiB
          google/apis/drive_v3/classes.rb: 0.5195 MiB
        net/https: 2.4492 MiB (Also required by: webrobots)
          net/http: 2.4023 MiB (Also required by: net/http/digest_auth, net/http/persistent)
            net/protocol: 0.8438 MiB
              socket: 0.6563 MiB (Also required by: httpclient/session, ipaddr)
      google_drive/spreadsheet: 1.1523 MiB (Also required by: google_drive/collection)
        google_drive/worksheet: 0.8008 MiB (Also required by: google_drive/session)
          google_drive/list: 0.4883 MiB
            google_drive/list_row: 0.4219 MiB
    googleauth: 5.043 MiB (Also required by: google_drive/session, google/apis/core/base_service)
      googleauth/application_default: 3.332 MiB
        googleauth/compute_engine: 2.7734 MiB
          googleauth/signet: 2.1289 MiB (Also required by: googleauth/service_account, googleauth/user_refresh, and 3 others)
            signet/oauth_2/client: 2.0977 MiB (Also required by: googleauth/credentials)
              addressable/uri: 1.3516 MiB (Also required by: signet/errors, google/apis/core/base_service, and 8 others)
                addressable/idna: 1.1094 MiB
                  addressable/idna/pure: 1.1094 MiB
              jwt: 0.4766 MiB (Also required by: googleauth/service_account)
          faraday: 0.4961 MiB (Also required by: signet/oauth_2/client)
        googleauth/default_credentials: 0.5391 MiB (Also required by: googleauth)
      googleauth/credentials: 1.3984 MiB
  rails/all: 21.668 MiB
    rails: 8.2617 MiB (Also required by: active_record/railtie, active_model/railtie, and 7 others)
      rails/application: 3.1602 MiB
        yaml: 2.0508 MiB (Also required by: active_support/encrypted_configuration, rails/secrets, and 4 others)
          psych: 2.0391 MiB
            psych/nodes: 0.7773 MiB
              psych/nodes/alias: 0.375 MiB
            psych/visitors: 0.6914 MiB
              psych/visitors/yaml_tree: 0.3555 MiB
        active_support/message_verifier: 0.3164 MiB (Also required by: active_support/message_encryptor)
      active_support: 3.0469 MiB (Also required by: active_support/railtie, active_support/i18n_railtie, and 11 others)
        active_support/logger: 1.8984 MiB
          active_support/logger_silence: 1.793 MiB
            concurrent: 1.7695 MiB (Also required by: sprockets/manifest)
              concurrent/configuration: 0.5742 MiB (Also required by: concurrent/scheduled_task, concurrent/options, and 2 others)
                concurrent/delay: 0.4219 MiB (Also required by: concurrent/utility/processor_counter, concurrent)
                  concurrent/executor/immediate_executor: 0.3477 MiB (Also required by: concurrent/configuration, concurrent/executors)
              concurrent/atomics: 0.4375 MiB (Also required by: concurrent/executor/simple_executor_service)
              concurrent/executors: 0.3438 MiB
        active_support/dependencies/autoload: 1.0117 MiB (Also required by: rails, active_support/rails)
          active_support/inflector/methods: 1.0078 MiB (Also required by: active_support/inflector, active_support/core_ext/string/inflections, and 3 others)
            active_support/inflections: 0.9297 MiB (Also required by: active_support/inflector)
              active_support/inflector/inflections: 0.8242 MiB (Also required by: active_support/inflector)
                concurrent/map: 0.332 MiB (Also required by: i18n, active_support/notifications/fanout, and 6 others)
      active_support/railtie: 1.7266 MiB
        active_support/i18n_railtie: 1.6719 MiB
          active_support/file_update_checker: 0.9453 MiB (Also required by: rails/application/configuration)
            active_support/core_ext/time/calculations: 0.9219 MiB (Also required by: active_support/core_ext/time, active_support/core_ext/numeric/time)
              active_support/core_ext/time/conversions: 0.5352 MiB (Also required by: active_support/core_ext/time, active_support/core_ext/date_time/conversions)
                active_support/values/time_zone: 0.5234 MiB (Also required by: active_support/time_with_zone, active_support/core_ext/date_time/conversions)
                  tzinfo: 0.4531 MiB
          rails/railtie/configuration: 0.7031 MiB (Also required by: rails/engine/configuration)
            rails/configuration: 0.6914 MiB
              active_support/core_ext/object: 0.5938 MiB
                active_support/core_ext/object/conversions: 0.3047 MiB
    active_record/railtie: 7.3203 MiB
      action_controller/railtie: 4.8867 MiB (Also required by: rails/all, sprockets/railtie)
        action_controller: 3.8359 MiB
          action_controller/metal/strong_parameters: 1.8281 MiB
            rack/test: 1.0156 MiB
              rack/test/methods: 0.3945 MiB
          action_controller/metal/live: 1.6875 MiB
            action_dispatch/http/response: 1.5625 MiB
              rack/response: 1.1094 MiB
                rack/request: 0.8984 MiB (Also required by: action_dispatch/http/request)
                  rack/utils: 0.6602 MiB (Also required by: rack/response, sprockets/server, and 2 others)
        action_view/railtie: 0.8711 MiB (Also required by: rails/all)
          action_view: 0.7656 MiB (Also required by: sprockets/rails/helper)
            active_support/core_ext/string/output_safety: 0.6328 MiB (Also required by: action_view/helpers/tag_helper, action_view/helpers/capture_helper, and 6 others)
              erb: 0.3398 MiB (Also required by: sprockets/erb_processor, action_view/helpers/form_options_helper)
      active_record: 2.3477 MiB (Also required by: active_storage)
        arel: 0.9805 MiB
          arel/visitors: 0.5703 MiB
            arel/visitors/to_sql: 0.3945 MiB
              arel/visitors/reduce: 0.3789 MiB
        active_record/connection_adapters/abstract_adapter: 0.9063 MiB
    sprockets/railtie: 4.4688 MiB
      sprockets/rails/context: 2.1992 MiB
        action_view/helpers: 2.1875 MiB
          action_view/helpers/form_helper: 1.5703 MiB (Also required by: action_view/helpers/form_options_helper)
            action_view/helpers/form_tag_helper: 1.3203 MiB
              action_view/helpers/text_helper: 1.2188 MiB
                action_view/helpers/sanitize_helper: 1.1953 MiB
                  rails-html-sanitizer: 1.1836 MiB
                    loofah: 1.125 MiB
                      nokogiri: 1.0078 MiB (Also required by: google_drive/session, mechanize)
                        nokogiri/xml: 0.3711 MiB
                        nokogiri/html: 0.3047 MiB
      sprockets: 1.5195 MiB (Also required by: sprockets/rails/context, sprockets/rails/helper)
        sprockets/environment: 0.8867 MiB
          sprockets/base: 0.8359 MiB (Also required by: sprockets/cached_environment, sprockets/legacy)
            sprockets/configuration: 0.543 MiB (Also required by: sprockets)
      rails/application/configuration: 0.582 MiB
    active_storage/engine: 1.1797 MiB
      action_dispatch/routing/route_set: 1.0039 MiB
        action_dispatch/journey: 0.5352 MiB
          action_dispatch/journey/router: 0.4375 MiB
  mechanize: 1.793 MiB
    mechanize/http/agent: 0.5195 MiB
    mechanize/form: 0.4883 MiB
  mysql2: 0.7148 MiB
    mysql2/mysql2: 0.5977 MiB

yusuko commented 5 years ago

railsの使用量が多いので、日付をrubyに書き換える

yusuko commented 5 years ago

rails gemを削除した後の使用量(約半分に)

TOP: 28.7656 MiB
  google_drive: 24.4648 MiB
    google_drive/session: 18.2656 MiB
      google_drive/api_client_fetcher: 14.4023 MiB
        google/apis/drive_v3: 13.6563 MiB
          google/apis/drive_v3/service.rb: 9.5977 MiB
            google/apis/core/base_service: 8.8516 MiB (Also required by: google/apis/drive_v3/classes.rb, google/apis/drive_v3/representations.rb)
              google/apis/core/batch: 6.0859 MiB
                google/apis/core/upload: 6.0195 MiB (Also required by: google/apis/core/composite_io, google/apis/core/base_service)
                  mime-types: 5.9961 MiB
                    mime/types: 5.9961 MiB (Also required by: mechanize/pluggable_parsers)
                      mime/types/registry: 5.8203 MiB
              httpclient: 2.2773 MiB
                httpclient/cookie: 1.5781 MiB
                  http-cookie: 1.4453 MiB
                    http/cookie: 1.4375 MiB (Also required by: http/cookie_jar, mechanize/cookie)
                      domain_name: 1.3867 MiB
                        domain_name/etld_data: 1.2109 MiB
              google/apis/core/api_command: 0.375 MiB (Also required by: google/apis/core/upload, google/apis/core/download)
                google/apis/core/http_command: 0.3672 MiB (Also required by: google/apis/core/batch, google/apis/core/upload)
            google/apis/core/json_representation: 0.6445 MiB (Also required by: google/apis/drive_v3/classes.rb, google/apis/drive_v3/representations.rb)
              representable/json: 0.5273 MiB
                representable/hash: 0.4883 MiB
                  representable: 0.4688 MiB (Also required by: representable/decorator)
          google/apis/drive_v3/representations.rb: 3.4375 MiB
          google/apis/drive_v3/classes.rb: 0.6055 MiB
        net/https: 0.7344 MiB (Also required by: webrobots)
          net/http: 0.7305 MiB (Also required by: net/http/digest_auth, net/http/persistent)
            net/protocol: 0.3633 MiB
              socket: 0.3164 MiB (Also required by: httpclient/session, ipaddr)
      nokogiri: 2.1484 MiB (Also required by: mechanize, webrobots/nokogiri)
        nokogiri/xml: 0.9219 MiB
        nokogiri/version: 0.3945 MiB
        nokogiri/html: 0.3672 MiB
      google_drive/spreadsheet: 1.2109 MiB (Also required by: google_drive/collection)
        google_drive/worksheet: 0.8281 MiB (Also required by: google_drive/session)
          google_drive/list: 0.4922 MiB
            google_drive/list_row: 0.3984 MiB
    googleauth: 5.9922 MiB (Also required by: google_drive/session, google/apis/core/base_service)
      googleauth/application_default: 5.707 MiB
        googleauth/compute_engine: 4.0781 MiB
          googleauth/signet: 3.5547 MiB (Also required by: googleauth/service_account, googleauth/user_refresh, and 3 others)
            signet/oauth_2/client: 3.5313 MiB (Also required by: googleauth/credentials)
              addressable/uri: 2.2031 MiB (Also required by: signet/errors, google/apis/core/base_service, and 8 others)
                addressable/idna: 1.7383 MiB
                  addressable/idna/pure: 1.7305 MiB
              jwt: 0.6016 MiB (Also required by: googleauth/service_account)
              signet/oauth_2: 0.3711 MiB
          faraday: 0.3438 MiB (Also required by: signet/oauth_2/client)
        googleauth/default_credentials: 1.6289 MiB (Also required by: googleauth)
          googleauth/credentials_loader: 1.4688 MiB (Also required by: googleauth/service_account, googleauth/user_refresh, and 3 others)
            os: 1.3789 MiB
              yaml: 1.2344 MiB (Also required by: http/cookie_jar/yaml_saver)
                psych: 1.1992 MiB
                  psych/nodes: 0.6719 MiB
                    psych/nodes/node: 0.3477 MiB
  mechanize: 3.5039 MiB
    mechanize/http/agent: 1.875 MiB
      net/ntlm: 1.4727 MiB
    mechanize/form: 0.4492 MiB
  mysql2: 0.7422 MiB
    mysql2/mysql2: 0.6016 MiB

yusuko commented 5 years ago

問題は二つあり

データ(csv)を取れる時と取れない時がある
- player_twiは、なかなか取れない🤔
メモリ落ち問題は上記で解決したい(検証はまだ。なぜかデータが取れないので)

yusuko commented 5 years ago

現状上手くとれていないアカウント

Playerapp_yakyu
- 548ツイート
Player_twi
- 1391ツイート

その他は、at most 250とか。

ツイート数が多すぎると、csvデータがとれなくなるのかもしれない。(仮説)

yusuko commented 5 years ago

2018-10-29 19 52 50

上記はPlayerapp_yakyuuのもの。 24requests export_urlは、分割してデータ取得している？？そのため、回数を送る必要がある？？

Player_twiは1回で取得できたので、どうやら違うみたい。

yusuko commented 5 years ago

デバッグの流れの整理

大まかに２つの問題があった。 1.Player_twiにて、そもそもcsvのデータがとれないcaseの多発(他のアカウントではほぼ起きない)

csvのデータがとれても、HTTPClient::KeepAliveDisconnected: Broken pipe エラーが発生( https://github.com/ookamiinc/twitter-analytics-acquirer/issues/9#issuecomment-431765109)

そのため下記の対処をした。まず２への対処から行った。

logを取れるようにadd-onの導入
logを見たところ
```
Process running mem=547M(106.9%)
Error R14 (Memory quota exceeded)
```
が２のエラー原因だと発覚。https://github.com/ookamiinc/twitter-analytics-acquirer/issues/9#issuecomment-431942901
heroku公式ドキュメントに従い、gemを削る(rails)。gemの容量を約半分に。 https://devcenter.heroku.com/articles/ruby-memory-use

現在２のエラーが起きるかどうかについて検証中だが、そこで１の問題が浮上。今度は全くcsvがとれなくなった。

現在はローカルでも取得できていない。 →であれば、いつまで戻れば取得できるのか試す。(まだとれてない。。。)

yusuko commented 5 years ago

@nafu @ladnack Twitterのシステム、ちょっと原因がわからなすぎるので、水曜日か木曜日に対面で相談させてもらうかもです。。。現状はmasterにpushしているものでherokuも動いています。

hopefully, 水曜日までにはなんとか直します。

nafu commented 5 years ago

現状の説明を分かりやすくまとめておいてもらえると🙏 同じ作業をせずにより素早く解決へ向かえると思います

yusuko commented 5 years ago

ありがとうございます！まとめます！

yusuko commented 5 years ago

実現しようとしていること

Twitter８つのアカウントをアナリティクスデータをスクレイピングで取得 (csv)
取得したデータをスプレッドシートに書き込む(使用シート：https://docs.google.com/spreadsheets/d/1bt_D2fNj9jlsNgP41GjsfJ2OjPkqDk1EtTRDTv7R1Us/edit#gid=1874415196)
10/29時点での問題点(fact)
- @Player_twi, @Playerapp_yakyuのデータがシートに書き込まれていない
  - Player_twiは毎日取得できていなかった(複垢運用してから)
  - Playerapp_yakyuは当初は取れていた

上記からとった解決策

プロセス中に主に２つの問題があった。

「スクレイピングで取得 (csv)」ができていない時がある
「取得したデータをスプレッドシートに書き込む」ときにメモリ落ちが発生する(下記エラーメッセージ )
```
Process running mem=547M(106.9%)
Error R14 (Memory quota exceeded)
```

１の解決策は現状見つかっていない。 2の解決策は、gemを減らしたこと。rails gemを削った。ただし、2の効果を検証する段階で(２のエラーを検証するためには、Player_twiのcsv取得に成功した上で、書き込むときにエラーが出ないかを知る必要があった)、１のエラーを回避できなくなり、まだ２の効果を検証できていない。

nafu commented 5 years ago

１の解決策は現状見つかっていない。

の場合のエラーメッセージは分かる？ @yusuko

yusuko commented 5 years ago

  def get_analytics_data
    return if @agent.nil?

    for i in 1..20 do
      @agent.post(export_url)
      break if @agent.post(export_url).body.include?("Available")
      sleep(5)
    end
    for i in 1..10 do
      res = @agent.get(bundle_url)
      puts 'nil!!' if res.body.empty?
      break unless res.body.empty?
    end
    res.body.force_encoding('utf-8')
  end

色々変更して見にくいのですが、上記プロセスでcsvを取得しています。 csvの取得に失敗した時は、エラーではなく、""がres.bodyに返ってくるので、エラーメッセージは出ません。

nafu commented 5 years ago

[Q] @agentのログ取れない？ @yusuko

yusuko commented 5 years ago

それと追記して、11月のPlayer_twiは今日の朝9:30の自動運用で取れていました。そのため、データ容量が多いと取得失敗するのではないかと仮説立てています。

https://github.com/ookamiinc/twitter-analytics-acquirer/issues/9#issuecomment-433866309

yusuko commented 5 years ago

[Q] putsとかで出力させるということでしょうか？それであれば可能です！

ので追加してpushします。

herokuのcollaboratorにふーみんさんも追加しておきます。(もし見たいときあれば)

yusuko commented 5 years ago

(byebug) @agent.post(export_url)

<Mechanize::File:0x00007fcc3a0c0900 @uri=#<URI::HTTPS https://analytics.twitter.com/user/playerapp_vb/tweets/export.json?start_time=1540998000000&end_time=1541151590999&lang=ja>, @body="{\"key\":\"tweet-activity-20181031-20181103-promoted-csv-ja\",\"status\":\"Pending\"}", @code="200", @full_path=false, @response={"content-disposition"=>"attachment; filename=json.json", "content-encoding"=>"gzip", "content-length"=>"97", "content-type"=>"application/json;charset=utf-8", "date"=>"Fri, 02 Nov 2018 09:39:51 GMT", "server"=>"tsa_m", "strict-transport-security"=>"max-age=631138519", "x-connection-hash"=>"f8a1146a5d5eddfe190435befe0ed53b", "x-content-type-options"=>"nosniff", "x-frame-options"=>"SAMEORIGIN", "x-response-time"=>"139", "x-transaction"=>"00aa98df00c32dcc", "x-xss-protection"=>"1; mode=block; report=https://twitter.com/i/xss_report"}, @filename="json.json">

失敗する時は、@bodyのstatutsがpendingになります。

(byebug) @agent.post(export_url)

<Mechanize::File:0x00007fcc3a0dbe08 @uri=#<URI::HTTPS https://analytics.twitter.com/user/playerapp_vb/tweets/export.json?start_time=1540998000000&end_time=1541151590999&lang=ja>, @body="{\"key\":\"tweet-activity-20181031-20181103-promoted-csv-ja\",\"status\":\"Available\"}", @code="200", @full_path=false, @response={"content-disposition"=>"attachment; filename=json.json", "content-encoding"=>"gzip", "content-length"=>"99", "content-type"=>"application/json;charset=utf-8", "date"=>"Fri, 02 Nov 2018 09:39:57 GMT", "server"=>"tsa_m", "strict-transport-security"=>"max-age=631138519", "x-connection-hash"=>"cb0cbbb50f11c1f3257fd45a86c234ac", "x-content-type-options"=>"nosniff", "x-frame-options"=>"SAMEORIGIN", "x-response-time"=>"130", "x-transaction"=>"00db334a007f111e", "x-xss-protection"=>"1; mode=block; report=https://twitter.com/i/xss_report"}, @filename="json.json">

取得成功の時は、@bodyのstatutsがavairableになります。

10月末のPlayer_twiは常にstatusがpendingだったと推測しています。(byebugでやった時は常にpendingだったため。)

nafu commented 5 years ago

puts

Logger使ったほうが好ましいよ　

yusuko commented 5 years ago

ありがとうございます！デバッグの方法、調べます💪

yusuko commented 5 years ago

D, [2018-11-02T10:31:43.460381 #5] DEBUG -- : #<Mechanize:0x00000000023f7be8 @agent=#<Mechanize::HTTP::Agent:0x00000000023f7af8 @allowed_error_codes=[], @conditional_requests=true, @context=#<Mechanize:0x00000000023f7be8 ...>, @content_encoding_hooks=[], @cookie_jar=#<Mechanize::CookieJar:0x00000000023f7a80 @store=#<HTTP::CookieJar::HashStore:0x0000000002487bf8 @mon_owner=nil, @mon_count=0, @mon_mutex=#, @logger=nil, @gc_threshold=150, @jar={"twitter.com"=>{"/"=>{"_twitter_sess"=>#<HTTP::Cookie:name="_twitter_sess", value="BAh7CiIKZmxhc2hJQzonQWN0aW9uQ29udHJvbGxlcjo6Rmxhc2g6OkZsYXNo%250ASGFzaHsABjoKQHVzZWR7ADoPY3JlYXRlZF9hdGwrCBrtKXdmAToMY3NyZl9p%250AZCIlZWIyZWE3ZDg3MGIzYmQ2MTg3MDBlMjQzMmQ0MDNmMjY6B2lkIiVlMzE4%250AYWEzOGIxYzRiZWMwMGY2MzdhMjg3YTcwZjJjYzoJdXNlcmwrCQAg1RDnqFQL--3790a1a6a7389bd2c68be8edfff6b1c39aef9e76", domain="twitter.com", for_domain=true, path="/", secure=true, httponly=true, expires=nil, max_age=nil, created_at=2018-10-15 09:58:49 +0000, accessed_at=2018-10-15 09:59:07 +0000 origin=nil>, "personalization_id"=>#<HTTP::Cookie:name="personalization_id", value="v1_3/i6fxJKfvHio2zChPOK7Q==", domain="twitter.com", for_domain=true, path="/", secure=false, httponly=false, expires=2020-10-14 09:58:48 +0000, max_age=nil, created_at=2018-10-15 09:58:48 +0000, accessed_at=2018-10-15 09:59:07 +0000 origin=nil>, "guest_id"=>#<HTTP::Cookie:name="guest_id", value="v1%3A153959752834378796", domain="twitter.com", for_domain=true, path="/", secure=false, httponly=false, expires=2020-10-14 09:58:48 +0000, max_age=nil, created_at=2018-10-15 09:58:48 +0000, accessed_at=2018-10-15 09:59:07 +0000 origin=nil>, "ct0"=>#<HTTP::Cookie:name="ct0", value="436e55330776ed967d64fec2d6f15833", domain="twitter.com", for_domain=true, path="/", secure=true, httponly=false, expires=2018-10-15 15:58:48 +0000, max_age=nil, created_at=2018-10-15 09:58:48 +0000, accessed_at=2018-10-15 09:59:07 +0000 origin=nil>, "ads_prefs"=>#<HTTP::Cookie:name="ads_prefs", value="HBERAAA=", domain="twitter.com", for_domain=true, path="/", secure=false, httponly=false, expires=2028-10-12 09:58:48 +0000, max_age=nil, created_at=2018-10-15 09:58:48 +0000, accessed_at=2018-10-15 09:59:07 +0000 origin=nil>, "kdt"=>#<HTTP::Cookie:name="kdt", value="Cv6yfAkBw2tI1X925Sf13r2oYll5qztDH3Wp2FJo", domain="twitter.com", for_domain=true, path="/", secure=true, httponly=true, expires=2020-04-14 09:58:48 +0000, max_age=nil, created_at=2018-10-15 09:58:48 +0000, accessed_at=2018-10-15 09:59:07 +0000 origin=nil>, "remember_checked_on"=>#<HTTP::Cookie:name="remember_checked_on", value="0", domain="twitter.com", for_domain=true, path="/", secure=false, httponly=false, expires=2028-10-12 09:58:48 +0000, max_age=nil, created_at=2018-10-15 09:58:48 +0000, accessed_at=2018-10-15 09:59:07 +0000 origin=nil>, "twid"=>#<HTTP::Cookie:name="twid", value="u=816463142834216960", domain="twitter.com", for_domain=true, path="/", secure=true, httponly=false, expires=nil, max_age=nil, created_at=2018-10-15 09:58:48 +0000, accessed_at=2018-10-15 09:59:07 +0000 origin=nil>, "auth_token"=>#<HTTP::Cookie:name="auth_token", value="0c0014e254ddf92461a1b875d45cc7dec024ea62", domain="twitter.com", for_domain=true, path="/", secure=true, httponly=true, expires=nil, max_age=nil, created_at=2018-10-15 09:58:48 +0000, accessed_at=2018-10-15 09:59:07 +0000 origin=nil>, "lang"=>#<HTTP::Cookie:name="lang", value="ja", domain="twitter.com", for_domain=false, path="/", secure=false, httponly=false, expires=nil, max_age=nil, created_at=2018-10-15 09:58:49 +0000, accessed_at=2018-10-15 09:58:49 +0000 origin=nil>}}}, @gc_index=10>>, @follow_meta_refresh=false, @follow_meta_refresh_self=false, @gzip_enabled=true, @history=[], @ignore_bad_chunking=false, @keep_alive=true, @max_file_buffer=100000, @open_timeout=nil, @post_connect_hooks=[], @pre_connect_hooks=[], @read_timeout=nil, @redirect_ok=true, @redirection_limit=20, @request_headers={}, @robots=false, @robots_mutex=#, @user_agent="Mozilla/5.0 (Macintosh; U; PPC Mac OS X Mach-O; en-US; rv:1.4a) Gecko/20030401", @webrobots=nil, @auth_store=#<Mechanize::HTTP::AuthStore:0x0000000002487810 @auth_accounts={}, @default_auth=nil>, @authenticate_parser=#<Mechanize::HTTP::WWWAuthenticateParser:0x00000000024876a8 @scanner=nil>, @authenticate_methods={}, @digest_auth=#<Net::HTTP::DigestAuth:0x0000000002487540 @mon_owner=nil, @mon_count=0, @mon_mutex=#, @nonce_count=-1>, @digest_challenges={}, @pass=nil, @scheme_handlers={"http"=>#<Proc:0x0000000002487450@/app/vendor/bundle/ruby/2.4.0/gems/mechanize-2.7.6/lib/mechanize/http/agent.rb:181 (lambda)>, "https"=>#<Proc:0x0000000002487450@/app/vendor/bundle/ruby/2.4.0/gems/mechanize-2.7.6/lib/mechanize/http/agent.rb:181 (lambda)>, "relative"=>#<Proc:0x0000000002487450@/app/vendor/bundle/ruby/2.4.0/gems/mechanize-2.7.6/lib/mechanize/http/agent.rb:181 (lambda)>, "file"=>#<Proc:0x0000000002487450@/app/vendor/bundle/ruby/2.4.0/gems/mechanize-2.7.6/lib/mechanize/http/agent.rb:181 (lambda)>}, @http=#<Net::HTTP::Persistent:0x0000000002487400 @name="mechanize", @debug_output=nil, @proxy_uri=nil, @no_proxy=[], @headers={}, @override_headers={}, @http_versions={}, @keep_alive=300, @open_timeout=nil, @read_timeout=nil, @idle_timeout=5, @max_requests=nil, @socket_options=[[6, 1, 1]], @ssl_generation=1, @pool=#<Net::HTTP::Persistent::Pool:0x0000000002487068 @size=2500, @timeout=5, @available=#<Net::HTTP::Persistent::TimedStackMulti:0x0000000002486c30 @create_block=#Proc:0x0000000002486fa0@/app/vendor/bundle/ruby/2.4.0/gems/net-http-persistent-3.0.0/lib/net/http/persistent.rb:525, @created=0, @que=[], @max=2500, @mutex=#, @resource=#, @shutdown_block=nil, @enqueued=0, @ques={}, @lru={}, @key=:"connection_args-19150360">, @key=:"current-19150360", @key_count=:"current-19150680-count">, @certificate=nil, @ca_file=nil, @ca_path=nil, @ciphers=nil, @private_key=nil, @ssl_timeout=nil, @ssl_version=nil, @verify_callback=nil, @verify_depth=nil, @verify_mode=1, @cert_store=nil, @generation=1, @reuse_ssl_sessions=true, @retry_change_requests=false>>, @log=nil, @watch_for_set=nil, @history_added=nil, @pluggable_parser=#<Mechanize::PluggableParser:0x0000000002486898 @parsers={"text/html"=>Mechanize::Page, "application/xhtml+xml"=>Mechanize::Page, "application/vnd.wap.xhtml+xml"=>Mechanize::Page, "image"=>Mechanize::Image, "text/xml"=>Mechanize::XmlFile, "application/xml"=>Mechanize::XmlFile}, @default=Mechanize::File>, @keep_alive_time=0, @proxy_addr=nil, @proxy_port=nil, @proxy_user=nil, @proxy_pass=nil, @html_parser=Nokogiri::HTML, @default_encoding=nil, @force_default_encoding=false>

上記が一番上の@agent

  def get_analytics_data
    return if @agent.nil?
    logger = Logger.new(STDERR)
    logger.debug(@agent.inspect)

    for i in 1..20 do
      @agent.post(export_url)
      break if @agent.post(export_url).body.include?("Available")
      sleep(5)
    end
    logger.debug(@agent.inspect)
    for i in 1..10 do
      res = @agent.get(bundle_url)
      puts 'nil!!' if res.body.empty?
      break unless res.body.empty?
    end
    logger.debug(@agent.inspect)
    res.body.force_encoding('utf-8')
  end

yusuko commented 5 years ago

Summary

８つのアカウントで取得できない原因は２つあった。

csvの取得
- データ量が多いため、csvを取得するためには物理的に多くの回数をexport_urlにリクエストを送る必要があった。
- よってループ数を増やすことで上記に対応した。
csvのスプレッドシートへの書き込み
- データ量が多いため、csvをスプレッドシートに書き込む際にメモリ落ちが生まれていた。
  - gemを必要最低限にする
  - csvを分けてスプレッドシートに書き込む(1回につき50lineまで)

上記によって、10月データの取得の成功。11/19~11/20の6回で自動取得もエラーなく成功した。

ookamiinc / twitter-analytics-acquirer

8つのアカウントを扱う #9

What

Summary

エラー発生データ(これはlocalでbyebugでとった)

実現しようとしていること

10/29時点での問題点(fact)

上記からとった解決策

Summary