twitterのUI変更に伴うtwitter_card_invalidator.pyの修正

[osaguild]

起こっている問題 / The Problem

• twitter_card_invalidator.py を実行するとエラーになります。
• 原因はtwitterログイン画面のUI変更にseleniumが対応していないため。

スクリーンショット / Screenshot

期待する見せ方・挙動 / Expected Behavior

• 以下を変更してogp用のscreenshotを取得できるようにする
  • driver.get()で取得しているurlを変更する。（別urlにリダイレクトしているため）
  • driver.find_element_by_css_selector()をUI変更後のdomに合わせて変更する。（selectorがdomを取得できていないため）

起こっている問題の再現手段 / Steps to Reproduce

1. twitter_card_invalidator.pyを実行
2. エラーになる

動作環境・ブラウザ / Environment

• macOS
• Chrome

[kaizumaki]

@osaguild ご指摘ありがとうございます！気づいていただき感謝です 🙇 私もこのあたりよくわかってないのですが、ご指示いただいたところをちょっと探ってみますね。

[k247work]

本OSSに貢献してみたく、バグ系のIssuesを調べている者です。 本Issue、該当コードについて質問です。

twitter_card_invalidator.py は Twitterにログインして画像を取得しているように見受けられますが、 Twitterの利用規約（https://twitter.com/ja/tos）の下記部分 「Twitterによる事前の同意がないまま本サービスのスクレイピングをすることは明示的に禁止されています」 に抵触しないのでしょうか？

スクレイピング、自動化分野に詳しくないため、見当違いの質問でしたらすみません。 また、既に議論、対策済みの問題でしたら該当するIssue等を教えていただけますと幸甚です。 （自分でもIssueに検索をかけてみましたが、見つけられませんでした）

以上、よろしくお願いいたします。

[NEKOYASAN]

twitter_card_invalidator.py は Twitterにログインして画像を取得しているように見受けられますが、 Twitterの利用規約（https://twitter.com/ja/tos）の下記部分 「Twitterによる事前の同意がないまま本サービスのスクレイピングをすることは明示的に禁止されています」 に抵触しないのでしょうか？

twitter_card_invalidator.py が行っている処理は

1. https://cards-dev.twitter.com/validator にアクセスするためにログインする
2. アクセス後指定されたCardURLのOGP Card Cacheをinvalidateする

ですが、これがスクレイピングにあたるかどうかは少し微妙です。 ただ、このpy自体が現状workflow等には含まれていないこと、TwitterのTosの他の条項(↓)に触れる可能性があることから該当コードを削除する方がいいかなと思うのですがどうでしょうか

Twitterから提供される（かつ該当する利用条件に従う場合にのみ提供される）、当社の現在利用可能な公開インターフェース以外の方法（自動プログラムか否かを問わない）で、本サービスへのアクセスもしくはその探索またはアクセスもしくは探索の試み

にあたる可能性はあるかと思います

[kaizumaki]

@k247work さん、 @Nekoya3 さん、フォローありがとうございます！twitter_card_invalidator.py についての経緯と実装を追えておらずでした。 該当コードを削除でよいと思います。

[NEKOYASAN]

@kaizumaki 後ほど削除のPR送りますのでAssignしていただいてもいいでしょうか？

[kaizumaki]

@NEKOYASAN こちらの状況はいかがでしょうか...？不明な点などあれば遠慮なくコメントくださいね！