codeforjapan / codeforelection

衆院選2017候補者データベース作成プロジェクト This repo will be archived 🗄️ in the future
MIT License
32 stars 6 forks source link

Facebook/Twitterアカウントの継続的メンテのための仕組みについて #45

Closed tetsuyas1 closed 6 years ago

tetsuyas1 commented 6 years ago

Facebook,Twitterアカウントの自動メンテを目指す

やり方

  1. Bing Search APIで、"安倍晋三  あべしんぞう Facebook" , "安倍晋三  あべしんぞう Twitter" といったクエリで検索する。
    • 今のところ有料っぽい(数千円 )
  2. 存在すれば、FacebookPageか、Twitterのアカウントページが取れるので、そのページを記録
  3. 発言内容の取得
    • Facebook Graph APIから、当該Pageの発言内容を取得する
    • TwitterAPIから、当該Tweetの発言内容を取得する
  4. 当該内容を政治家の発言っぽいかどうか判定する分類器で判定する
  5. 政治家だと判定したら当該政治家のアカウントとして認定する。
  6. その上で余裕があったら、人手で確認する。

政治家の発言を判定する分類機の作成(Facebookの場合・Twitterもほぼ同様)

その他

hkwi commented 6 years ago

作業中発見した新たな事実として「twitterアカウント移行していることがある」というのがあります。

ということで、daily で死活監視する bot を作るのも良さそうです。

tetsuyas1 commented 6 years ago

トライアルしてみた結果、Facebookはかなりの確度でデータ取れそうな感じです。Twitterはクローリングが微妙なのかもしれません。ひょっとすると、TwitterのAPI叩くっていう方法もあるのかもしれない

tetsuyas1 commented 6 years ago

こちら一応結果をマージしましたのでご報告します。別イシューに移行します