OPY dataset.ipynbでのコード修正ポイント

[umi-tyaahan]

楽しく学習させていただいております。 5章の演習OPY dataset.ipynbですが、いくつか変更を加えることでdatasetを作成することができました。 後続の方への参考に、修正ポイントを記載します。

修正概要

1. pixiv(API)の仕様変更によりpixivpyでのログイン処理に変更が必要です。リフレッシュトークンが必要になります。
   • https://github.com/upbit/pixivpy
   • 上記リポジトリに書いてありますが、リフレッシュトークン取得方法には2通り方法があります。
   • Chrome Developer Consoleを利用する方法
   • Seleniumを利用する方法
   • おおまかな手順はQiitaの記事が参考になります
   • https://qiita.com/yuki_2020/items/759e639a4cecc0770758
     2. リフレッシュトークンをpixiv.jsonに追記し、google drive上のcolab data/pixiv.jsonを置き換える
     3. OPY dataset.ipynbにてpixivpyのログイン処理部分をリフレッシュトークン方式に置き換える

詳細

1. Selenium方式でのリフレッシュトークン取得

途中Chromeに人力での入力作業が必要のため、1.はローカルPC作業となります。 (seleniumに熟知すればCUIのみ(Colabのみ)で済むかもしれません…） windows10&powershell(python3)で実施

準備

• windows 10
• Chrome
  • 設定->ChromeについてにChromeのバージョンが表示されるのでメモ
  • 92.XXX.XXXとか
• ChromeDriver
  • https://chromedriver.chromium.org/downloads
  • Chromeのversionと合わせたものをdownload
  • 92.XXXXなら92のやつ
  • 解凍してchromedriver.exeを作業フォルダに置く
• powershell
• pyehon3
  • windows storeよりインストール
  • powershellでpython3 -Vでversion表示されたらOK

pythonのライブラリインストール

• selenium
  • pip install selenium
• pixivpy
  • pip install pixivpy
• requests
  • pip install requests

一旦Seleniumの動作テスト

作業フォルダに以下のtest.pyとchromedriver.exeを置く

import time
from selenium import webdriver

driver = webdriver.Chrome('./chromedriver.exe')
driver.get('http://www.google.com/xhtml')
time.sleep(5)
print(driver.title)

search_box = driver.find_element_by_name('q')
search_box.send_keys('ChromeDriver')
search_box.submit()
time.sleep(5)
print(driver.title)

driver.save_screenshot('search_results.png')

driver.quit()

• 実行
  • python3 ./test.py
• print文によりpowershellにgoogleのページタイトルが表示されたらOK
  • おまけとしてキャプチャした画像search_results.pngが作成される。

リフレッシュトークンの取得

pixiv_auth.pyを以下から取得し、作業フォルダに配置。

https://gist.github.com/upbit/6edda27cb1644e94183291109b8a5fde

• 実行
  • python3 pixivpy login
• Chromeが立ち上がるので、pixivID,passでログイン
• powershellにaccess_tokenとrefresh_tokenが表示される
• refresh_tokenをメモしておく
  • expires_in: 3600と表示されるので、APIを1時間利用しないと期限切れになると思われる
  • 期限切れたらpython pixiv_auth.py refresh OLD_REFRESH_TOKENで行けるらしいけど未確認

pixivpyのテスト

以下のpixivpy-test.pyでpixivpyでのログインと動作のテスト。 メモしたリフレッシュトークンを記入しておく。

# ランキングの3位までの画像をdownloadするサンプル
import time
from pixivpy3 import *

api = AppPixivAPI()
# aapi.login("ここにユーザ名","ここにパスワード") ## 使えなくなった
api.auth(refresh_token="ここにリフレッシュトークン")
json_result = api.illust_ranking()
for illust in json_result.illusts[:3]:
    api.download(illust.image_urls.large)
    time.sleep(1)

うまくいけばランキング1位～3位の画像を取得できる。

2. pixiv.jsonの修正

OPY dataset.ipynbの途中にて、pixiv.jsonをgoogle driveに上げる手順がありますが、pixiv.jsonにリフレッシュトークンを追記します。

{
  "pixiv_id": "xxxxxxx",
  "password": "xxxxxxx",
  "refresh_token": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
}

3行目に追記してます。メモしたリフレッシュトークンを記載します。

3. pixivpyのログイン処理のコードを修正

2箇所修正します。

    api = AppPixivAPI()
    # api.login(pixiv["pixiv_id"], pixiv["password"]) # コメント化
    api.auth(refresh_token=pixiv["refresh_token"]) # 追記

        # セッション切れ対策に一定期間に再度ログインする
        if i % 1000 == 999:
            #api.login(pixiv["pixiv_id"], pixiv["password"]) #コメント化
            api.auth(refresh_token=pixiv["refresh_token"]) # 追記

実行結果

所要時間 6時間20分 取得ファイル 9977

実行時エラーログ(作者退会済みやhash mismatchedなど） pixivpy_error.txt

その他

• リフレッシュトークンは利用期限がありますが、pixivpyを連続使用してる間は勝手に延長してくれるので大丈夫です
• google colabは未操作が続くと90分で切断される制限があります。ダウンロード時間が長くなるので、自動クリックスクリプトなどで対策がいるかと思います
  • https://webbigdata.jp/ai/post-7232
  • これのColabの自動切断を防止の項目
• 添付したエラーログのカウント数を元に、取得不要なファイルをスキップすることで90分程度の時短にはなるかと思います

[koshian2]

@umi-tyaahan 報告ありがとうございます。なるほど、pixivのAPIが変わっていたんですね。URL載せても構わないので、修正済みのNotebookをいただければ置き換えます。トークンやパスワードがあるので可能でしたらで構いません。

[umi-tyaahan]

了解です。 確認しましたが、個人情報はpixiv.json側だったので大丈夫そうです。

google drive共有 https://colab.research.google.com/drive/1JwpSsBcvs8JOCrLID-3Q8aY_atAPPDr1?usp=sharing

[koshian2]

素晴らしいです。現在のOPY dataset.ipynbにPixiv API変更対応後のNotebookを追加しておきました。 ありがとうございました！