limura
commented
4 years ago 別の方からのお問い合わせで、詳しい情報が得られた。
同じpixiv小説なのだけれど、うまく取り込めるURLとそうでないURLが存在する模様。 具体的には以下の通り
・取り込み失敗した作品 転生令嬢と数奇な人生を 43～52まとめ URL:https://www.pixiv.net/novel/show.php?id=13217440 投稿日時：2020年6月27日 14:36
・取り込み成功した作品 転生令嬢と数奇な人生を 32～42まとめ URL:https://www.pixiv.net/novel/show.php?id=13124696 投稿日時：2020年6月12日 17:18
転生令嬢と数奇な人生を 20～31まとめ URL:https://www.pixiv.net/novel/show.php?id=12986034 投稿日時：2020年5月22日 18:05
転生令嬢と数奇な人生を 10～19まとめ URL:https://www.pixiv.net/novel/show.php?id=12855046 投稿日時：2020年5月5日 14:40
・以前取り込み成功していたが本日取り込み失敗した作品 NRCのハロウィンナイト URL:https://www.pixiv.net/novel/show.php?id=13214719 投稿日時：2020年6月27日 00:05
で、うまく取り込める物については現状のwedataに登録されているxpath上に本文が存在するのだが、うまく取り込めない物についてはそもそもHTMLの text() としては本文は存在せず、attribute に本文がJSON形式で保存されている模様。
本質的にはヘッドレスブラウザ等を使ってJavaScriptに text() 側に展開してもらうのが良いと考えられるが、どうしたものか。
手元の端末では再現していないが、pixiv小説で取り込みが失敗する場合があると報告を受けた。
該当するURLは以下の2つ https://www.pixiv.net/novel/show.php?id=13248120 https://www.pixiv.net/novel/show.php?id=13246420
ただ、こちらの手元の端末ではどちらのURLも正常に取り込むことができてしまっており、原因不明。 (なお、pixivへのログインしている状態、ログアウトしている状態のそれぞれで試してみたが、同様に取り込むことができている)
現在の所、PC版で表示される情報の場合、GETリクエストで取得できる物は、本文が全てJavaScriptの中に書かれているためにこれを取り出すことができないのであるが、これが原因だと考えると説明がつきそうな挙動である。
内部で使用しているNSURLSession周りでモバイル版とPC版の違いが出るようなアクセスがあるとすればその辺りを調査するのが良さそう。