スクリプトで外部APIの結果サイズが大きいとエラーになる。

[motoyama-yusuke]

外部APIを呼び出すスクリプトを作っていたところ、Scriptエラーとなりました。 いろいろ試した結果、何かのサイズ制限にあるように見えています。 ご存じの方いましたら教えて下さい。

実施内容

• ↓の記事を参考に、スクリプトを試していたとき、サイトによってはエラーとなっていた。 https://blog.mbaas.nifcloud.com/entry/2019/06/10/170113

• データサイズに起因してそうな雰囲気があり、同じAPI（githubのissue api）を用いて、レスポンスサイズを変更して、エラーを検証した結果 ※記事のスクリプトを修正（urlは固定で埋め込み、per_pageをパラメタ指定）して検証

  • https://api.github.com/repos/NIFCLOUD-mbaas/UserCommunity/issues を指定でエラー
  • https://api.github.com/repos/NIFCLOUD-mbaas/UserCommunity/issues?per_page=1 とするとOK
  • 数字を徐々に増やしていき、per_page=19あたりからエラーになる。

質問

• サイズの制限などありますか？
  • 時間（３０秒）の制限は見つけましたが、今回の事象とは関係なし（数秒でエラーになる）
• サイズの制限がある場合、どこに制限がありますか？
  • superagentで httpをgetする時？
  • スクリプトでレスポンスする時？
  • はたまた内部の文字列処理？
• 制限などない場合、他の考えられる原因があれば教えて下さい。

[goofmint]

こちら再現できるコードなどあるでしょうか？ https://api.github.com/repos/NIFCLOUD-mbaas/UserCommunity/issues?per_page=19 を取得しようとするとエラーになるでしょうか？

システム要件上ではそのようなことがなく、原因が不明な状況のようです。

[motoyama-yusuke]

@goofmint さん

以下スクリプトで、Queryパラメタper_pageを指定して実行しています。 先程試したところ、per_page=17を超えるとエラーとなります。

const request = require('superagent');

module.exports = async (req, res) => {
  const response = await request
    .get('https://api.github.com/repos/NIFCLOUD-mbaas/UserCommunity/issues?per_page='+req.query.per_page)
    .send();
  res.send({
    status: response.status,
    body: response.text
  });
}

補足.

質問に上げた後、こちらでもいろいろ試し、 res.sendのbodyサイズに制限があるようなところまでは追いかけました。

試したこと

1. res.sendのbodyを固定値に変更 → OK だがresponse.textを扱ってないので検証に値せず。。
2. 内部でJSON.parse(response.text);をして、issueのurlのみ配列をbodyに設定　→ OK 上記より、httpをget時は問題なし。内部の文字列処理もおそらく問題なし。

[goofmint]

ああ、per_page ですね。つまり数を大きくするとデータ量が増えているということですね。

以下のようなコードにすると、per_page = 18 までいけます。

const request = require('superagent');

module.exports = async (req, res) => {
  try {
    const response = await request
      .get('https://api.github.com/repos/NIFCLOUD-mbaas/UserCommunity/issues?per_page='+req.query.per_page)
      .send();
    res.send(response.text);
  } catch (e) {
    res.send(e);
  }
}

他のコードでも試してみた限り、以下の部分は通過しています。なのでGitHubからのレスポンスの問題ではなさそうです。

const response = await request
  .get('https://api.github.com/repos/NIFCLOUD-mbaas/UserCommunity/issues?per_page='+req.query.per_page)
  .send();

となると per_page = 17 にした時に 64KBを超えているようなので、そのあたりにシステム制限がありそうな気がします。

[goofmint]

こちら、64KBまでというのが仕様だそうです。後日ドキュメントにも反映されます。

[motoyama-yusuke]

@goofmint さん

情報ありがとうございます！

前回のコメントで、64KBというありがちな数字だったので、どこかに制限あるものと判断して、 調査は中断し、回避する方向にしていましたが、コメントなど書き込みできていませんでした。 すみません。

仕様ということが明確になり、スッキリしました。