esci-sのデータを使ってみる

[johtani]

• スキーマ作る
• 登録処理を作る
• Jupyter Notebookで検索できるようにしてみる

[johtani]

• ソートはproduct_id順
• localeがproductsと同じかどうかも確認が必要？
  • localeが入っていないデータはないか？

[johtani]

• GitHubにアップされているサンプルは問題なく処理ができるプログラムが書けた（extract-products.pyと同じ方式で）
• ダウンロードしたフルサイズのファイル（解凍後11GB）では上記プログラムではプロセスがKilledになった
• JSONLで保存されているので、Pandasを使わずに処理していく（Pandasは1行だけに使う？）方式に変更が必要
• 以下のような処理を検討したほうがいいかも
  • localeごとに振り分けて出力する
  • sortコマンドでファイルをソートできるように、JSONの項目の出力順をちょっとだけ変更する
  • ファイルを特定件数ごとに分割する？
  • 項目ごとに分割する？（reviewsデータを切り離すだけでもデータを小さくできそう）