search

nukora / VRChatActivityTools

VRChatのログを解析し、joinしたワールドや会った人の履歴などをデータベースに保存するツール
MIT License
49 stars 9 forks source link

ログファイルが大きいと処理に時間がかかりすぎる #16

Open anatawa12 opened 2 days ago

anatawa12 commented 2 days ago

手元の例だと9GBほどのものがありますが処理に23時間以上かかってしまいました。

anatawa12 commented 2 days ago

調査したところ、処理は終わっており何故かLoggerが処理が終わってもハンドルを持ったまま長時間死んでしまうことがあるようです。

nukora commented 1 day ago

すみません、そこまで大きなファイルの読み込みは想定しておりませんでした…… 時間のある時に手元の環境で再現するかどうか試してみます

anatawa12 commented 1 day ago

ログファイルを少し見てみたところ該当の死なないプロセスのと思われるログの出力にはFile NotFoundが記録されてました。(別プログラムで定期的にログファイルを移動 削除してます) こちら関係あるかもしれません