mbs-code
commented
2 years ago - [x] ログの清書、eventログ出し
- [ ] プログレスバー、dlの進行状況
- [x] デキュー処理を消す
- 障害時を想定して、処理が終わったらキューから削除する
- [x] #10
- [x] 名前変更
- worker name → key に
- pageid → parentidに
- app → configに、loaderもあり
- [x] ページの処理記録
- extractされたんかimage処理されたんか
- showコマンドのログツリーをこれでフィルタリングする
- workerも記録していいかも
- [x] サイトの処理記録
- 統計数値
- 今まで行ったprocessorの数をそれぞれ記録
- リセット数もあっていいかも
- プロセッサーはコード変更を伴うのでハードでok
- それと実行ステップ数
- [ ] 新しいパラメタ
- [ ] タイトルの消去パラメタ
- 正規表現で一致した文字を消してディレクトリを作る
- バリデがtypeごとにできないのか検討
- [ ] 年月フォルダを作るコマンド
- いくつかごとにまとめられればええ
- 過去、無限に保存してたら流石に重くなった
- 日付だと一意にならないからwebページの何かを参照したい（idとか）
- [ ] #12
- [ ] showコマンドで、walkerごと、prcessorごとのページ表示
- なんならテーブル
- それぞれにアイコンつけたい
- [ ] showコマンドに保存ディレクトを表示する
- 使用サイズも
- open コマンドがあっても良い
- [ ] configのハッシュを持って、show時に一緒か表示する
- [ ] 新コマンド
- [ ] 無限実行モードの実装
- [ ] 処理記録を消すコマンド
- imageだけ取っといてもう一回探索するみたいな
- 特定のwalkerだけ消せてもいい
- これするとparentidのリレーション無くなる - deletedAtもあり
- でも意味合いが違うな
- [x] walker processor のカラムが空なら存在しないURLとする
- [ ] キューが空のとき、自動的にroot要素を入れる
- [ ] 特定のwalkerをignoreする機能
- [ ] url、ファイルを渡したら該当しそうなpage treeを表示する
- [ ] テストコマンド
- このurlを通したらどんな処理になるか
- テストフラグを作る（peekみたいな
- extractの全ダンプ（trace？）
- 画像保存はやってok
- dbには変更を入れない
- このときログはoffにする
- [ ] 設定ファイルのテンプレコマンドを作成
- プロンプトで順番に
- url2,3こいれて全件に正規表現がかかるか分かると楽
- [ ] prismaのリリース方法
- [ ] トランザクション
- [x] http系
- [x] http接続のスロットル、揺らぎの実装
- [x] http reffeerの実装
- [ ] #13
- プロきし
- wait時間
- uaとか
- ろぐレベル
- ログ、画像、DBの保存先
- ダウンロードとかピクチャに生やしたい
- dbもここに
- 無理そうならyamlで読ます
- [ ] i18n
- [ ] これらを動かすelectron guiパッケージ
- vueで作るよ
- これ用にhookめっちゃ生やす
- リアルタイムは難しいだろうからhookや一定間隔で更新するイメー