misskey-dev / misskey

🌎 A completely free and open interplanetary microblogging platform 🚀
https://misskey-hub.net/
GNU Affero General Public License v3.0
10.03k stars 1.37k forks source link

MeiliSearchのデータの保存期間の設定 #10835

Open u1-liquid opened 1 year ago

u1-liquid commented 1 year ago

Summary

中小規模のサーバーで、全ノートに対してのMeiliSearch使用はそのストレージ使用量などで現実的ではない場合が多い (中小規模のサーバーでは大半がリレー機能を使ってると思うので、リモートの投稿が多く、結果MeiliSearchのインデックスが肥大化してしまう)

ElasticSearchでよく使われている日付もしくは月付けのindicesを作って、古くなったものだけ削除するという方法を用いれば検索データを持つ期間の調整ができると思う 期限切れのインデックス削除についてはbullにジョブとして登録すればいいかも 複数個のインデクスに対応した検索が必要になるけど、これこれで可能

ついでにローカルとホストごと(もしくは単純にリモート)のインデックスを分けたらローカルは無期限、リモートは7日などの設定も可能になる

MomentQYC commented 1 year ago

In fact, after a short comparison, Meilisearch's expected hard disk footprint grew much faster than Elasticsearch's. Since Meilisearch was chosen to implement the search function for small and medium-sized instances, such settings should really be made to avoid soaring resource usage.

syuilo commented 1 year ago

インデックス分ける必要ってある?

syuilo commented 1 year ago

分けないと一括で消すときに不便か

syuilo commented 1 year ago

やる人いる?

syuilo commented 1 year ago

いなければしゅいろさんが暇なときやるけど