manticoresoftware / manticoresearch

Easy to use open source fast database for search | Good alternative to Elasticsearch now | Drop-in replacement for E in the ELK soon
https://manticoresearch.com
GNU General Public License v3.0
9.07k stars 509 forks source link

Loading and Unloading of indexes on demand #2743

Open vgrish opened 1 week ago

vgrish commented 1 week ago

Proposal:

On-Demand Loading/Unloading of Indexes Some indexes don’t need to stay in memory all the time. There can be many such indexes, and they can take up a lot of space.

Examples:

There’s no need to keep such indexes in memory constantly or load them at startup. By having an on-demand loading/unloading of indexes feature, we could reduce overall memory usage and lighten the load.

Currently, this feature is not available.

The above is a translation of this original request:

**Загрузка/ выгрузка индексов по требованию** Существуют индексы не требующие постоянного размещения в памяти, таких индексов может быть множество и размер индекса может быть приличным. **Примеры:** - индексы данных с привязкой к пользователю. Данные нужны только когда пользователь их запросит. - индексы данных с привязкой к временной метке. Любые отчеты которые могут потребоваться за определенный год/ месяц, но в текущий момент времени они абсолютно не нужны. Нет необходимости держать такие индексы постоянно в памяти и загружать на старте. Имея функционал **загрузки/ выгрузки индексов по требованию** можно сократить общее потребление памяти и снизить нагрузку. Сейчас нет подобного функционала.

Checklist:

To be completed by the assignee. Check off tasks that have been completed or are not applicable.

- [ ] Implementation completed - [ ] Tests developed - [ ] Documentation updated - [ ] Documentation reviewed - [ ] [Changelog](https://docs.google.com/spreadsheets/d/1mz_3dRWKs86FjRF7EIZUziUDK_2Hvhd97G0pLpxo05s/edit?pli=1&gid=1102439133#gid=1102439133) updated - [x] OpenAPI YAML updated and issue created to rebuild clients
tripolskiy commented 1 week ago

О! Актуально тоже. Как раз боремся с оптимизацией памяти и пришли к такому же решению проблемы.