Стратегия выборки в get_all()

leshchenko1979 commented 4 years ago

Текущая стратегия выборки в get_all() с использованием параметра start, хотя и позволяет использовать параллелизм, но замедляет работу сервера. Ее применение может быть неоптимальным при условиях: 1) требуется сложная фильтрация с выгрузкой небольшого количества записей 2) полный список сущностей (без фильтров) содержит большое количество записей

Для таких случаев более оптимальной может быть стратегия, описанная тут: https://dev.1c-bitrix.ru/rest_help/rest_sum/start.php

Можно дать пользователю в get_all() параметр strategy, который он будет использовать, чтобы выбрать стратегию. Либо можно после первого вызова в зависимости от размера параметра filter в params и от total, возвращаемого в первом ответе, выбирать стратегию автоматически. Алгоритм выбора стратегии можно подобрать опытным путем.

leshchenko1979 commented 3 years ago

[ ] Сначала малой кровью проверить, что паджинация через ID действительно быстрее - на списках в 30+К, с большой выборкой полей, со сложными фильтрациями.

Если такая паджинация действительно в разы быстрее, то:

[ ] Переписать mult_request.py - запускать внутри run параллельно создателя задач и воркера.
[ ] Воркер одновременно будет выполнять столько задач из очереди, сколько srh может выполнять одновременно (srh.max_concurrent_requests). Выполнение будет происходить через wait_for, перемежаясь с опросом очереди задач на предмет появления новых задач и добавления их в набор выполняемых задач, если этот набор не заполнен до конца.
[ ] Создателей задач будет 2 типа - один с классической стратегией с батчами с увеличивающимся start, а другой - с двумя потоками запросов со start = -1 (с начала списка и с конца), базирующимися на паджинации через фильтр по ID.
[ ] Паджинация через фильтр по ID будет подразумевать в создателе задач в каждом потоке (с начала и с конца) ожидание события о том, что очередной результат от сервера получен, нахождение крайнего значения ID в нем и формирование новой задачи на базе этого значения ID. Когда потоки встречаются (крайний ID потока сначала становится больше крайнего ID потока с конца), генерация задач прекращается.
[ ] Выбор стратегии паджинации будет происходить через передачу параметра ID_pagination конструктору.
[ ] Альтернативно можно делать два запроса по двум стратегиям, таймить их и выбирать стратегию, сравнив тайминг двух первых запросов.

leshchenko1979 commented 3 years ago

См. результаты теста: https://github.com/leshchenko1979/fast_bitrix24/discussions/113

leshchenko1979 commented 3 years ago

В итоге все закончилось созданием метода list_and_get(): #118

leshchenko1979 / fast_bitrix24

Стратегия выборки в get_all() #24