yandex / yandex-tank

Load and performance benchmark tool
Other
2.46k stars 278 forks source link

Ожидаемые фичи для overload #368

Open sheidaev opened 7 years ago

sheidaev commented 7 years ago

У меня есть огромное желание отказаться от Blazemeter.Sens в пользу Overloads, но на текущий момент это практически невозможно из-за следующих нюансов:

Организация хранения результатов стрельб:

  1. К результатам моих тестов постоянно подмешиваются публичные тесты. Если у меня нет ссылки, тест недельной давности найти невозможно.
  2. Нет возможности как-то структурировано хранить тесты. Например, добавить папку "ProductPage", в которую можно будет сохранять результаты стрельб по карточкам товара. Максимально удобно было-бы организовать следующую структуру Группа тестов:(Запросы которые отправляются с карточки товара например)
    • запрос на добавление товара в корзину(тип тестов, внутри храняться все результаты стрельб по добавлению товара в корзину.)
    • запрос на добавление товара в список сравнения
    • запрос на подгрузку аксессуаров.

Функционал по работе с ответом:

  1. После создания кастомного отчета, нет возможности удалить его. screenshot-overload yandex net 2017-05-12 11-44-04

  2. Очень не хватает экрана на котором можно выполнять комбинированный анализ с временной шкалой. Иными словами, нет возможности построить график, на который можно вывести 95ый процентиль времени ответа / CPU User / показателями подаваемой нагрузки. Вот пример реализации: screenshot-sense blazemeter com 2017-05-12 11-54-01

undera commented 7 years ago

@sheidaev Привет, Константин! А можно прокомментировать причину по которой хочется уйти от Sense в Overload? Мне было бы интересно узнать, что в продукте или вокруг него заставляет пользователя уйти. Спасибо.

Tonsofattraction commented 7 years ago

Добрый день. Отвечу пока по паре пунктов.

sheidaev commented 7 years ago

@undera Добрый день, Андрей. Да, конечно. Но сначала нужно отметить, что вы создали отличный сервис, который отвечает практически всем требованиям которые могут быть у нагрузочного тестировщика.

Пользуюсь yandex-tank уже 3 года и его hit-base подход мне очень импонирует. Поэтому, все открытые системы я стараюсь тестировать именно танком. В связи с этим, 2 причины:

  1. Хочу пользоваться последними версиями танка, а тут: BlazeMeter Sense – performance testing analytics by BlazeMeter. Currently only with 1.7 branch
  2. Сервис платный. (До появление бесплатных аналогов, это не вызывало вопросов, т.к. сервис действительно очень хорош)