search

MailRuChamps / hlcupdocs

High-loaded systems developer contest
https://highloadcup.ru
151 stars 34 forks source link

Глюки ятанка (теперь и не в начальный момент времени) #83

Closed DragoonXen closed 7 years ago

DragoonXen commented 7 years ago

image https://highloadcup.ru/solution/25051/#result

Что видно на графике - 3 секунды(!!!!) танк занимался ерундой и ничего не делал. Затем видимо "догнал" рпс.

В таблице про время записи за 117 сек вместо 120. Таймаутов НЕ БЫЛО!

dbf256 commented 7 years ago

Сделал 3 прогона за сутки, отличаются количеством записей в 3-й фазе

https://highloadcup.ru/solution/24160/#result - 120 https://highloadcup.ru/solution/25088/#result - 119 https://highloadcup.ru/solution/25189/#result - 118

rayrapetyan commented 7 years ago

У меня в одном обстреле 1 пик на 750 сек, и три по ~200: peak1

В другом (тот же бинарник) - пик на 750 ушел, осталось 3 по ~200: peak2

Расцениваю это как глюки танка. Чем такое можно вылечить?

DragoonXen commented 7 years ago

Последний график очень похож на мой. Вначале очевидный косяк танка, дальше же два пика, где косяк танка недоказуем, глядя только на график (но уверен, что это его косяк).

cdump commented 7 years ago

У меня в последнем обстреле тоже пики вылезли, в чатике было интересное предположение:

Есть предположение, что танк пишет свои логи на диск и это момент сброса накопившихся dirty буферов. @sat2707 - такое возможно?

Локально гоняю танком с боевымы данными и боевым профилем 3ю фазу, за все разы ни одного пика не увидел.

ewgRa commented 7 years ago

Еще есть мысль что эти пики связаны с выделением/освобождением памяти на уровне ОС.

Связанное с memlock (https://github.com/sat2707/hlcupdocs/issues/67), ну или возможно когда приложение просто памяти у ОС запрашивает, даже не не уровне докера.

atercattus commented 7 years ago

Локально были замечены пики при записи на диск. photo5269608118810159166

rayrapetyan commented 7 years ago

Еще есть мысль что эти пики связаны с выделением/освобождением памяти на уровне ОС. Исключено, у меня, например, на третьей фазе нет выделения памяти, а пики только там вылазят.

DragoonXen commented 7 years ago

Исключено, у меня, например, на третьей фазе нет выделения памяти, а пики только там вылазят.

скорее не исключено, ты же не в курсе, когда и где память выделяет танк?) Тут вопрос в том, в каком месте у него тормоз

rayrapetyan commented 7 years ago

Просто было написано "приложение просто памяти у ОС запрашивает", а танк конечно, что угодно может запрашивать в данной ситуации...

ewgRa commented 7 years ago

@rayrapetyan на новые entity или на обновление да, но на коннекты и их обработку совсем-совсем никто за памятью не ходит?

rayrapetyan commented 7 years ago

Разве что в ядре. У аппликухи своя нерасширяемая куча.

On Mon, Aug 28, 2017 at 7:11 AM Evgeniy Sokolov notifications@github.com wrote:

@rayrapetyan https://github.com/rayrapetyan на новые entity или на обновление да, но на коннекты и их обработку совсем-совсем никто за памятью не ходит?

— You are receiving this because you were mentioned.

Reply to this email directly, view it on GitHub https://github.com/sat2707/hlcupdocs/issues/83#issuecomment-325364578, or mute the thread https://github.com/notifications/unsubscribe-auth/AEe5a3u01__gh8BkgIZ4sW938wUUkSqiks5scsqpgaJpZM4PDoJa .

sat2707 commented 7 years ago

Кажется нас спас tmpfs, в который был посажен танк с его логами

rayrapetyan commented 7 years ago

Потверждаю - остался только один пик на 12 сек, все крупные ушли.

rayrapetyan commented 7 years ago

Стало лучше, но от идеала далеко - на 48 сек пиков из 300 словил в последнем обстреле.

On Mon, Aug 28, 2017 at 2:49 PM sat2707 notifications@github.com wrote:

Кажется нас спас tmpfs, в который был посажен танк с его логами

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/sat2707/hlcupdocs/issues/83#issuecomment-325493247, or mute the thread https://github.com/notifications/unsubscribe-auth/AEe5axuEI7VOpLpUPUW6TSBN7Txt7CwMks5sczXtgaJpZM4PDoJa .

rayrapetyan commented 7 years ago

Все же предлагаю резать пики в финальном обстреле у всех хотя бы по stdev*10

On Mon, Aug 28, 2017 at 8:59 PM Robert Ayrapetyan < robert.ayrapetyan@gmail.com> wrote:

Стало лучше, но от идеала далеко - на 48 сек пиков из 300 словил в последнем обстреле.

On Mon, Aug 28, 2017 at 2:49 PM sat2707 notifications@github.com wrote:

Кажется нас спас tmpfs, в который был посажен танк с его логами

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/sat2707/hlcupdocs/issues/83#issuecomment-325493247, or mute the thread https://github.com/notifications/unsubscribe-auth/AEe5axuEI7VOpLpUPUW6TSBN7Txt7CwMks5sczXtgaJpZM4PDoJa .