Плохо качает с загруженных пиров

[pavel-pimenov]

From anonymou...@gmail.com on February 03, 2013 12:15:56

Наблюдаю картину: флай коннектится к 4 пирам с различными результатами – connection timeout all или download slots taken, где-то через полчаса подсоединяется, скачивает мегабайт, отваливается и снова пытается соединиться. Размер файла – 400 метров. Это же долго он его качать будет по мегабайту в полчаса.

Что если сделать такой алгоритм: на первом подключении запросить половину файла, на втором – ещё четверть, и т.д., а под конец оверлапить медленных?

Вообще после обновления на r502 -beta63-x64 build 12786 субъективно очень печально стал качать. Вот так всё время висит, пытаясь соединиться. Может, конечно совпадение, но уже второй файл так.

Original issue: http://code.google.com/p/flylinkdc/issues/detail?id=909

[pavel-pimenov]

From anonymou...@gmail.com on February 03, 2013 03:38:58

Когда качает нормально, вижу в логе записи $ADCGET file TTH/.... (размер файла) (размер куска) ZL1|, потом начинает очень быстро логировать записи типа [Outgoing] $ADCGET file TTH/... -1 0 ZL1| [Incoming] $Error Invalid request

[pavel-pimenov]

From anonymou...@gmail.com on February 03, 2013 03:44:12

Другие записи: 15:35:59 Client: [Outgoing] $ADCGET file TTH/... 430964736 1048576 ZL1| 15:35:59 Client: [Incoming] $MaxedOut 3 15:36:00 Client: [Outgoing] $ADCGET file TTH/... 430964736 1048576 ZL1| 15:36:00 Client: [Incoming] $ADCSND file TTH/... 430964736 1048576 ZL1 15:36:00 Client: [Outgoing] $ADCGET file TTH/... 432013312 1048576 ZL1| 15:36:00 Client: [Incoming] $MaxedOut

[pavel-pimenov]

From anonymou...@gmail.com on February 03, 2013 03:58:47

А не, это вроде не размер файла, а смещение :)

[pavel-pimenov]

From anonymou...@gmail.com on February 03, 2013 10:30:46

Не, народ, билд 12786 нерабочий. Совсем нерабочий. Тупо шлёт эти -1 0 и не качает. Это не бета, это пре-альфа. Как откатиться до прошлогодней версии?

[pavel-pimenov]

From anonymou...@gmail.com on February 03, 2013 10:46:41

Откотился до билда 11794, теперь нормально качает.

[pavel-pimenov]

From Pavel.Pimenov@gmail.com on February 03, 2013 21:15:33

Привет. спаисбо. Вечером буду повторять у себя эту проблему.

[pavel-pimenov]

From Pavel.Pimenov@gmail.com on February 28, 2013 18:47:39

Status: Started

[pavel-pimenov]

From a.rain...@gmail.com on March 08, 2013 17:14:27

Owner: a.rain...@gmail.com

[pavel-pimenov]

From a.rain...@gmail.com on March 08, 2013 17:14:33

Labels: Component-Logic

[pavel-pimenov]

From a.rain...@gmail.com on March 10, 2013 13:14:25

А у вас включена опция "Отключение медленных источников". Если да - покажите пожалуйста скрин с её настройками.

[pavel-pimenov]

From anonymou...@gmail.com on March 13, 2013 11:24:44

http://rghost.net/44478892.view Включена.

[pavel-pimenov]

From anonymou...@gmail.com on March 13, 2013 11:26:54

Ну это так… Самая проблема была в отсылке невалидных запросов – её нашли?

[pavel-pimenov]

From a.rain...@gmail.com on March 13, 2013 11:27:08

У вас на скриншоте не та функция, простите, я имел ввиду верхний блок настроек вот на этой странице http://flylinkdc.com/dokuwiki/doku.php?id=ru:speed_limit

[pavel-pimenov]

From a.rain...@gmail.com on March 13, 2013 17:48:04

Ну это так… Самая проблема была в отсылке невалидных запросов – её нашли? Возможно она была вызвана ошибкой в алгоритме отключения медленных источников, возможно ошибкой ешё в одном месте, которое тоже исправили. В общем ладно, не суть, проверьте пожалуйста полегчало ли на последней бетке или нет.

p.s: если освобожусь сегодня, то проведу полную ревизию непосредственно менеджера, если не успею, то проведу её завтра.

[pavel-pimenov]

From anonymou...@gmail.com on March 15, 2013 11:26:26

http://rghost.net/44526064.view

[pavel-pimenov]

From anonymou...@gmail.com on March 15, 2013 12:57:33

Полегчало

[pavel-pimenov]

From a.rain...@gmail.com on March 15, 2013 13:14:58

Ну вот и славно. За картинку благодарю, получается, что раз у вас выключено отключение медленных источников значит проблема была именно во втором месте. Что же теперь всё хорошо, мая рад :) Ишью закрою чуть попозже.

[pavel-pimenov]

From anonymou...@gmail.com on March 20, 2013 12:18:00

нет, в бете 72 снова идут невалидные запросы

23:15:22 Client: [Outgoing][77.122.63.125] $ADCGET file TTH/5IUVOLO7TQZ2BFZM23M7B6646HOVA5BGQBOY7AQ -1 0 ZL1| 23:15:22 Client: [Incoming][77.122.63.125] $Error Invalid request

и снова качает по чуть-чуть

[pavel-pimenov]

From anonymou...@gmail.com on March 20, 2013 12:26:41

Как я понял, вы у себя это не воспроизводили?

[pavel-pimenov]

From anonymou...@gmail.com on March 20, 2013 12:32:42

Снял дамп процесса. Нужен?

[pavel-pimenov]

From Pavel.Pimenov@gmail.com on March 20, 2013 19:48:26

Дамп пока сохраните. я не совсем знаю как его в данном случае использовать. давайте попробуем создать минимальный тест на нашем хабе. качать будем тестовый уникальный файл.

1. заходим
2. включаем отладчки
3. качаем файл X
4. сохраняем лог отладчика

делаем аналогично в нормальном клиенте и сравниваем результаты.

подойдет алгоритм?

Labels: -Priority-Medium Priority-Critical

[pavel-pimenov]

From anonymou...@gmail.com on March 21, 2013 15:26:51

Я пока не понял, как это воспроизводить детерминированно (потому и дамп снял). Конкретный хаб и файл имеют значение?

[pavel-pimenov]

From anonymou...@gmail.com on March 21, 2013 15:51:19

У меня сейчас качается такой глючный файл. Я его поставил на паузу. Можно его попробовать покачать чуть-чуть 72 бетой и чуть-чуть – 62-й. Пойдёт?

[pavel-pimenov]

From Pavel.Pimenov@gmail.com on March 21, 2013 22:21:00

По идее можно докачивать любым флаем их ветки 5xx только как это поможет найти причину бага? :(

[pavel-pimenov]

From anonymou...@gmail.com on March 22, 2013 09:54:19

Если в сессии отладчика будет отражено, как он посылает невалидные запросы, – это не поможет найти причину бага?

Ну в принципе, можно покачать и другой файл. Где там эти ваши хаб, файл и отладчик?

[pavel-pimenov]

From Pavel.Pimenov@gmail.com on March 22, 2013 22:45:52

Отладчик - я про menu CMD отладчик. Наши хабы двух типов

• adcs://adcs.flylinkdc.com:2780
• dchub://flylinkdc.dyndns.org

какой размер файла выбрать - большой или можно мелкий? мы его на одном из пользователей расшарими попробуем найти заивисмость когда ломается.

[pavel-pimenov]

From Pavel.Pimenov@gmail.com on March 22, 2013 22:49:56

У меня в шаре лежит файл magnet:?xt=urn:tree:tiger:IV75BSX46WPXOZ3ECIEZCJ4U6YMOA5WISFNEFWI&xl=15540278&dn=FlylinkDC- r502 -debug-info-beta62-build-12742-2013.01.30-01.11.43.7z

15 метров. давайте на нем тестить?

[pavel-pimenov]

From anonymou...@gmail.com on March 23, 2013 07:23:52

CDM debug messages - это ж не отладчик, что просто лог. Сейчас не может скачать плейлист винмапа на 11кб, так что от размера вроде как не зависит. Именно такой файл не нашёл, нашёл другой, вот лог: magnet:?xt=urn:tree:tiger:45XKCWM2Q22DC2JM7JX5MCVQHI4BCXCEWWRKNJQ&xl=45559&dn=log1

[pavel-pimenov]

From anonymou...@gmail.com on March 28, 2013 11:04:40

вот лог 62 беты: magnet:?xt=urn:tree:tiger:4C2B6JJ623HYJV4NXPZWT6QY7OF25X4ASVFOXXA&xl=2809&dn=log2 ну тут по другому протоколу качал

[pavel-pimenov]

From Pavel.Pimenov@gmail.com on March 28, 2013 11:10:02

Логи скачал. давайте придумаем как по ним понять что сломалось? я пока не понял. они совсем разные :)

[pavel-pimenov]

From anonymou...@gmail.com on March 28, 2013 11:26:45

magnet:?xt=urn:tree:tiger:T5BG56TICQWBLIXUL7E4B7DKV4RCCX6GRPYNK6A&xl=3731&dn=log3 beta 62 качала через $ADCGET - ни единого разрыва

[pavel-pimenov]

From anonymou...@gmail.com on March 28, 2013 11:40:22

Понимать тут особо нечего: такие баги в таких логах не отображаются. Смотрите по коду, каким образом могут возникнуть цифры -1 0. Возможно, где-то так null обработался, или поля так выставляются деструктором.

[pavel-pimenov]

From Pavel.Pimenov@gmail.com on March 28, 2013 11:46:15

Принято. https://www.box.net/shared/ijge42krqouuwf7ds16k буду разбираться.

Owner: Pavel.Pimenov@gmail.com

[pavel-pimenov]

From anonymou...@gmail.com on March 28, 2013 12:03:51

А у вас не воспроизводится? Может конечно какая-то жёсткая многопоточность. У меня core i7 4-ядерный. Это 8 логических ядер. В 63 бете ничего такого не добавляли?

[pavel-pimenov]

From a.rain...@gmail.com on March 29, 2013 05:16:48

Issue 962 - в этом не может быть проблема?

[pavel-pimenov]

From Pavel.Pimenov@gmail.com on March 29, 2013 07:21:52

И какая тут связь с 962. также не вижу в ней проблемы.

[pavel-pimenov]

From a.rain...@gmail.com on March 29, 2013 07:24:47

Отписался, по сути там просто вопрос был - если норма значит норма.

[pavel-pimenov]

From a.rain...@gmail.com on April 01, 2013 09:57:44

Что нашёл, починил в r13534 .

[pavel-pimenov]

From anonymou...@gmail.com on April 16, 2013 21:31:52

В 75 бете не исправлено.

[pavel-pimenov]

From Pavel.Pimenov@gmail.com on May 08, 2013 02:48:39

Вы сейчас на какой бетке сидите? откатились на старую чтобы все качало нормально? или на последней 77?

[pavel-pimenov]

From anonymou...@gmail.com on May 10, 2013 05:12:24

на 62

[pavel-pimenov]

From a.rain...@gmail.com on May 12, 2013 10:25:12

Дополнил диагностику в CFlylinkDBManager::getBlockSize r13890 , может ещё что всплывёт в той области.

[pavel-pimenov]

From Pavel.Pimenov@gmail.com on May 15, 2013 10:38:08

Повторил тест в бете 78 на файле IV75BSX46WPXOZ3ECIEZCJ4U6YMOA5WISFNEFWI косяков нет.

Можете вы проверить?

Attachment: 909-1.png 909-2-adc.png

[pavel-pimenov]

From a.rain...@gmail.com on May 21, 2013 06:11:09

В дополнение к r13890 , по диагностике изменил логику работы функции CFlylinkDBManager::getBlockSize в r13979 .

[pavel-pimenov]

From a.rain...@gmail.com on May 21, 2013 06:12:46

В общем после r13979 должно полегчать, тоже проверьте пожалуйста.

[pavel-pimenov]

From anonymou...@gmail.com on May 26, 2013 12:58:33

build 14079, не полегчало magnet:?xt=urn:tree:tiger:SUPE32BFKOG4NC5AWB7UZ3LOO6IK5AD6WVWRQUQ&xl=3724&dn=log4

[pavel-pimenov]

From Pavel.Pimenov@gmail.com on May 27, 2013 04:32:10

Вечером выкачаю log4

а у вас на всех компах такое повторяется? или только на одном 4-х ядерном i7? странно что у меня дома так-ой же i7 почему-то не повторяется? :(

[pavel-pimenov]

From Pavel.Pimenov@gmail.com on May 27, 2013 06:50:05

Не могу найти поиском magnet:?xt=urn:tree:tiger:SUPE32BFKOG4NC5AWB7UZ3LOO6IK5AD6WVWRQUQ&xl=3724&dn=log4 может сюда приатачите?

[pavel-pimenov]

From anonymou...@gmail.com on May 31, 2013 10:43:51

У меня один комп.

Attachment: log4

[pavel-pimenov]

From anonymou...@gmail.com on May 31, 2013 10:48:53

i7-2670QM, 8Gb, Win7 HB sp1 русская.