Migration to libtorrent

elgatito commented 5 years ago

This is a placeholder for tracking progress of migration to libtorrent engine.

So, releases for libtorrent are versioned with 0.1.x, while gotorrent is versioned 0.0.x.

What we have now:

Available releases - android arm/arm64/x86/x64, linux armv6/armv7/arm64/x64/x86, windows x64/x86. Need help with preparing libtorrent docker image for Darwin (MacOS).
We have only memory and file storages.
Upload disabling is not working now (so such feature in the engine)! Keep in mind if you can be punished for that!
Build process is the same as for Quasar. Documentation has to be updated.

victor333ua commented 5 years ago

не запускается на android arm (mibox3 android8.0 )

elgatito commented 5 years ago

@victor333ua есть возможность запустить из косноли, чтоб увидеть причину? И лог бы.

victor333ua commented 5 years ago

https://paste.kodi.tv/vazarumozo

вс, 3 февр. 2019 г., 16:47 Denis notifications@github.com:

@victor333ua https://github.com/victor333ua есть возможность запустить из косноли, чтоб увидеть причину? И лог бы.

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/elgatito/plugin.video.elementum/issues/351#issuecomment-460058084, or mute the thread https://github.com/notifications/unsubscribe-auth/AerEvTwD6r4Z4jOWHvw9N9ZzKTd_hkcuks5vJvaagaJpZM4agC4E .

Queritt commented 5 years ago

Постоянные перезапуски на android... Миграция прошла успешно =)

elgatito commented 5 years ago

@Sheicer в процессе пересборки сейчас.

Nemiroff commented 5 years ago

Library-path-kodi.log После чистой установки и настройки путей, в медиатеку добавляется с ошибкой. После перезагрузки все решилось. (Скорее всего папки для медиатеки создаются во время запуска, а не после применения настроек)

elgatito commented 5 years ago

@Nemiroff, спасибо, точно, надо переделать будет.

antonsoroko commented 5 years ago

android arm перезапуск при старте торента не важно в память или на диск https://paste.ubuntu.com/p/CnJRkgYMz3/ (в логе первый перезапуск с диском, второй с памятью, торент файл одинаковый)

наверно можно попробовать запустить бинарь руками из консоли как сервер, а плагин настроить как клиент и тогда будет видно лучше чем в логе что к чему, попробую может потом

riegaz commented 5 years ago

Can people post bugs in here? I found that 4k content fails to play on arm7.

antonsoroko commented 5 years ago

@riegaz Sure. But I guess you need to create separate bug, the problem you described does not seem connected to this thread. When you create an issue you will see the template - don't forget to provide logs :-)

elgatito commented 5 years ago

@victor333ua @Sheicer @Nemiroff @antonsoroko @riegaz There is version 0.1.2 ready to test. Many things fixed!

rdscorreia74 commented 5 years ago

@elgatito Yesterday I used Kodi's "Addon update" button but Kodi didn't find any new version. I'm still on 0.0.77 IIRC and I have Elementum's repository installed and enabled. Do I need to do anything else in order to get an update from the repo? Or maybe there is a repo just for 0.1.x versions? Or maybe it still doesn't exist any repo to maintain the 0.1.x versions? Thanks in advance. Cheers

antonsoroko commented 5 years ago

@john3voltas Hi. The last option (because it is a test build). You need to download and install it manually, from releases page.

https://gitter.im/ElementumApp/Lobby?at=5c574dde93fe7d5ac03a2f0c

elgatito commented 5 years ago

@john3voltas as said above, 0.1.* versions can be installed only manually, downloading from https://github.com/elgatito/plugin.video.elementum/releases/ It is not in repository until it's fully working and not crashing. To return to previous version - you can ask Kodi to update from repository.

elgatito commented 5 years ago

Version 0.1.3 is available for testing. It has fixed magnet processing.

victor333ua commented 5 years ago

https://paste.kodi.tv/enahigisof the same issue-doesn't start (android arm)

elgatito commented 5 years ago

@victor333ua

01:07:03.744 T:7139  NOTICE: [plugin.video.elementum] [36mDEBU  database     ▶ InitSqliteDB     [0mError migrating schema: unable to open database file

Your database file is broken, you can try to delete app.db file and restart.

victor333ua commented 5 years ago

проблема запуска решилась так: переустановил Коди установка elementum 0.1.3 упс.. перезапуск настройки-добавить папку для загрузок выход из коди, повторный вход установка nova

Торрент запустился (кеш в памяти 200мб) из веб интерфейса было видно, что при заполненном буфере в какой-то момент скорость упала до 0 и проигрывание продолжалось, пока не закончился буфер

https://paste.kodi.tv/ukivurujuq

antonsoroko commented 5 years ago

упс.. перезапуск настройки-добавить папку для загрузок

Надо будет как-нибудь сделать лог на этот гадкий баг, все об него спотыкаются ;-)

elgatito commented 5 years ago

@antonsoroko affects only Android, and I don't have android to find why same folders give different result and why the binary is crashing.

antonsoroko commented 5 years ago

I remember that. It is more like memo for myself and other Android users in this thread. Thanks 😊

riegaz commented 5 years ago

4k content plays on 0.1.3 now! Great!

elgatito commented 5 years ago

@riegaz linux_armv7 ? Lags while playback? Which size you try and what settings?

riegaz commented 5 years ago

yes armv7, it is a S905 box. I didn't see any lags. The size was 16gb. I didn't change any settings since the installation of 0.1.1

I just found that seeking the 4k content by 40 minutes made the playback stop and never come back. I waited about 5 minutes to see if it is only because of buffering but no.

It would be nice if you could add a small information on the screen about the download/upload/buffering status. Maybe as a debug information. It would help to figure out why the playback doesn't return.

elgatito commented 5 years ago

It would be nice if you could add a small information on the screen about the download/upload/buffering status. Maybe as a debug information. It would help to figure out why the playback doesn't return.

It will appear if you pause the playback + on WebUI:

http://elementum.surge.sh/screenshots/log2.png

pavelmxx commented 5 years ago

упс.. перезапуск настройки-добавить папку для загрузок

Надо будет как-нибудь сделать лог на этот гадкий баг, все об него спотыкаются ;-)

Простите великодушно, не до конца разобрался в предмете вопроса, но у себя наплодил относительную структуру папок. Профиль замечательно переносится с windows на андроид без каких либо правок.

\plugin.video.elementum\settings.xml
<setting id="download_path" value="special://home\elementum_dl\" />
<setting id="library_path" value="special://home\elementum\" />
<setting id="torrents_path" value="special://temp/elementum_torrents/" />

Если там какие-то затыки с разными папками, то может оно способно помочь? Или я все же вообще не вник в тему и сказал ерунду.

elgatito commented 5 years ago

@pavelmxx по-умолчанию пути все в виде special://temp/..., но везде кроме Андроида работает, а на андроиде нет.

rdscorreia74 commented 5 years ago

Wow! 4 releases in 2 days! :+1:

elgatito commented 5 years ago

@john3voltas That is not good, actually. But I'm trying to fix crashing.

victor333ua commented 5 years ago

ver. 0.1.4 nothing changed. After 8 min perfect play back download speed dropped to 0 https://paste.kodi.tv/feredibewe

elgatito commented 5 years ago

@victor333ua thanks for the log. Looks very strange. Download goes to 12MB/sec (what internet speed do you have?), then It stops downloading, while pieces are waiting for download.

Can you try to start a steam, wait until it freeze and open http://ip:65520/web to see how many peers/seeds and connections are there?

victor333ua commented 5 years ago

1gb internet, mi box doesn't have lan and via wifi 200 mb max. 49/1 seeds/peers, download speed 1.8 - 10 mb/sek. Suddenly everything drops to 0

antonsoroko commented 5 years ago

@elgatito с файлами всё ок - запускается и перематывает http://paste.ubuntu.com/p/pQ3fHSbSrv/ http://paste.ubuntu.com/p/QcbkqTqR7c/ ед момент c файлами после буферизации скорость падает на 0 и начинает сначала разгоняться

с памятью после буферизации пишет finished но проценты идут, в веб пишет Seeding почему-то иногда перемотка работает, иногда падает скорость до 0 и пишет Finished в веб интерфейсе и застывает

норм - http://paste.ubuntu.com/p/2C8zkqxtxz/ креш при буферизации с min memory - http://paste.ubuntu.com/p/fGR76VkJDV/ - наверно потому что 40мб размер памяти, а буфер 50 и в коди 50. может стоит это описать магия с Segmentation fault - https://paste.ubuntu.com/p/7cjK5FR4ZX/

с буфер 30 и без настройки буфера в коди работает, но после буферизации пишет 100% и Seeding , (похоже проценты считаются для буфера а не файла), после перемотки и последующей паузы проценты бегают вверх/вних около 90% - http://paste.ubuntu.com/p/BtY2RwM3H2/ облом перемотки (со скорость 0 и Finished) max memory - http://paste.ubuntu.com/p/5VMXzWBmWp/

в общем скорость примерно 3,5мбс (в пике 4) (в идеале должно быть 5,5-6), но иногда и 0,5мбс

antonsoroko commented 5 years ago

How to run elementum binary manually on android:

set "client mode" in elementum settings (last tab, setting in the very end)
install https://play.google.com/store/apps/details?id=com.waxrain.telnetd&hl=ru on android and run it
on PC: $ telnet IP_OF_ANDROID 23456

in telnet session:

$ cd /data/data/com.waxrain.telnetd/files
$ cp -r /sdcard/Android/data/com.semperpax.spmc17/files/.spmc/addons/plugin.video.elementum/resources/bin/android_arm .                                                                                 
$ cd android_arm/                                                                                                          
$ chmod +x elementum                                                                                           
$ LD_LIBRARY_PATH=. ./elementum
INFO  main         ▶ main             Starting Elementum daemon
INFO  main         ▶ main             Version: 0.1.4 LibTorrent: 1.1.12.0 Go: go1.11.4, Threads: 4

unfortunately I did not found gdb in mine Android. probably it is possible to download it as an archive or install as an apk.

elgatito commented 5 years ago

По пунктам:

ед момент c файлами после буферизации скорость падает на 0 и начинает сначала разгоняться

На время буфферизации только куски буффера качаются, если качать весь файл то сам буффер дольше ждать надо будет.

после буферизации пишет finished но проценты идут, в веб пишет Seeding почему-то иногда перемотка работает, иногда падает скорость до 0 и пишет Finished в веб интерфейсе и застывает

Да, библиотека считает скачанное сама, на основе того сколько ей надо. В принципе не критично, все равно невозможно посчитать сколько процентов скачано, ибо куски туда-сюда пишутся и удаляются.

креш при буферизации с min memory - http://paste.ubuntu.com/p/fGR76VkJDV/ - наверно потому что 40мб размер памяти, а буфер 50 и в коди 50. может стоит это описать

Да, я это поправил, будет более адекватно

магия с Segmentation fault - https://paste.ubuntu.com/p/7cjK5FR4ZX/

Толком и не понятно где оно валится, к сожалению.

antonsoroko commented 5 years ago

@elgatito На самый последний лог с обломом перемотки ещё стоит обратить внимание. Остальное в принципе мелочи. Очень бодро у вас прогресс идёт :-)

Толком и не понятно где оно валится, к сожалению.

Нужен gdb но я не нашёл как его поставить именно локально в андроид. В гайдах есть про gdb через adb , но даже для отладки по сети надо включить похоже USB отладку и тогда у меня отваливается USB HDD и собственно нечего отлаживать, все на него перенесено, в том числе и приложения. Если у кого-то бы вышло завести gdb или другой отладчик было бы круто.

Кстати, может можно как-то core dump получить, тоже хорошо.

elgatito commented 5 years ago

На самый последний лог с обломом перемотки ещё стоит обратить внимание.

Куда именно посмотреть?

antonsoroko commented 5 years ago

http://paste.ubuntu.com/p/5VMXzWBmWp/ начало у него такое же как и у http://paste.ubuntu.com/p/fGR76VkJDV/ (там где креш был) после идёт просмотр файла гига на 3 на котором перемотка один раз-два раза прошла, а на третий - скорость упала до 0, в веб интерфейсе пишет Finished , видео просто застыло.

где-то в самом конце наверно будет интересные строчки.

victor333ua commented 5 years ago

так у меня и без всякой перемотки та же ситуация. В web ui пишет finished и все останавливается, торрент выгружается. Думал, может проблемы с приставкой, но через Torrserv все работает. Чем я могу помочь ? Удаленная отладка ?

ср, 6 февр. 2019 г., 21:08 Denis notifications@github.com:

На самый последний лог с обломом перемотки ещё стоит обратить внимание.

Куда именно посмотреть?

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/elgatito/plugin.video.elementum/issues/351#issuecomment-461147902, or mute the thread https://github.com/notifications/unsubscribe-auth/AerEvQsXCasyOBsApnMu3srXmUrJ4gnNks5vKyhAgaJpZM4agC4E .

antonsoroko commented 5 years ago

По крутому можно было бы сделать gdb через adb, adb по сети и прокинуть наружу. Но там надо читать, я пока не понял как. Можно ещё голанг отладку по сети расшарить, если она что-то даст.

elgatito commented 5 years ago

Можно ещё голанг отладку по сети расшарить, если она что-то даст.

Segfault идут от С++ или от библиотек (тот же OpenSSL), так что Golang тут ничем не поможет. Посмотрим как следующая версия будет.

antonsoroko commented 5 years ago

Тогда надо будет доразобраться с gdb на Android. Как будет время попробую почитать внимательно.

elgatito commented 5 years ago

Version 0.1.5 is available for testing: https://github.com/elgatito/plugin.video.elementum/releases/tag/v0.1.5

antonsoroko commented 5 years ago

0.1.5 android arm + mem storage = fail to start torrent https://paste.ubuntu.com/p/3fqmbYcM6D/

Update: the same with file storage

соврал: оно и не работало если запускать из сериалов работает только если через поиск торентов, я просто на нём тестировал для быстроты а оказывается всё нехорошо

похоже валится на англоязычных трекерах - там же magnet, да? может с ним беда (видел что уже репортали, но может опять). проверено несколько раз, на ру трекерах не валится, на англ - перезапуск.

victor333ua commented 5 years ago

при хорошей скорости до 10мб/с буффер не заполняется, скачивание кусков false

https://paste.kodi.tv/lasepuvake

elgatito commented 5 years ago

при хорошей скорости до 10мб/с буффер не заполняется, скачивание кусков false

PieceRange{Begin:227, End:743}

Да уж. Неправильно посчитало диапазон. Спасибо, буду пересматривать.

elgatito commented 5 years ago

0.1.5 android arm + mem storage = fail to start torrent https://paste.ubuntu.com/p/3fqmbYcM6D/

Не совсем магниты, но чинить буду.

elgatito commented 5 years ago

Version 0.1.6 is ready for testing: https://github.com/elgatito/plugin.video.elementum/releases/tag/v0.1.6

victor333ua commented 5 years ago

kodi.log https://drive.google.com/file/d/17yqoudrhLFtayoK60Qm03Dkvf9pytPSo/view?usp=drivesdk

пт, 8 февр. 2019 г., 1:14 Denis notifications@github.com:

Version 0.1.6 is ready for testing: https://github.com/elgatito/plugin.video.elementum/releases/tag/v0.1.6

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/elgatito/plugin.video.elementum/issues/351#issuecomment-461627777, or mute the thread https://github.com/notifications/unsubscribe-auth/AerEvc7YTXFt328_AQZlHTz099mDCUNmks5vLLNhgaJpZM4agC4E .

elgatito commented 5 years ago

@victor333ua Я правильно понимаю по логу, сначала всё идёт хорошо, а потом затыки и вылет? Я нашел с этим ошибку, поправлю.

До того как начались глюки - затыки были? После старта проигрывания.

elgatito / plugin.video.elementum

Migration to libtorrent #351