[GH-ISSUE #327] не добавляет сериалы с LostFilm и не пишет логи (stdout) в docker #260

Closed
opened 2026-10-13 19:53:01 +00:00 by bsakaguchi · 22 comments
Owner

Originally created by @Shikaka on GitHub (Dec 29, 2019).
Original GitHub issue: https://github.com/werwolfby/monitorrent/issues/327

Обновился с версии 1.1.10 до версии 1.1.11
запускаю в Docker
#docker-compose version: '2' services: monitorrent: image: werwolfby/alpine-monitorrent network_mode: "host" environment: - MONITORRENT_DEBUG=True ports: - 6687:6687 volumes: - /opt/monitorrent/monitorrent.db:/var/www/monitorrent/monitorrent.db
доступ к lostfilm был сохранен на версии 1.1.10. Ни одного сериала на 1.1.10 не было добавлено.
На 1.1.11 Не смог добиться добавления ни одного сериала.
Пробовал следующие ссылки:
http://www.lostfilm.tv/series/The_Expanse
http://www.lostfilm.tv/series/The_Expanse/season_4
http://www.lostfilm.tv/browse.php?cat-260
http://www.lostfilm.tv/series/Vikings
http://www.lostfilm.tv/series/Lost_in_Space

Пробовал найти куда сервер пишет логи, но безуспешно

  • docker logs пуст
  • В базе таблица execute_logs похоже заполняется только при запуске уже добавленных торрентов
  • Внутри контейнера тоже не нашел чего то похожего на логи

Пробовал снести базу и с 0 настроить.

  • не выходит добавить авторизацию на lostfilm.tv
Originally created by @Shikaka on GitHub (Dec 29, 2019). Original GitHub issue: https://github.com/werwolfby/monitorrent/issues/327 Обновился с версии 1.1.10 до версии 1.1.11 запускаю в Docker `#docker-compose version: '2' services: monitorrent: image: werwolfby/alpine-monitorrent network_mode: "host" environment: - MONITORRENT_DEBUG=True ports: - 6687:6687 volumes: - /opt/monitorrent/monitorrent.db:/var/www/monitorrent/monitorrent.db ` доступ к lostfilm был сохранен на версии 1.1.10. Ни одного сериала на 1.1.10 не было добавлено. На 1.1.11 Не смог добиться добавления ни одного сериала. Пробовал следующие ссылки: http://www.lostfilm.tv/series/The_Expanse http://www.lostfilm.tv/series/The_Expanse/season_4 http://www.lostfilm.tv/browse.php?cat-260 http://www.lostfilm.tv/series/Vikings http://www.lostfilm.tv/series/Lost_in_Space Пробовал найти куда сервер пишет логи, но безуспешно * docker logs пуст * В базе таблица execute_logs похоже заполняется только при запуске уже добавленных торрентов * Внутри контейнера тоже не нашел чего то похожего на логи Пробовал снести базу и с 0 настроить. * не выходит добавить авторизацию на lostfilm.tv
Author
Owner

@Shikaka commented on GitHub (Dec 29, 2019):

Больше даже хочется понять где же смотреть логи :(

<!-- gh-comment-id:569501186 --> @Shikaka commented on GitHub (Dec 29, 2019): Больше даже хочется понять где же смотреть логи :(
Author
Owner

@Akior commented on GitHub (Dec 29, 2019):

Сейчас не добавить сериалы с лоста по причине https://github.com/werwolfby/monitorrent/issues/326

Логирование в вебке есть ?
http://localhost:6687/#/logs

<!-- gh-comment-id:569528898 --> @Akior commented on GitHub (Dec 29, 2019): Сейчас не добавить сериалы с лоста по причине https://github.com/werwolfby/monitorrent/issues/326 Логирование в вебке есть ? http://localhost:6687/#/logs
Author
Owner

@Shikaka commented on GitHub (Dec 30, 2019):

Спасибо за ответ.

Да, это логгирование я нашел. Но оно работает только для уже добавленных торрентов.
У меня проблема на этапе добавления (не активна кнопка ADD, не меняются поля диалога)

Я руками пробовал прописать в базу раздачу, но ошибку #326 так и не словил. просто писал Error. Видимо что-то не так добавил.

PS как временное решение использую rutor.info, где дублируют раздачи лоста.

<!-- gh-comment-id:569599968 --> @Shikaka commented on GitHub (Dec 30, 2019): Спасибо за ответ. Да, это логгирование я нашел. Но оно работает только для уже добавленных торрентов. У меня проблема на этапе добавления (не активна кнопка ADD, не меняются поля диалога) Я руками пробовал прописать в базу раздачу, но ошибку #326 так и не словил. просто писал Error. Видимо что-то не так добавил. PS как временное решение использую rutor.info, где дублируют раздачи лоста.
Author
Owner

@Akior commented on GitHub (Dec 30, 2019):

а у Вас случаем РКН до лоста не добрался ?
Во время добавления, monitorrent делает запрос в лост, и парсит название сериала rus/eng. Только после этого кнопка ADD будет активна

<!-- gh-comment-id:569601816 --> @Akior commented on GitHub (Dec 30, 2019): а у Вас случаем РКН до лоста не добрался ? Во время добавления, monitorrent делает запрос в лост, и парсит название сериала rus/eng. Только после этого кнопка ADD будет активна
Author
Owner

@Shikaka commented on GitHub (Dec 30, 2019):

нет. Проверял elinks - сайт открывается.

<!-- gh-comment-id:569643017 --> @Shikaka commented on GitHub (Dec 30, 2019): нет. Проверял elinks - сайт открывается.
Author
Owner

@lonsdaleite commented on GitHub (Dec 31, 2019):

Аналогичная проблема. Решение из #326 не помогает.

<!-- gh-comment-id:569842517 --> @lonsdaleite commented on GitHub (Dec 31, 2019): Аналогичная проблема. Решение из #326 не помогает.
Author
Owner

@dronbi4 commented on GitHub (Jan 4, 2020):

Cloudflare там добавили... Обойти надо

<!-- gh-comment-id:570775878 --> @dronbi4 commented on GitHub (Jan 4, 2020): Cloudflare там добавили... Обойти надо
Author
Owner

@lonsdaleite commented on GitHub (Jan 4, 2020):

@dronbi4, просто в #326 пишут, что то решение помогает в обходе Cloudflare. Тут же то решение не помогает, а логов нет вообще. И еще теперь check в настройках показывает "Connection successful" при любом пароле.

<!-- gh-comment-id:570779662 --> @lonsdaleite commented on GitHub (Jan 4, 2020): @dronbi4, просто в #326 пишут, что то решение помогает в обходе Cloudflare. Тут же то решение не помогает, а логов нет вообще. И еще теперь check в настройках показывает "Connection successful" при любом пароле.
Author
Owner

@korableff commented on GitHub (Jan 8, 2020):

присоединяюсь, применил решение #326 - думал поможет, но по итогу просто молча ничего не качает с лоста и не получает данные, и не выводит ошибок. В глобальном логе тоже все красиво - проверка авторизационных данных для лоста, ок, проверка эпизода - типа как его нет вообще.

Ну и отдельно - пришлось раскурочить весь образ, так как запускаю это все в докере.

<!-- gh-comment-id:572209299 --> @korableff commented on GitHub (Jan 8, 2020): присоединяюсь, применил решение #326 - думал поможет, но по итогу просто молча ничего не качает с лоста и не получает данные, и не выводит ошибок. В глобальном логе тоже все красиво - проверка авторизационных данных для лоста, ок, проверка эпизода - типа как его нет вообще. Ну и отдельно - пришлось раскурочить весь образ, так как запускаю это все в докере.
Author
Owner

@Akior commented on GitHub (Jan 8, 2020):

присоединяюсь, применил решение #326 - думал поможет, но по итогу просто молча ничего не качает с лоста и не получает данные, и не выводит ошибок. В глобальном логе тоже все красиво - проверка авторизационных данных для лоста, ок, проверка эпизода - типа как его нет вообще.

Ну и отдельно - пришлось раскурочить весь образ, так как запускаю это все в докере.
Вот проверка эпизода как раз и попадает в cloudflare ddos protection.
в файле lostfilm.py добавьте в функцию

    def get_download_info(self, url, cat, season, episode):

строку до (сохраняя отступы)

    download_redirect = scraper.get(download_redirect_url, headers=self._headers, cookies=cookies,**self.tracker_settings.get_requests_kwargs())

строка:

    print(download_redirect_url)

и строку после (сохраняя отступы)

    download_page_url = meta_content.split(';')[1].strip()[4:]

строка:

    print(download_page_url)

Запустите мониторрент в режиме дебага и покажите вывод консоли после попытки добавления любого сериала с лоста

<!-- gh-comment-id:572212252 --> @Akior commented on GitHub (Jan 8, 2020): > присоединяюсь, применил решение #326 - думал поможет, но по итогу просто молча ничего не качает с лоста и не получает данные, и не выводит ошибок. В глобальном логе тоже все красиво - проверка авторизационных данных для лоста, ок, проверка эпизода - типа как его нет вообще. > > Ну и отдельно - пришлось раскурочить весь образ, так как запускаю это все в докере. Вот проверка эпизода как раз и попадает в cloudflare ddos protection. в файле lostfilm.py добавьте в функцию def get_download_info(self, url, cat, season, episode): строку до (сохраняя отступы) download_redirect = scraper.get(download_redirect_url, headers=self._headers, cookies=cookies,**self.tracker_settings.get_requests_kwargs()) строка: print(download_redirect_url) и строку после (сохраняя отступы) download_page_url = meta_content.split(';')[1].strip()[4:] строка: print(download_page_url) Запустите мониторрент в режиме дебага и покажите вывод консоли после попытки добавления любого сериала с лоста
Author
Owner

@korableff commented on GitHub (Jan 9, 2020):

Запустите мониторрент в режиме дебага и покажите вывод консоли после попытки добавления любого сериала с лоста

Как это сделать для докер инстанса?

<!-- gh-comment-id:572673579 --> @korableff commented on GitHub (Jan 9, 2020): > Запустите мониторрент в режиме дебага и покажите вывод консоли после попытки добавления любого сериала с лоста Как это сделать для докер инстанса?
Author
Owner

@Shikaka commented on GitHub (Jan 9, 2020):

Запустите мониторрент в режиме дебага и покажите вывод консоли после попытки добавления любого сериала с лоста

Как это сделать для докер инстанса?

По идее
добавить переменную среды "MONITORRENT_DEBUG=True"
и сделать docker logs ... но у меня это не работает. в лог ничего не пишется все равно.

<!-- gh-comment-id:572674502 --> @Shikaka commented on GitHub (Jan 9, 2020): > > > > Запустите мониторрент в режиме дебага и покажите вывод консоли после попытки добавления любого сериала с лоста > > Как это сделать для докер инстанса? По идее добавить переменную среды "MONITORRENT_DEBUG=True" и сделать docker logs ... но у меня это не работает. в лог ничего не пишется все равно.
Author
Owner

@Akior commented on GitHub (Jan 9, 2020):

я бы предложил на период теста установить мониторрент без докера и проверить.
Фактически запуск дебага такой:
python3 server.py --debug

<!-- gh-comment-id:572681324 --> @Akior commented on GitHub (Jan 9, 2020): я бы предложил на период теста установить мониторрент без докера и проверить. Фактически запуск дебага такой: python3 server.py --debug
Author
Owner

@Shikaka commented on GitHub (Jan 9, 2020):

поставил с исходников девелоперскую сборку.

При добавлении с лостфильма теперь вижу 2 строчки в логе

DEBUG:urllib3.connectionpool:Starting new HTTPS connection (1): www.lostfilm.tv:443 DEBUG:urllib3.connectionpool:https://www.lostfilm.tv:443 "GET /series/The_Mandalorian/seasons HTTP/1.1" 403 None
напрямую нормально открываю адрес https://www.lostfilm.tv/series/The_Mandalorian/seasons

<!-- gh-comment-id:572703875 --> @Shikaka commented on GitHub (Jan 9, 2020): поставил с исходников девелоперскую сборку. При добавлении с лостфильма теперь вижу 2 строчки в логе `DEBUG:urllib3.connectionpool:Starting new HTTPS connection (1): www.lostfilm.tv:443 DEBUG:urllib3.connectionpool:https://www.lostfilm.tv:443 "GET /series/The_Mandalorian/seasons HTTP/1.1" 403 None ` напрямую нормально открываю адрес https://www.lostfilm.tv/series/The_Mandalorian/seasons
Author
Owner

@Shikaka commented on GitHub (Jan 9, 2020):

если сделать curl https://www.lostfilm.tv/series/The_Mandalorian/seasons то попадаю на Cloudflare

elinks https://www.lostfilm.tv/series/The_Mandalorian/seasons показывает ошибку ssl :(

<!-- gh-comment-id:572706424 --> @Shikaka commented on GitHub (Jan 9, 2020): если сделать curl https://www.lostfilm.tv/series/The_Mandalorian/seasons то попадаю на Cloudflare elinks https://www.lostfilm.tv/series/The_Mandalorian/seasons показывает ошибку ssl :(
Author
Owner

@Akior commented on GitHub (Jan 9, 2020):

если сделать curl https://www.lostfilm.tv/series/The_Mandalorian/seasons то попадаю на Cloudflare

elinks https://www.lostfilm.tv/series/The_Mandalorian/seasons показывает ошибку ssl :(

В таком случае примите фикс 326 но замените все requests на scraper.
т.е
requests.get >> scraper.get

<!-- gh-comment-id:572708779 --> @Akior commented on GitHub (Jan 9, 2020): > если сделать curl https://www.lostfilm.tv/series/The_Mandalorian/seasons то попадаю на Cloudflare > > elinks https://www.lostfilm.tv/series/The_Mandalorian/seasons показывает ошибку ssl :( В таком случае примите фикс 326 но замените все requests на scraper. т.е requests.get >> scraper.get
Author
Owner

@Shikaka commented on GitHub (Jan 9, 2020):

взял сборку из https://github.com/shemanaev/monitorrent/tree/fix/lostfilm
результат тот же... видимо фикс нацелен только на чекалку уже готовых раздач.

пошел sed'ать весь проект.

<!-- gh-comment-id:572709595 --> @Shikaka commented on GitHub (Jan 9, 2020): взял сборку из https://github.com/shemanaev/monitorrent/tree/fix/lostfilm результат тот же... видимо фикс нацелен только на чекалку уже готовых раздач. пошел sed'ать весь проект.
Author
Owner

@Shikaka commented on GitHub (Jan 9, 2020):

DEBUG:urllib3.connectionpool:Starting new HTTPS connection (1): www.lostfilm.tv:443 DEBUG:urllib3.connectionpool:https://www.lostfilm.tv:443 "GET /series/The_Mandalorian/seasons HTTP/1.1" 403 None DEBUG:urllib3.connectionpool:Resetting dropped connection: www.lostfilm.tv DEBUG:urllib3.connectionpool:https://www.lostfilm.tv:443 "GET /series/The_Mandalorian/seasons HTTP/1.1" 403 None RuntimeError("Cloudflare reCaptcha detected, unfortunately you haven't loaded an anti reCaptcha provider correctly via the 'recaptcha' parameter.",) Traceback (most recent call last): RuntimeError: Cloudflare reCaptcha detected, unfortunately you haven't loaded an anti reCaptcha provider correctly via the 'recaptcha' parameter.

видимо не все так просто как казалось :(

<!-- gh-comment-id:572714156 --> @Shikaka commented on GitHub (Jan 9, 2020): `DEBUG:urllib3.connectionpool:Starting new HTTPS connection (1): www.lostfilm.tv:443 DEBUG:urllib3.connectionpool:https://www.lostfilm.tv:443 "GET /series/The_Mandalorian/seasons HTTP/1.1" 403 None DEBUG:urllib3.connectionpool:Resetting dropped connection: www.lostfilm.tv DEBUG:urllib3.connectionpool:https://www.lostfilm.tv:443 "GET /series/The_Mandalorian/seasons HTTP/1.1" 403 None RuntimeError("Cloudflare reCaptcha detected, unfortunately you haven't loaded an anti reCaptcha provider correctly via the 'recaptcha' parameter.",) Traceback (most recent call last): RuntimeError: Cloudflare reCaptcha detected, unfortunately you haven't loaded an anti reCaptcha provider correctly via the 'recaptcha' parameter. ` видимо не все так просто как казалось :(
Author
Owner

@Shikaka commented on GitHub (Jan 9, 2020):

Пересоздал информацию о логине/пароле - помогло...
скрапер заработал.

@Akior спасибо за помощь. Буду ждать когда патч из #326 приедет на master

<!-- gh-comment-id:572719465 --> @Shikaka commented on GitHub (Jan 9, 2020): Пересоздал информацию о логине/пароле - помогло... скрапер заработал. @Akior спасибо за помощь. Буду ждать когда патч из #326 приедет на master
Author
Owner

@korableff commented on GitHub (Jan 10, 2020):

Запустил мониторрент без докера, поборол все ошибки при установке и запуске, заменил в плагине лостфильма все вызовы requests на scraper и получил новую ошибку

RuntimeError: Cloudflare reCaptcha detected, unfortunately you haven't loaded an anti reCaptcha provider correctly via the 'recaptcha' parameter.

по комментарию @Shikaka заново попытался залогиниться на лостфильме но получал ту же ошибку о рекапче.

Перезапустил мониторрент и еще раз попытался перезайти в лостфильм - та же ошибка, ввел неправильные логин и пароль - ошибка, сохранил их и перезапустил мониторрент и указал правильные данные в авторизации в лостфильме - успешно, после этого заработала проверка эпизодов, но добавление нового сериала приводит опять к ошибке рекапча.

В любом случае @Shikaka @Akior спасибо!

Дополнено.
У меня все это добро работало через прокси через тор,
поменял прокси на другой - заработало все как нужно!

<!-- gh-comment-id:573124245 --> @korableff commented on GitHub (Jan 10, 2020): Запустил мониторрент без докера, поборол все ошибки при установке и запуске, заменил в плагине лостфильма все вызовы requests на scraper и получил новую ошибку RuntimeError: Cloudflare reCaptcha detected, unfortunately you haven't loaded an anti reCaptcha provider correctly via the 'recaptcha' parameter. по комментарию @Shikaka заново попытался залогиниться на лостфильме но получал ту же ошибку о рекапче. Перезапустил мониторрент и еще раз попытался перезайти в лостфильм - та же ошибка, ввел неправильные логин и пароль - ошибка, сохранил их и перезапустил мониторрент и указал правильные данные в авторизации в лостфильме - успешно, после этого **заработала проверка эпизодов**, но добавление нового сериала приводит опять к ошибке рекапча. В любом случае @Shikaka @Akior спасибо! Дополнено. У меня все это добро работало через прокси через тор, поменял прокси на другой - **заработало все как нужно**!
Author
Owner

@Shikaka commented on GitHub (Jan 10, 2020):

Дополнено.
У меня все это добро работало через прокси через тор,
поменял прокси на другой - заработало все как нужно!

Мне видимо тоже придется искать прокси. потому что через tor добавление и чек заработали, но трекер лоста не выдает сидов :(

<!-- gh-comment-id:573129333 --> @Shikaka commented on GitHub (Jan 10, 2020): > Дополнено. > У меня все это добро работало через прокси через тор, > поменял прокси на другой - заработало все как нужно! Мне видимо тоже придется искать прокси. потому что через tor добавление и чек заработали, но трекер лоста не выдает сидов :(
Author
Owner

@Shikaka commented on GitHub (Jan 10, 2020):

UPD про "Cloudflare reCaptcha detected"
тоже сегодня не добавился сериал, пока не зашел в настройки и не нажал "check"
видимо ему надо менять куки логина почаще теперь

<!-- gh-comment-id:573135826 --> @Shikaka commented on GitHub (Jan 10, 2020): UPD про "Cloudflare reCaptcha detected" тоже сегодня не добавился сериал, пока не зашел в настройки и не нажал "check" видимо ему надо менять куки логина почаще теперь
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
werwolfby/monitorrent#260
No description provided.