mirror of
https://github.com/werwolfby/monitorrent.git
synced 2026-10-14 21:39:03 +00:00
[GH-ISSUE #379] Lostfilm not working #303
Labels
No labels
bug
docs
duplicate
enhancement
Epic
feature
feature
future
help wanted
in progress
need more info
plugin
proxy
pull-request
python 2
python 3
question
wontfix
No milestone
No project
No assignees
1 participant
Notifications
Due date
No due date set.
Dependencies
No dependencies set.
Reference
werwolfby/monitorrent#303
Loading…
Add table
Add a link
Reference in a new issue
No description provided.
Delete branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Originally created by @makar0nin on GitHub (Mar 1, 2023).
Original GitHub issue: https://github.com/werwolfby/monitorrent/issues/379
С недавних пор стало сыпать на каждой попытке проверить
`FAILED
Failed while checking for lostfilm.tv
Traceback (most recent call last):
File "/var/www/monitorrent/monitorrent/plugins/trackers/init.py", line 363, in extract_cloudflare_credentials_and_headers
raise CloudflareException('Exception should be thrown by scrapper, but this is not always happened')
cloudscraper.exceptions.CloudflareException: Exception should be thrown by scrapper, but this is not always happened
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "/var/www/monitorrent/monitorrent/engine.py", line 124, in execute
tracker.execute(topics, engine_tracker)
File "/var/www/monitorrent/monitorrent/plugins/trackers/lostfilm.py", line 783, in execute
if not self._execute_login(engine):
File "/var/www/monitorrent/monitorrent/plugins/trackers/init.py", line 342, in _execute_login
if not self.verify():
File "/var/www/monitorrent/monitorrent/plugins/trackers/lostfilm.py", line 775, in verify
return self.tracker.verify()
File "/var/www/monitorrent/monitorrent/plugins/trackers/lostfilm.py", line 502, in verify
self._update_headers_and_cookies(my_settings_url)
File "/var/www/monitorrent/monitorrent/plugins/trackers/lostfilm.py", line 618, in _update_headers_and_cookies
headers, cookies = extract_cloudflare_credentials_and_headers(url, self.headers, self.cookies)
File "/var/www/monitorrent/monitorrent/plugins/trackers/init.py", line 382, in extract_cloudflare_credentials_and_headers
page.wait_for_selector('.left-side > .menu', timeout=timeout)
File "/usr/local/lib/python3.9/site-packages/playwright/sync_api/_generated.py", line 6509, in wait_for_selector
self._sync(
File "/usr/local/lib/python3.9/site-packages/playwright/_impl/_sync_base.py", line 88, in _sync
return task.result()
File "/usr/local/lib/python3.9/site-packages/playwright/_impl/_page.py", line 360, in wait_for_selector
return await self._main_frame.wait_for_selector(**locals_to_params(locals()))
File "/usr/local/lib/python3.9/site-packages/playwright/_impl/_frame.py", line 293, in wait_for_selector
await self._channel.send("waitForSelector", locals_to_params(locals()))
File "/usr/local/lib/python3.9/site-packages/playwright/_impl/_connection.py", line 39, in send
return await self.inner_send(method, params, False)
File "/usr/local/lib/python3.9/site-packages/playwright/_impl/_connection.py", line 63, in inner_send
result = next(iter(done)).result()
playwright._impl._api_types.TimeoutError: Timeout 30000ms exceeded.
=========================== logs ===========================
waiting for selector ".left-side > .menu" to be visible
============================================================`
monitorrent in Docker
@werwolfby commented on GitHub (Mar 3, 2023):
Аналогично, буду сегодня смотреть. Надеюсь фигня.
@werwolfby commented on GitHub (Mar 3, 2023):
Не фигня :(
На лосте снова
clouflareзащита от ДДОС. Я вроде как пофиксил, теперь скрипт в браузере нажимает кнопочку я не робот. Но полностью протестить не могу. У меня на распберях не работает :(, локально в Виндоус окей.Буду пробовать дальше, текущий воркэраунд - это руками пофиксить куки в базе, UI для этого пока не сделан.
В общем посмотрю дальше чуть позже.
@makar0nin commented on GitHub (Mar 3, 2023):
А подробней можно инструкцию как можно вручную пофиксить ?
@werwolfby commented on GitHub (Mar 4, 2023):
Ну в принципе 1.2.2 докер справляется с проблемой на ура.
Но иногда нужно несколько попыток, так что в конце концов должно быть все окейю
@werwolfby commented on GitHub (Mar 4, 2023):
https://hub.docker.com/layers/werwolfby/monitorrent/1.2.2/images/sha256-535b85bb005fb0f7cd4d5bdd65ee96331a844abeff9bebd98033ae0f265c076f?context=explore
@makar0nin commented on GitHub (Mar 4, 2023):
заменил latest на 1.2.2 вроде взлетело
@makar0nin commented on GitHub (Mar 4, 2023):
кстати вопрос, а чего alpine версию забросили?
@werwolfby commented on GitHub (Mar 4, 2023):
Потому что под нее не ставится браузер для обхода cloudflare ddos защиты.
Все мои попытки были тщетными, проще взять официально поддерживаемый образ для playwright.
@Vladikamira commented on GitHub (Mar 4, 2023):
у меня на Расберях таже ошибка что и раньше на версии 1.2.2 :( так и должно быть?
@werwolfby commented on GitHub (Mar 4, 2023):
Возможно, я еще не релизнул полностью 1.2.2 и так как это защита от ДДОС никто не знает как учесть все кейсы, кроме разработчиков cloudflare.
Так что проблема может быть где угодно. Я работаю над этим :)
Скоро будет возможность скачивать видео того как проходил процес обхода защиты. И уже по нему можно будет пытаться решать эти частные случаи.
@werwolfby commented on GitHub (Mar 4, 2023):
@Vladikamira что и раньше это как? Как тут в топике или что-то еще?
У меня на расперях тоже не завелось с первого раза, не уверен в чем именно беда. Но в конце концов с Н попыток прошло. Просто взяло и заработало.
По видео видно странийа 60 секунд проверяет «мой браузер» на безопасность, а потом мы падаем.
@Vladikamira commented on GitHub (Mar 5, 2023):
Ага, так же как в этом топике. У меня проверка lostfilm.tv каждый час происходит, обновился часов 20 назад - пока не было успешных запросов на образе 1.2.2
@tops5 commented on GitHub (Mar 5, 2023):
У меня все работает.
@iteterin commented on GitHub (Mar 6, 2023):
У меня со всеми трекерами беда :( Шлю запросы через прокси. Развернут https://hub.docker.com/layers/werwolfby/monitorrent/1.2.2/images/sha256-535b85bb005fb0f7cd4d5bdd65ee96331a844abeff9bebd98033ae0f265c076f?context=explore
@tops5 commented on GitHub (Mar 6, 2023):
lostfilm работает после добавления cf_clearance cookie, kinozal работает после исправления http на https в файле kinozal.py, rutracker работает. Другими не пользуюсь.
@werwolfby commented on GitHub (Mar 6, 2023):
@Vladikamira попробуйте последнюю 1.2.2 теперь должно все быть окей. Как минимум у меня на распери сейчас работает.
Плюс если проблема повторится то после включение developer settings в General. Появится новый пункт меню в настройках:
Можно скачать видео файл и посмотреть что же там не смогло пройти cloudflare защиту.
Опять же, это все ещё не релиз 1.2.2, но уже довольно близко к этому.
Ну и так же теперь
cf_clearanceможно руками выставить в настройках, если стащить куки напряму из браузера:@werwolfby commented on GitHub (Mar 6, 2023):
@iteterin с прокси могут быть проблемы, я это не тистировал на последней версии.
Ну и в целом мало тестировал.
@Vladikamira commented on GitHub (Mar 6, 2023):
в общем я не могу проверить наверняка на своем распбери, так как когда я нажимаю
Execute lostfilm.tvв UI через минуту мой распбери замирает в IO к диску и я не могу ничего посмотреть что происходит дальше. Память похоже съедается вся (замирает на примерно 90% съеденной памяти)у меня Pi 3b+ с 1Gb ram, может этого не достаточно для эмуляции браузера и прохождения проверки cloudfalre?
Все контейнеры кроме monitorrent я остановил - поидее ничего больше не конкурирует за ресурсы (раньше конечно было много запущено и проблем не было)
cf_clearanceя пробовал выставлять - результат такой же: замирает@werwolfby commented on GitHub (Mar 7, 2023):
@Vladikamira как выставляли? Прям как написано в виде
json?Т.е. он должен выглядеть вот так вот:
Я кажется вспомнил что нужно ещё и
User-Agentвыставлять. Вынесу его в настройки, взять можно из дев тулсов браузера.@werwolfby commented on GitHub (Mar 7, 2023):
Ну и для браузера советую включить своп, файрфокс в принципе не должен какпец как дофига есть, так что должно было бы прокатить.
Я могу попозже на своем 3 Пай поиграться.
@werwolfby commented on GitHub (Mar 7, 2023):
В общем да, на Пай 3 1Гб все просто зависает, но выставление
User-Agentиcf_clearenceработает как часы:Но поднятие свопа слегка улучшило ситуацию:
Хотя бы уже не так сильно зависает....
Своп конечно не резиновый..., но хотябы не намертво зависаем...
Пока не съели 2 гига...
@werwolfby commented on GitHub (Mar 7, 2023):
На 4-м распери в кубике оно не съело больше чем 1.2Гб и все прошло на ура.
Я не думаю что могу сделать большего. Так что пока ишью закрываю, вместе с релизом 1.2.2
@Vladikamira теперь можно вытсавить и агент, как я написал выше. С такими настройками всё бегает просто прекрасно! Даже на Raspberry PI 3 с 1Гб. Если проставить руками все нужные настройки.
@werwolfby commented on GitHub (Mar 8, 2023):
Я тут таки дождался когда распбери отвиснет, хз сколько часов прошло. Но по видосу ничего интересного не вижно.
Ну и тут я подумал, а может вообще проблема как раз в том что он видео и HAR файл собирает. HAR как бы не страшно, а вот видео может быть трудозатратным.
Потом попробую без видео проранать.
@werwolfby commented on GitHub (Mar 8, 2023):
@Vladikamira без записи видео всё прошло на ура!
Сейчас пофикшу, чтобы видосы не писались по умолчанию, а только по требованию (если не лень будет).
В общем съело меньше 600Мб, при этом 227 сама система с ГУИ ест.
Так что все должно быть хорошо в этот раз.
@werwolfby commented on GitHub (Mar 8, 2023):
647 в пике было и 45Мб из 100Мб свопа, так что все будет хорошо!
@Vladikamira commented on GitHub (Mar 9, 2023):
@werwolfby Спасибо за
1.2.3, все теперь проходит с гораздо меньшими ресурсами наpi3🎉А то я уже начал думать о покупке
pi4хотя их сейчас проблемно походу найти