|
Вопрос Как происходит парсинг динамических страниц?
- Автор темы coder2000
- Дата начала
Начинающий
Начинающий
- Статус
- Оффлайн
- Регистрация
- 6 Янв 2021
- Сообщения
- 15
- Реакции
- 4
Для динамических страниц лучше использовать Selenium
Пример:
Пример:
Пожалуйста, авторизуйтесь для просмотра ссылки.
Нужно объяснение, как происходит парсинг динамических веб-страниц с использованием requests.
Selenium хороший вариант, но у него очень большая задержка.
Я наверное не правильно сформулировал вопрос, есть страница где выходят новые видео (тип YouTube) и мне нужно парсить эти новые элементы.
Или это и есть динамические элементы/страницы?
Начинающий
Начинающий
- Статус
- Оффлайн
- Регистрация
- 6 Янв 2021
- Сообщения
- 15
- Реакции
- 4
Так-то под динамическими страницами, т.е. страницами, которые генерируются в нужный момент, можно много что понимать.
Раньше под этим понимали скорее генерацию готового html на стороне сервера (cgi, mod_php и т.д. - вот это все). Если это так, то для тебя это мало что меняет - просто получаешь готовый html и его парсишь (лучше работать сразу с DOM, а не использовать регэкспы).
Сейчас же мода формировать разметку на стороне клиента с помощью js (особенно "реактивные" страницы - всякие там реакты, ангуляры и прочий вьюджс). Здесь уже надо интерпретировать js и формировать DOM, а потом с ним работать. Вангую, что твой случай именно второй, а значит селениум в помощь.
