Вопрос Как происходит парсинг динамических страниц?

[coder2000]

Как происходит парсинг динамических страниц?
Requests

 

[asfssfd]

Для динамических страниц лучше использовать Selenium

Пример:

Пожалуйста, авторизуйтесь для просмотра ссылки.

 

[Irval]

Немного непонятна суть вопроса. Нужен парсер веб-страниц с использованием requests или что?

 

[coder2000]

Немного непонятна суть вопроса. Нужен парсер веб-страниц с использованием requests или что?

Нужно объяснение, как происходит парсинг динамических веб-страниц с использованием requests.

Для динамических страниц лучше использовать Selenium

Пример:

Пожалуйста, авторизуйтесь для просмотра ссылки.

Selenium хороший вариант, но у него очень большая задержка.

 

[asfssfd]

Так прикол динамических страниц в интерпретации js, который по определению лучше сделать на браузерном движке (читай силениум). Requests тут не причем.

 

[coder2000]

Так прикол динамических страниц в интерпретации js, который по определению лучше сделать на браузерном движке (читай силениум). Requests тут не причем.

Я наверное не правильно сформулировал вопрос, есть страница где выходят новые видео (тип YouTube) и мне нужно парсить эти новые элементы.
Или это и есть динамические элементы/страницы?

 

[asfssfd]

Я наверное не правильно сформулировал вопрос, есть страница где выходят новые видео (тип YouTube) и мне нужно парсить эти новые элементы.
Или это и есть динамические элементы/страницы?

Так-то под динамическими страницами, т.е. страницами, которые генерируются в нужный момент, можно много что понимать.
Раньше под этим понимали скорее генерацию готового html на стороне сервера (cgi, mod_php и т.д. - вот это все). Если это так, то для тебя это мало что меняет - просто получаешь готовый html и его парсишь (лучше работать сразу с DOM, а не использовать регэкспы).

Сейчас же мода формировать разметку на стороне клиента с помощью js (особенно "реактивные" страницы - всякие там реакты, ангуляры и прочий вьюджс). Здесь уже надо интерпретировать js и формировать DOM, а потом с ним работать. Вангую, что твой случай именно второй, а значит селениум в помощь.