gifts2017

Парсер сайта Авто.Ру

Опубликовал Andrey Kolesnikov (Boneman) в раздел Программирование - Практика программирования

Пример парсера сайта auto.ru

Решил попрактиковаться в парсинге сайтов на примере сайта auto.ru.

 

Необходимо задать сформированную ссылку, например, по нужным моделям автомобилей, за сегодняшний день.

Далее переходим к просмотру сайта.

 

Сделал парсинг двумя видами:

  • первый способ, обход непосредственно поля HTML.
  • второй способ, через построитель DOM.

 

Обработка может обходить многостраничные результаты выдачи сайта.

Также умеет заходить в объявления, и забирать из них крупную картинку.

 

Обработка, по сути, является наработкой, на примере которой можно создавать свои собственные парсеры сайтов.

Скачать файлы

Наименование Файл Версия Размер
парсер 27
.epf 21,41Kb
13.05.15
27
.epf 1_0 21,41Kb Скачать

См. также

Подписаться Добавить вознаграждение

Комментарии

1. Andrey Kolesnikov (Boneman) 04.06.15 14:57
Информация! На сайте изменились имена классов, и обработка в готовом виде уже не находит объявления. Необходимо заново анализировать структуру сайта, и прописывать имена в обработке. Так, что интерес она может представлять только методический.
2. olo lo (olo_lo4) 07.11.15 03:08
эх, какая интересная обработка, жаль что уже не актуальна...
3. Вячеслав Павелко (slawanix) 23.12.15 00:01
В свое время на Delphi пробовал сделать то же самое и уже началось, как мне показалось получаться. Но тоже наткнулся на защиту сайта от парсинга. И смена имен классов - это один из видов защиты у них на сайте. А еще были капчи, запрет на многократные запросы с малой задержкой и многое другое. Очень скоро задвинул на эту тему, не мне бодаться с их защитой. Ибо в этом не силен :))
4. Сергей Маслов (sirm) 28.04.16 13:43
Не понятен смысл в 1с-ке делать парсер... для чего?
5. Andrey Kolesnikov (Boneman) 28.04.16 15:23
(4) sirm, как зачем. 1С - мощный корпоративный инструмент, в котором работают все пользователи конторы. Почему бы, в рамках соответствующих бизнес процессов, им же и не воспользоваться.
WellMaster; +1 Ответить
Для написания сообщения необходимо авторизоваться
Прикрепить файл
Дополнительные параметры ответа