Загрузка товаров с Avito.ru (парсер поиска)

Опубликовал Александр Крынецкий (echo77) в раздел Обработки - Ценообразование, прайсы

Обработка предназначена для загрузки результатов поиска с сайта бесплатных объявлений Avito.ru.

Обновление от 2017-02-26. Исправления связанные с изменениями на avito. Переход на персинг с использованием DOM

Обновление от 2015-10-05. Исправления связанные с изменениями на avito

Обновление от 2015-09-18. Исправлены некоторые ошибки нового функционала

Обновление от 2015-09-05. Исправления связанные с изменениями на avito

Обновление от 2015-02-24. Исправлен баг преобразования строки в дату

Обновление от 2015-05-31. Исправлено преобразование строки с ценой в число

Обновление от 2015-07-01. Исправления связанные с изменениями на avito

С помощью обработки можно выполнить поиск в выбранном разделе, проставить свои комментарии к найденным объявлениям и сформировать отчет. Результаты поиска можно объединять, так же можно добавить символ "или" в поисковые запросы

Вместе с объявлением там же грузится его главная картинка.

Режимы работы

В обработке предусмотрено два режима указания категорий поиска:

  • Обычный режим - очень приближен к тому, что вы видите на сайте
  • Экспертный режим - этот режим позволяет указать URL-адрес страницы-каталога, в которой выполняется поиск, например: https://m.avito.ru/rossiya/tovary_dlya_detey_i_igrushki/igrushki. Обратите внимание, на то, что используется мобильная версия сайта. Адрес страницы вы можете скопировать из браузера, выполнив предварительную навигацию по каталогу avito

Переключение между режимами осуществляется с помощью кнопки Экспертный режим на верхней панели

Порядок работы

  1. Выберите область поиска из перечня категорий
  2. При желании укажите подкатегорию, выбрав её в соседнем поле
  3. Выберите регион поиска (область или крупный город)
  4. Введите строку поиска. В строке поиска можно задать сразу несколько строк поиска через разделитель - "|" (вертикальная черта), например "ситроен | citroen" или "ситроен|citroen"
    Последние 10 запросов сохраняются в списке выбора.
  5. Можно выполнить дополнительные настройки поиска, нажав на кнопку Настройки, расположенную на верхней панели:
    • Искать только в названиях - просмотр строки поиска осуществляется только в заголовке объявления. Используется механизм поиска avito.ru
    • Только частные - выполняется поиск только частных объявлений (не компания). Используется механизм поиска avito.ru
    • Цена от / до - диапазон цен. Думаю, тут все понятно. Используется механизм поиска avito.ru
      • Другие настройки, не влияющие на механизм поиска объявлений:
    В 
    • Открывать объявления во встроенном браузере - при двойном клике по объявлению в таблице - страница объявления открывается во встроенном браузере 1С. Удобно, если сможете его настроить :-)
    • Загружать картинки - после установки флажка будет предложено выбрать размер загружаемого изображения из доступных вариантов
    • Использовать справочник ХранилищеДополнительнойИнформации - использовать справочник ХранилищеДополнительнойИнформации для хранения картинок. Однажды сохраненные картинки не будут загружаться с сайта, а будут браться из справочника. При отсутствии данного справочника в конфигурации, если установлен этот флажок - будет возникать ошибка
    • Файл комментариев - укажите здесь текстовый файл, в который будут сохранены/загружены комментарии к объявлениям
  6. Нажмите кнопку Найти

В результате работы будет сформирована и отображена таблица с полями:

  • N - номер по порядку
  • Заголовок - заголовок объявления, как указано на сайте
  • Город - город, в котором размещено объявление, как указано на сайте
  • Продавец - отображается только для компаний
  • Цена - цена, как указано на сайте
  • Комментарий - произвольный комментарий, который можно установить для этого объявления. Комментарии к объявлениям сохраняются, их не надо повторно вводить.
  • URLОбъявления - по умолчанию отключено отображение. Является ключом объявления, используется для перехода к объявлению на сайт

Кнопка Очистить служит для очистки таблицы результатов поиска
Таблицу результатов поиска можно отсортировать по любому полю, отфильтровать.

Для удобного отображения информации можно воспользоваться отчетом, нажав на кнопку Отчет, расположенную на нижней панели. Отчет построен на СКД, его настройки можно легко изменить. В отчете выводятся картинки к объявлениям! Для того что вывести картинку, необходимо в выбранные поля добавить поле картинка.

В отчете действует весь функционал присущий СКД: можно сортировать, группировать, фильтровать данные по желаемым критериям

Причины купить

  • простая в настройке обработка
  • перечни категорий поиска почти как на avito

Достоинства

  • написано на платформе 1С:Предприятие. Вы всегда её сможете изменить
  • отчет по построенной базе можно тут же сформировать
  • возможность сохранить собственные пометки(комментарии) к объявлениям

Гарантия возврата денег

Гарантия возврата денег

ООО "Инфостарт" гарантирует Вам 100% возврат оплаты, если программа не соответствует заявленному функционалу из описания. Деньги можно вернуть в полном объеме, если вы заявите об этом течение 14-ти дней со дня поступления денег на наш счет.

Программа настолько проверена в работе, что мы с полной уверенностью можем дать такую гарантию. Мы хотим, чтобы все наши покупатели оставались довольны покупкой.

Для возврата оплаты просто свяжитесь с нами.

Скачать файлы

Наименование Файл Версия Размер
Загрузка товаров с Avito.ru (парсер поиска)
27.02.2017
1000 руб.

Моментальная
доставка

Загрузка товаров с Avito.ru (парсер поиска): Техническая поддержка
27.02.2017
500 руб.

См. также

Комментарии
1. Анна - (MikaPikina) 17.09.14 11:53 Сейчас в теме
Прикольная штука.
Только интерфейс немного не дружелюбный...
2. Лена Архипова (elena_ar) 17.09.14 12:23 Сейчас в теме
интересная разработка! =)
3. Максим Рябов (M-Mark-76) 102 07.10.14 15:48 Сейчас в теме
Я так понимаю что сама обработка нуждается в шлифовке напильником, потому как по первому впечатлению косячки присутствуют, или Авито с переменным успехом борется с подобными обработками, хотелось бы уточнить - обновления будут? Или просто забить и пилить самому. А сама идей конечно полезная.
4. Александр Крынецкий (echo77) 686 07.10.14 16:31 Сейчас в теме
(3) Доработки идут ежедневно.
Да, все верно, Avito постоянно изменяет структуру страниц и приходится изменять код.
На самом деле я уже ушел в сторону написания конфигурации с заточкой под определенную специфику.
Обновления будут. Последнее проверю, скоро выложу.
О явных ошибках пишите
5. Максим Рябов (M-Mark-76) 102 09.10.14 16:36 Сейчас в теме
Тест последней версии на 09-10-14 показал вполне неплохие результаты, спасибо за быструю реакцию на обнаруженные ошибки
6. Гость 22.01.15 22:30 Сейчас в теме
При попытке поиска выдает ошибку
Ошибка при вызове метода контекста (Получить): Ошибка работы с Интернет: Problem with the local SSL certificate
В каких настройках это можно исправить?
винда- ХР
1С - 8.2.19.106
7. Александр Крынецкий (echo77) 686 23.01.15 12:44 Сейчас в теме
(6) Гость, приведите полностью текст ошибки и авторизуйтесь, пожалуйста
8. Виталий А (permnets) 23.01.15 13:44 Сейчас в теме
собственно это и есть вся ошибка
{ВнешняяОбработка.ЗагрузкаТоваровСAvito.МодульОбъекта(36)}: Ошибка при вызове метода контекста (Получить): Ошибка работы с Интернет: SSL connect error
возникает на строке
HTTPСервис.Получить(ПутьНаСайте, ИмяВременногоФайла);
9. Александр Крынецкий (echo77) 686 23.01.15 19:03 Сейчас в теме
(8) permnets, переделал на WinHTTP, попробуйте
10. Максим Козлов (Maxman72) 23.02.15 01:39 Сейчас в теме
При поиске выдает ошибку: {ВнешняяОбработка.ЗагрузкаТоваровСAvito.МодульОбъекта(786)}: Преобразование значения к типу Дата не может быть выполнено
пДата = Дата(пГод, пМес, пДень);

Платформа 8.3, УТ 10.3 Подскажите, что не так?
11. Дмитрий Тарасов (tarassov) 73 23.02.15 09:35 Сейчас в теме
любопытно.
За стармани не раздаете?
12. Александр Крынецкий (echo77) 686 24.02.15 10:31 Сейчас в теме
(10) Maxman72, если не сложно, укажите какой поисковый запрос делаете(можно в личку).
Будем смотреть
13. Сергей Ожерельев (Поручик) 3491 10.03.15 17:09 Сейчас в теме
Авито с некоторых пор стал глушить ip-адрес источника подозрительных запросов на скачивание контента. Адрес банится на время от 40 минут до нескольких часов.
14. Александр Крынецкий (echo77) 686 10.03.15 17:26 Сейчас в теме
15. alnovin (alnovin) 211 03.04.15 15:44 Сейчас в теме
А до номера телефона не стали копать? Можете оценить стоимость такого решения?
16. Александр Крынецкий (echo77) 686 03.04.15 15:54 Сейчас в теме
(15) alnovin,
1. Это сбор персональных данных
2. Стоимость - на порядок дороже
3. Эту лавочку забанят очень скоро после выхода рабочего варианта и придется придумывать что-то заново
17. Сергей Ожерельев (Поручик) 3491 03.04.15 22:05 Сейчас в теме
(15)(16) Там номер телефона в виде картинки, а адрес до неё шифруется в виде хитросделанного алгоритма на javascript. Я потратил часа три или четыре, чтобы перевести его на язык 1С.
18. Сергей Ожерельев (Поручик) 3491 18.05.15 15:34 Сейчас в теме
Вот. Поймал. Конфа своя

Доступ с вашего IP-адреса временно ограничен

Мы обнаружили на нём подозрительную активность, нарушающую работоспособность Avito.
Это могло быть вызвано следующими причинами:

вы обновляли одну страницу множество раз;

вы открывали большое количество вкладок со ссылками на наш сайт;

ваш компьютер заражен вирусом и создаёт опасность заражения других пользователей (обязательно проверьте свой компьютер на наличие вирусов);

c вашего адреса генерируется (возможно не вами) мощный поток данных, мешающий другим пользователям получать услуги в полном объёме.
Если вы считаете, что ваш адрес заблокирован по ошибке, напишите нам.
В обращении обязательно укажите:

ваш IP-адрес (его можно посмотреть на internet.yandex.ru);

название интернет-провайдера;

город проживания.
19. Александр Крынецкий (echo77) 686 19.05.15 08:02 Сейчас в теме
(18) 1. Какой поисковый запрос использовал?
2. Или вообще весь раздел сайта решил утащить?
3. Картинки сразу загружаешь вместе с объявлениями?

У меня такой ошибки еще ни разу не было
20. Сергей Ожерельев (Поручик) 3491 19.05.15 08:39 Сейчас в теме
(19) У нас своя конфигурация, использующая данные с авито. Сначала формируется HTTP-запрос, скачивается страница выдачи, потом сканирование таблицы с заходом в объявления, разбор объявления, скачивание первого изображения и изображения с телефоном.

Я просто показал, к чему может привести частое обращение к авито.
21. Сергей Сиренко (ssn1978) 466 05.10.15 10:49 Сейчас в теме
Не работает почему то...
{ВнешняяОбработка.ЗагрузкаТоваровСAvito.МодульОбъекта(61)}: Ошибка при вызове метода контекста (Send): Произошла исключительная ситуация (WinHttp.WinHttpRequest): Время ожидания операции истекло
22. Александр Крынецкий (echo77) 686 05.10.15 16:22 Сейчас в теме
(21) В каком разделе осуществляете поиск? Какие настройки обработки? Что вводится в строке поиска?
Попробуйте поставить флаг "Динамически загружать картинки"(так быстрее, возможно проблема в этом)
Прикрепленные файлы:
23. Александр Крынецкий (echo77) 686 05.10.15 16:32 Сейчас в теме
Качаем новую версию - внес небольшие исправления связанные с изменением оформления на авито
25. Александр Крынецкий (echo77) 686 02.12.15 21:20 Сейчас в теме
26. dimaster dimaster (dimaster) 39 09.01.16 00:11 Сейчас в теме
(17) Поручик,
можете поделиться скриптом вытаскивания телефонов?
оч не хватает в этой обработке