Универсальный парсер интернет-магазинов

С того времени, как я начал парсить сайты, прошло много лет. За это время я спарсил более 100 сайтов и записал эти товары в 1С. В итоге на свет появился универсальный парсер, который поможет Вам спарсить интернет-магазин и при этом не написать ни строчки кода.

Арт.: 922642

Продано: 101

Screenshot_52.png
Screenshot_54.png
Screenshot_56.png
Screenshot_58.png
Screenshot_59.png
Screenshot_60.png
Screenshot_61.png
Screenshot_52.png
Screenshot_54.png
Screenshot_56.png
Screenshot_58.png
Screenshot_59.png
Screenshot_60.png
Screenshot_61.png
Универсальный парсер для ERP, УТ, КА

9600 руб.

14400 руб.

19200 руб.

Универсальный парсер для УНФ

9600 руб.

14400 руб.

19200 руб.

2500 руб.

3000 руб.

"Ни строчки кода" - это конечно громко. Но в 80% случаев (когда интернет-магазин отвечает некоторым требованиям) - это будет работать.

Магазины, отвечающие этим требованиям: 

  1. В магазине должны быть категории товаров. Возможно подкатегории, но не обязательно.
  2. В категориях должен быть список товаров с ссылкой на карточку товара.
  3. В карточке товара должна быть вся интересующая Вас информация о товаре.

Такая структура у 90% сайтов. Так почему только 80%? - спросите Вы.

Есть еще некоторые технические моменты, например такие как формирование содержимого страницы через javascript и еще по мелочи. Но на практике я и такие сайты парсил... правда не универсальным парсером и это совсем другая история.

Что умеет Универсальный парсер"?

  1. Парсить  интернет-магазины и записывать эти данные в таблицы обработки (т.е. запись идет не сразу в 1С, а сначала мы видим результат работы в таблицах)
  2. Записывать данные о номенклатуре в 1С. После того как мы убедились в корректности данных - можем записать их в 1С:
    1. Группы и всю иерархию групп
    2. Наименование товара
    3. Цена
    4. Описание
    5. Описание для сайта
    6. Атрибуты (дополнительные реквизиты) с их значениями
    7. Картинки товара
  3. Использовать прокси-сервера. Можно задать списком и установить кол-во запросов на каждый сервер. Когда список серверов кончится - обработка опять проверит все сервера и обнулит счетчик запросов у работающих
  4. Задавать для каждого найденного узла произвольный обработчик.
  5. Сохранять/загружать настройки на любом этапе парсинга
  6. Делать тестовый парсинг (т.е. не весь сайт, а несколько товаров). Это очень полезно на этапе указания начальных настроек.
  7. Делать авторизацию на сайте перед загрузкой.

Универсальный парсер НЕ требует установки дополнительных компонент

Что не умеет или пока не умеет Универсальный парсер?

  1. Парсить характеристики
  2. Парсить несколько цен одного товара.
  3. Распознавать текст с картинок.
  4. Парсить yandex маркет. Тут не совсем правда. Но яндекс маркет надежно защищен от парсинга. Просто оставьте эту затею.

В списке файлов есть еще версия за startmoney. Давайте посмотрим чем они отличаются

Сравнение Универсального парсера.Lite и Универсального парсера

  Универсальный парсер.Lite Универсальный парсер
Парсить и записывать в 1С  + +
Формировать иерархию групп + +
Наименования товаров  + +
Цены  + +
Описания  + +
Делать тестовый парсинг сайта (загрузка только нескольких позиций) + +
Работа по протоколу HTTPS + +
Авторизация на сайте   +
Использовать соответствие уже записанных доп. реквизитов и свойств товаров с сайта   +
Файл описания для сайта    +
Атрибуты товара    +
Производитель   +
Картинки товара    +
Авторизация на сайте   +
Сохранять/загружать настройки и таблицы    +
Использовать прокси-сервера   +
Использовать заголовки запросов   +
Загрузка таблиц из файлов   +
Использовать несколько видов номенклатуры (категория - вид номенклатуры)  

+

Как он работает?

Для того, чтобы он начал работать - его нужно немного обучить. Для этого нужно воспользоваться селекторами.

У нас есть селекторы групп, товаров, всех вышеуказанных реквизитов товара и селекторы атрибутов.

Для того, чтобы указать селектор - достаточно открыть интересующий нас сайт в браузере Google Chrome, нажать F12 (инструменты разработчика), выбрать интересующий нас элемент и скопировать его селектор. Ниже будет видео как это сделать. При этом не обязательно, но совсем неплохо будет иметь базовые знания HTML.

При необходимости мы можем поменять обработчик узла, который был найден селектором. Это открывает для нас по-настоящему широкие возможности. Обработчик приходится менять не часто, но приходится и чтобы его правильно задать необходим базовый набор знаний в программировании 1С.

Если у Вас нет базовых знаний HTML и/или программирования 1С - советую обратить внимание на версию с начальными настройками. Вы просто скажите какой сайт Вам нужен, а я сделаю файл настроек. Вам останется только нажать несколько кнопок.

А как насчет нажатия всего одной кнопки "Записать в 1С"? Тоже возможно. Для этого будет версия обработки + настройки + заполненные таблицы. Это самый дорогой, но самый верный вариант получить результат. До 4000 товаров. Свыше 4000 - 1 р./товар

Для каких конфигураций подойдет парсер?

Обработка тестировалась на следующих конфигурациях:

  1. УТ 11.3
  2. УТ 11.4
  3. УТ 11.5
  4. УТ для Белоруси 3.3
  5. КА 2.4
  6. ERP 2.4
  7. УНФ 1.6

Так же может подойти для конфигураций, которые имеют схожую структуру с вышеперечисленными конфигурациями. Как, например, УТ для Белоруси 3.3

Инструкции и обзор обработки

Можно ли парсить Яндекс Маркет?

Над ним работает целый отдел программистов. Яндекс маркет достаточно хорошо защищен от этого. Начиная с блокировок по IP, специфичной пагинации товаров и заканчивая наименованием категорий в виде картинок. Да и меняют алгоритмы они часто и оперативно. Я бы Вам рекомендовал поискать интернет-магазины на которых есть подавляющее большинство интересующих Вас товаров. Ведь в яндекс маркет товары попадают именно с этих сайтов.

Обсудить и пообщаться на тему универсального парсера можете в комментариях ниже

UPD 28.04.21 (версия 1.8): Добавлена возможность парсить производителя и записывать его в соответствующий реквизит 1С

UPD 25.03.21 (версия 1.7): Теперь можно загружать товары в 1С из файлов с помощью этого парсера. Путем копирования и вставки. Если у Вас есть подготовленная таблица с товарами или ссылками на товары - можно это загрузить

Проверено на следующих конфигурациях и релизах:

  • Управление торговлей, редакция 11, релизы 11.5.7.255, 11.4.14.181
Статистика:
Просмотры 52224
Загрузки 220
Рейтинг 112
Создание 19.10.18 18:18
Обновление 03.04.24 04:35
№ Публикации 922642
Характеристики:
Теги
Рубрики Сайты и интернет-магазины
Кому Программист
Тип файла Внешняя обработка (ert,epf)
Платформа Платформа 1С v8.3 ,
Управляемые формы
Конфигурация 1С:ERP Управление предприятием 2 ,
1С:Управление торговлей 11 ,
1С:Комплексная автоматизация 2.х
Операционная система Не имеет значения
Страна Россия
Отрасль Не имеет значения
Налоги Не имеет значения
Вид учета Управленческий учет
Доступ к файлу Платные (руб)
Код открыт Да
1. user1059643 07.11.18 14:45 Сейчас в теме
Спасибо! Заказывал данный парсер. ВСе отлично работает. Удается спарсить товары с нужного сайта. Товары записываются с картинками, ценами, описанием. При чем можно записать их прямо в 1 с в определенную группу номенклатуры. Работает без ошибок. Все как нужно. Огромное спасибо разработчику!
2. kokman 05.12.18 12:53 Сейчас в теме
Допилить бы обновления существующих товаров и загрузку характеристик, цены бы не было этой обработке! А так обработка огонь!!!
3. Техподдержка 05.12.18 12:59
(2) Спасибо за лестный отзыв. Обновление существующих товаров в планах. Загрузка характеристик - не просто придумать универсальный алгоритм. В рамках поддержки можно осуществить это для конкретного сайта.
4. kokman 05.12.18 15:11 Сейчас в теме
(3) Так же с помощью селектора)) Например на платформе Битрикс отображение SCU характеристик однотипное
5. Xershi 05.12.18 15:57 Сейчас в теме
Добрый день!
Директора интересует вопрос конкурентной разведки.
Бегло ознакомился с описанием вашей разработки и я так понимаю она это умеет?
Если будет сайт, который не сможет спарсить разработка, как будет осуществляться поддержка? Чтобы данный сайт разработкой стал распознаваться?
6. Техподдержка 05.12.18 16:08
(5) Поддержка осуществляется через тикеты/вопросы (в этой публикации). Вопросы по умолчанию скрыты от пользователей сайта.
Даже если разработка не осилит какой-либо сайт (что маловероятно) - 100% гарантия возврата денег.
Если Вы не уверены в том, что сами сможете настроить обработку на нужный сайт - советую приобрести версию с начальными настройками.
7. Xershi 05.12.18 16:10 Сейчас в теме
(6) вы немного не поняли. Если разработка не осилит сайт. Поддержка будет осуществляться, чтобы осилила?
9. kancler.a 22.01.19 16:24 Сейчас в теме
когда будет реализована возможность обновлять только ту номенклатуру которая в базе 1С?
10. Техподдержка 23.01.19 17:52
(9) Добрый день.
На этой или на следующей неделе планирую обновить обработку. Там будет обновление товаров в базе по коду/наименованию/артикулу + еще много вкусностей.
43. klaus38 20.07.21 08:29 Сейчас в теме
(10) Доброго дня, нигде не нашел в описании, такой функционал есть?
11. gvozditut 05.03.19 09:59 Сейчас в теме
Обновлять только ту номенклатуру которая в базе 1С не реализована еще?
12. kashafeev 22.05.19 19:59 Сейчас в теме
Подойдёт ли данная обработка для УНФ?
13. vovka-x13 01.07.19 15:09 Сейчас в теме
Не выполняет обязательства, уже 5 раз переносят сроки выполнения!
14. Техподдержка 03.07.19 03:53
(13) Извините за задержку. Все же пришлось делать версию под УНФ, которой не было. Но теперь появилась во многом благодаря Вашей настойчивости.
19. user827764 03.11.20 21:38 Сейчас в теме
(14) Актуальная обробатка, которая загружена на ресурс поддерживает УНФ? или ее надо отдельно заказивать?
20. Техподдержка 03.11.20 23:48
(19) УНФ часто меняется в плане записи номенклатуры, поэтому гарантировать поддержку УНФ невозможно. Есть версия адаптированная под УНФ. Уточните пожалуйста вашу версию.
21. user827764 04.11.20 09:08 Сейчас в теме
(20) Управління невеликою фірмою для України, редакція 1.6 (1.6.8.2), при обновлениях конфигурации можно будет самомтоятельно поправить оброботку? тоисть код открыт?
22. user827764 04.11.20 09:11 Сейчас в теме
(20) ну и если б была возможность выгрузить спарсерованые данные в xls, csv то этой проблемы с номенклатурой УНФ не было б)
17. Xershi 21.12.19 12:30 Сейчас в теме
(13) когда проект тяжёлый это не избежно. Сам как разработчик столкнулся с этим. Но наверное в отличии от автора я даю песимистический прогноз на доработку. А автор оптиместический как итог клиент жалуется на переносы.
15. Mironov 14.10.19 19:26 Сейчас в теме
К сожалению я так и не дождался разработчика, более 9 месяцев он меня кормил завтраками, до последнего, в итоге парсер сделал другой программист за 3 дня. Оплаченных денег мне уже никто не вернет, срок возврата на инфостарт 2 недели. Жалко даже не столь денег, сколько потраченного времени.
16. VKuser555202930 21.12.19 12:00 Сейчас в теме
А что за оды яндекс.маркету? Его нельзя парсить, потому что там крутые программисты?
Есть же сервисы, которые его парсят без проблем, например market-scanner.ru специализированно занимается яндекс маркетом и предоставляют АПИ доступ.
18. it@contlog.ru 24.01.20 10:33 Сейчас в теме
Яндекс маркет устроен немного по другому чем большинство сайтов. В основном сайты шлют готовую страницу в браузер и ее то парсер и читает. Яндекс делает запрос к базе данных и получает json ответ структура со всеми данными в красивом виде - а после этого скриптами в браузере превращает эти данные в готовую веб страницу.
Если не брать в расчет ip фильтры капчи и другие навороты для 1с с таких сайтов брать данные даже проще.:) Хотя данные передаются в понятном для 1с виде парсить по сути не надо. К таким сайтам сложнее писать универсальный парсер без их обследования.
23. krest9071 06.11.20 16:09 Сейчас в теме
Блин, да это разработчик с Большой буквы! Пользуемся парсером более года - никаких проблем. 1С внесла радикальные изменения в конфигурацию - человек помог нам решить проблему в сжатые сроки, причем пошел на встречу! Рекомендуем! Удобное и хорошее дополнение!!!
24. root901 07.11.20 08:14 Сейчас в теме
Доброе, на УНФ работать будет?
25. Discontica 12.01.21 11:02 Сейчас в теме
А можете сделать парсинг с сайта Mvideo.ru (eldorado.ru)?
26. Invodev 12.04.21 00:21 Сейчас в теме
27. Техподдержка 12.04.21 10:38
(26) Для выбора города нужно установить куки (city_code, city_id, city_xml) на вкладке "Команда подключения"
Селектор для цены - "div.product-detail__price_"
Обработчик для цены - "ЗаполняемаяСтрока.Цена = СокрЛП(СтрЗаменить(СтрЗаменить(Узел.ТекстовоеСодержимое, "₽", ""), "от", ""));"
28. Invodev 13.04.21 09:00 Сейчас в теме
(27)
city_code

С обработчиком цены поняла, спс. Но сайт странный. Если зайти на него первый раз (по этой ссылке), можно увидеть цену 250р, нажать enter по адресной строке - будет цена 238. И грузится 250 даже с выбором города, хотя куки съедает норм. А правильная цена 238...
29. yurkink 25.04.21 18:21 Сейчас в теме
А какой обработчик для атрибутов в https://www.aquasila.ru/catalog/minimojki-vysokogo-davlenija/mojka-karcher-k-2-universal/

Цепляет только значение, его же и в атрибут пишет.
Еще вопрос с пагинацией. Больше 20 карточек не парсит, несмотря на все возможные варианты: ?p=n, ?p={{n}} и т.д. Получилось загрузить из одного раздела, в котором 2 страницы только в случае ?p=1

P.S. Обработка куплена чуть более года назад. Информация об обновление пришла на почту день в день с окончанием поддержки. Это так задумано?
30. yurkink 25.04.21 18:24 Сейчас в теме
А какой обработчик для атрибутов в https://www.aquasila.ru/catalog/minimojki-vysokogo-davlenija/mojka-karcher-k-2-universal/

Цепляет только значение, его же и в атрибут пишет.
https://yadi.sk/i/tRFouoZl-MRIXA

Еще вопрос с пагинацией. Больше 20 карточек не парсит, несмотря на все возможные варианты: ?p=n, ?p={{n}} и т.д. Получилось загрузить из одного раздела, в котором 2 страницы только в случае ?p=1

P.S. Обработка куплена чуть более года назад. Информация об обновление пришла на почту день в день с окончанием поддержки. Это так задумано?

https://yadi.sk/i/tRFouoZl-MRIXA
31. bprogs 07.05.21 11:01 Сейчас в теме
сколько в стартмани посчитайте скажите я куплю,вам то без разницы как продавать я так понял,у меня просто много стартмани
32. Техподдержка 07.05.21 11:07
(31) Что именно хотите купить? Добавлю эту позицию за стартмани
34. bprogs 07.05.21 11:14 Сейчас в теме
35. bprogs 07.05.21 11:26 Сейчас в теме
(32) я купил за 100 стартмани настройки + заполнение куда или как будет все происходить?))
33. bprogs 07.05.21 11:13 Сейчас в теме
36. Техподдержка 07.05.21 11:50
(35) Я сначала хотел сделать одной позицией, но одна позиция не может быть больше 100 см.
Там еще 2 позиции будет за стартмани (настройка, заполнение)
37. bprogs 07.05.21 11:52 Сейчас в теме
(36)
ок у меня 20 стартмани еще есть пойдет?
38. Техподдержка 07.05.21 11:55
(37) Первый блин комом.
Пойдет.
Потом поменяю цены
39. Техподдержка 07.05.21 12:19
(37) Добавил позицию для настроек
40. krest9071 09.05.21 04:57 Сейчас в теме
Здравствуйте! Подскажите, как можно к полю Артикул при заполнении добавить допустим значение Атрибута "Цвет". Парсер настроили под всех поставщиков, полет отличный. Но только вот у одного поставщика артикул не уникален и мы к ниму добавляем цвет товара через "_". Помогите, как это реализовать силами парсера? Заранее признательны.
41. user1552391 31.05.21 15:06 Сейчас в теме
Здравствуйте! Столкнулся с проблемой. Универсальный парсер, не такай уж и универсальный.
Имеется сильный недостаток, в плане отсутствия пагинации групп. Пытался парить сайты с керамической плиткой, где помимо группы и самих товаров, есть коллекции. Которые ломают логику. Но это пол беды.
Есть сайты, где парсер неправильно сопоставляет данные, берет название от одного товара, а ссылку записывать от другого.
Обращался к разработчику за помощью, разумеется на платной основе. 3 раза обещал посмотреть, в итоге тишина.
Итого, имеем частично работающий продукт.
42. klaus38 19.06.21 21:53 Сейчас в теме
Доброго дня. Если я с настройкой возьму, поможете с ОЗОН?
44. Viking 12.08.21 11:24 Сейчас в теме
Извините но ваш парсер не работает ...
https://www.korea-shopping-opt.ru
вот ссылка на сайт который хотели спарсить
и ничего не получается ...
делали по вашему видео )))
Ошибка работы с Интернет: URL using bad/illegal format or missing URL
вот такая ошибка ...
где искать причину ???
45. valy_msu 28.09.21 11:13 Сейчас в теме
Добрый день! Код парсера открыт?
46. 1111199 07.10.21 00:55 Сейчас в теме
Для 1С УТ.10.3 не подходит?
47. user1688440 06.11.21 00:01 Сейчас в теме
Функционал хороший, но хотелось бы парсить данные не в свою номенклатуру, а в номенклатуру конкретного поставщика. Такое возможно?
49. Техподдержка 06.11.21 19:00
(47) Нет. Сейчас парсер такое не может.
В планах разработки такого тоже нет
48. dialogagro2 06.11.21 18:59 Сейчас в теме
Дякую. Тот же вопрос - Для 1С УТ.10.3 не подходит?
55. kliman 29.05.22 11:57 Сейчас в теме
(50)

Есть ли возможность доработать, платно? для 10.3?
51. proffy 07.12.21 14:42 Сейчас в теме
Добрый день. есть возможность самостоятельной доработки?
52. Техподдержка 07.12.21 14:43
(51) Код открыт.
Возможность есть
53. ip0593 04.01.22 21:59 Сейчас в теме
Добрый вечер. apteka точка ru - он сможет спарсить в 1С розница аптека (парсить при этом необязательно, достаточно цены и название товара показать в таблице)?
При этом чтобы цены отображались не Московские, а региональные (выбор города)
54. Техподдержка 07.01.22 22:28
(53) Добрый день.
С 1С:Розница парсер не умеет работать
56. creativenew 16.08.22 14:24 Сейчас в теме
Здравствуйте! УТ 11.5 будет работать?
58. creativenew 16.08.22 17:38 Сейчас в теме
Купили. Есть ли примеры настроек, пока ждем запрос на конкретный сайт(кстати как долго ждать?)
59. Техподдержка 16.08.22 17:50
(58) либо нажмите кнопку "заказать настройки" в обработке, либо создайте тикет, в котором укажите сайт
60. creativenew 16.08.22 17:51 Сейчас в теме
(59)Давно нажали и отправили. Проверьте, пришло ли обращение.
61. Техподдержка 16.08.22 17:54
(60) ответ отправлен. проверьте в спаме, если его нет во входящих
62. creativenew 19.08.22 06:48 Сейчас в теме
1С:Предприятие 8.3 (8.3.19.1264)
Управление торговлей, редакция 11 (11.5.8.221)
Ощибка
Предопределенный элемент не существует
{ВнешняяОбработка.УниверсальныйПарсер.Форма.Форма.Форма(1175)}: НаборСвойствАтрибута = ПредопределенноеЗначение("Справочник.НаборыДополнительныхРеквизитовИСведений.Справочник_Номенклатура_Общие");
{ВнешняяОбработка.УниверсальныйПарсер.Форма.Форма.Форма(1315)}: Атрибут = НайтиСоздатьАтрибут(Стр.Атрибут, Товар.ВидНоменклатуры);
{ВнешняяОбработка.УниверсальныйПарсер.Форма.Форма.Форма(1471)}: ЗаписатьАтрибутыИЗначения(СтруктураТовара.Товар, Стр.ИД);

по причине:
Предопределенный элемент не существует
63. Техподдержка 19.08.22 13:11
(62) Скачайте новую версию парсера 1.83
В ней реализована поддержка УТ 11.5
64. creativenew 19.08.22 19:59 Сейчас в теме
Не понятно почему в каждой категории парсит только 2000 товаров?
Что и как делать? Категории по 20 000 товаров есть
Прикрепленные файлы:
72. Техподдержка 24.08.22 17:07
(64) Парсер не имеет ограничений на кол-во товаров.
Возможно сайт больше не отдает.
Приведите пример, чтобы я мог более конкретно ответить на этот вопрос
75. creativenew 24.08.22 17:10 Сейчас в теме
(72)
Вы сами скинули настройки недавно, я вам писал на почту по этим вопросам.
65. creativenew 20.08.22 13:46 Сейчас в теме
Если все прокси становятся недоступны, парсер просто уходит в цикл проверки серверов!? Неплохо бы было сделать кнопку пауза или остановка.
71. Техподдержка 24.08.22 17:05
(65) Прервать можете комбинацией клавиш Ctrl+Break
В целом постараюсь исправить такую ситуацию
66. creativenew 21.08.22 14:27 Сейчас в теме
Как осуществляется поддержка платных прокси с логин/пароль?
Что само собой подразумевает нормальную работу парсера.
70. Техподдержка 24.08.22 17:04
(66) В планах. В одной из следующих версий будет добавлена поддержка проксей с логином/паролем
67. creativenew 21.08.22 18:11 Сейчас в теме
При загрузке на сайт, возникает ошибка.
Прикрепленные файлы:
69. Техподдержка 24.08.22 17:04
(67) Это из-за того, что на сайте уже есть такое же наименование как у Вас в базе, либо на сайте 2 товара с одинаковым наименованием, но в разных группах. Можете отключить в 1С ограничение на запись товаров с одинаковым наименованием
74. creativenew 24.08.22 17:08 Сейчас в теме
(69)
(69)
Наименование одно, но разные артикулы или бренды!
Нужен какой то выбор настроек для таких ситуаций в парсере, типа добавлять артикул или бренд если дубль.
76. Техподдержка 24.08.22 17:10
(74) Даже если сказать парсеру добавлять - 1С не пропустит.
Поставлю в план разработки проверку по наименованию перед записью, чтобы не пытался записывать
78. creativenew 24.08.22 17:13 Сейчас в теме
(76)
(76)
Почему?
Я ставлю единичку в конце наименования, пока временно и дальше запускаю, все записывает.
Если там их несколько, то 2 и 3 итд. А парсер бы артикул вставлял или бренд как в настройках или оба варика
68. creativenew 23.08.22 08:43 Сейчас в теме
Вы ответьте по ошибке и по ограничению 2000 товаров. Хотя бы выводить номер товара где дубль.
Месяц тех. поддержки я так понимаю оплачен.
73. Техподдержка 24.08.22 17:07
(68) Извините за задержку. Ответил выше
79. SpiRUS 05.11.22 14:25 Сейчас в теме
А возможно парсить товары из заказов/возвратов вайлдбериса? Для этого нужно авторизовываться через смс