Парсинг сайтов - мониторинг цен конкурентов 2.0

Опубликовал Иван Одинескин (odineskin2) в раздел Обработки - Ценообразование, прайсы

Кто владеет информацией - тот владеет всем! Больше не нужны обзвоны/обходы конкурентов с целью узнать цену на продукцию. Внедряя данную подсистему, вы всегда под рукой будете иметь цены конкурентов онлайн.

Назначение программы

  •  Периодический мониторинг цен и ассортимента конкурентов с целью расчета собственных цен
  •  Анализ ассортимента конкурентов
  •  Получение сравнительной отчётности по ценам и ассортименту между собственной номенклатурой и номенклатурой конкурентов
  •  Заполнение собственного справочника  "Номенклатуры" на основе считанных данных (описание, изображениями и т.д.)

Причины купить

  • Периодический мониторинг цен и ассортимента конкурентов с целью расчета собственных цен
  • Заполнение собственного справочника  "Номенклатуры" на основе считанных данных (описание, изображениями и тд)

Достоинства

Стратегия использования программы

  • Цель - мониторинг цен конкурентов
  1. этап. Настройка на считывание нужных сайтов конкурентов. (Данная процедура выполняется один раз)
  2. этап. Сопоставление собственной номенклатуры и номенклатуры конкурентов (Данная процедура выполняется один раз. Если есть поля по которым можно однозначно синхронизировать позиции, то доступно автосопоставление и данный этап пропускается)
  3. этап. Периодический мониторинг цен и ассортимента конкурентов.
  • Цель - заполнение справочника Номенклатуры данными с сайта
  1. этап. Настройка на считывание нужных сайтов конкурентов. (Данная процедура выполняется один раз)
  2. этап. Создание/обновление элементов справочника "Номенклатура" на основе считанных данных (изображение, описание, производитель, страна и тд)

Основные характеристики продукта:

  •  90% типовых интернет - магазинов считываются без проблем (bitrix, opencart, virtuemart и др). Настройка на парсинг одного сайта занимает от 15 минут
  •  Универсальность решения. Подходит для любой предметной области.
  •  Возможность анализа только товара, который есть "в наличии".
  •  Считывание изображений
  •  Помощник автоматической синхронизации. Помощник помогает значительно ускорить поиск соответствий, с помощью: поиска по вхождениям в наименование, процентному вхождению в наименование, поиск по различным комбинациям полей, поиск по различным комбинациям слов и тд  
  •  Рабочее место оператора для ручной синхронизации. В том числе сравнение по картинкам, поиск по вручную заданным словам, поиск только по отдельным характеристикам номенклатуры
  •  Обход защиты сайтов включает в себя настройку таймаута запросов к сайту, маскировка под поисковую систему
  •  Возможность использования куки при парсинге
  •  При обновление сайтов конкурентов - быстрая перенастройка в режиме предприятия
  •  Возможность парсинга сайтов, где необходима авторизация
  •  Возможность создания собственной номенклатуры с сайтов доноров
  •  Возможность обновления собственной номенклатуры с сайтов доноров
  •  Возможность выбора изменяемых реквизитов при создании/обновление собственной номенклатуры с сайтов доноров
  •  Возможность считывания конкретных адресов
  •  Возможность добавления кода 1С в режиме предприятия для обработки полученных значений при считывании и создании номенклатуры
  •  Возможность исполнения любого JavaScript кода (нажатие на кнопку, бесконечный скроллинг, выбор города, выбор количества и тд и тп)
  •  Автоматическая работа

Техническая поддержка

После покупки Вы получаете техническую поддержку и бесплатные обновления в течение 3 месяцев, далее на условиях продления. 

Минимальные системные требования:

-   Процессор Intel Pentium IV 1800 МГц.

-   3960 Мб оперативной памяти.

К программному обеспечению предъявляются следующие требования:

-   Версия платформы «1С:Предприятие» не ниже 8.2.19.83

-   Elisy-Net-Bridge (для работы в режиме клиента, подойдёт ознакомительная версия)

-   .Net не ниже версии 4 (в современных версиях Windows установлено по умолчанию)

 Продукт представляет собой отдельную подсистему для любой конфигурации

 

Для самостоятельного внедрения данного продукта требуются минимальные знания по Xpath. Также вы можете заказать внедрение. 

В стоимость входит настройка одного сайта

 

Также создана подсистема по управлению ценами конкурентов

Модуль условно делится на 2 части:

1. Автоматический расчет цен по ценам конкурентов по заданной формуле и условиям

2. Обработка по ручному расчету цен с возможностью анализа цен поставщиков по различным критериям

Скачать файлы

Наименование Файл Версия Размер
Пример создания настройки парсинга
.htm 13,14Kb
14.07.16
81
.htm 13,14Kb 81 Скачать бесплатно
Пример Наполнение базы данными(контентом) с сайта донора
.htm 26,63Kb
14.07.16
58
.htm 26,63Kb 58 Скачать бесплатно
Мониторинг цен конкурента за 20 минут
.html 6,27Kb
14.07.16
34
.html 6,27Kb 34 Скачать бесплатно
Презентация "Мониторинг цен (быстрый парсинг)"
.pptx 675,78Kb
13.02.17
6
.pptx 675,78Kb 6 Скачать бесплатно
Парсинг сайтов - мониторинг цен конкурентов 2.0: Техническая поддержка на 1 месяц
23.09.2016
1000 руб.
Парсинг сайтов - мониторинг цен конкурентов 2.0 УПП 1.3 платформа 8.2
23.09.2016
9800 руб.

Моментальная
доставка

Парсинг сайтов - мониторинг цен конкурентов 2.0 УТ 11.2
23.09.2016
2 9800 руб.

Моментальная
доставка

Парсинг сайтов - мониторинг цен конкурентов 2.0 УТ 3 Украина
23.09.2016
9800 руб.

Моментальная
доставка

Парсинг сайтов - мониторинг цен конкурентов 2.0 УТ 10.3
23.09.2016
9800 руб.

Моментальная
доставка

Парсинг сайтов - мониторинг цен конкурентов 2.0 Самостоятельная конфигурация
23.09.2016
9800 руб.

Моментальная
доставка

Парсинг сайтов - мониторинг цен конкурентов 2.0 УТП Украина
23.09.2016
9800 руб.

Моментальная
доставка

Парсинг сайтов - мониторинг цен конкурентов 2.0 УТ 11.1
06.11.2016
9800 руб.

Моментальная
доставка

См. также

Комментарии
1. Александр Иванов (tunesoft) 148 16.04.15 12:18 Сейчас в теме
"Услуги настройки одного сайта=5 т.р."

А можно поподробнее про настройку ?
Пользователи сами мышкой не смогут настроить парсинг новых сайтов?
Нужно дополнять модуль обработки для каждого сайта?
2. Иван Одинескин (odineskin2) 185 17.04.15 07:38 Сейчас в теме
(1) tunesoft, смогут настроить , требуются минимальные знания по Xpath, html, Regex. В специальных справочниках нужно будет определить пути Xpath до нужных нам данных на страничках, которые мы парсим, задать список страниц, которые не нужно парсить...
3. Иван Одинескин (odineskin2) 185 17.04.15 07:45 Сейчас в теме
Разные стратегии парсинга могут быть. Для считывания только цен рекомендуем так настраивать - допустим товаров на сайте около 2000, а страничек со списками этих товаров всего около 20-60. Тем самым нам необходимо настроить парсер так, чтобы считать только эти 20-60 страниц - мы получаем максимальную скорость считывания.
4. Иван Одинескин (odineskin2) 185 17.04.15 07:48 Сейчас в теме
Ограничений на количество сайтов конкурентов нет
zhenia74; +1 Ответить
5. Иван Одинескин (odineskin2) 185 17.04.15 08:07 Сейчас в теме
6. Иван Одинескин (odineskin2) 185 16.06.15 08:45 Сейчас в теме
добавлен парсинг средствами 1С
7. Максим ru (rubinss) 02.07.15 14:02 Сейчас в теме
добрый день. есть пару вопросов. 1. цены менять могу прямо с окна сравнения ? 2. можно ли настроить на парсер на автоматическое понижение цены на процент или на пару рублей ниже. 3 если есть пару типов цен для одного сайта надо парсить крупный опт. а для другого розницу. 4. про изображение картинки.. где оно все будет храниться в 1С или в другой папке ?
8. Иван Одинескин (odineskin2) 185 03.07.15 07:47 Сейчас в теме
(7) rubinss, Добрый день!
1 Нет. Цены записываются документом "Установка цен конкурентов". затем можете менять их типовыми средствами в зависимости от вашей конфигурации
2 Нет. но можете доработать данный функционал. Код открыт. Сами постараемся в ближайшее время реализовать что то подобное
3. Возможно
4.Храниться только адрес картинки. и при просмотре показывается в поле браузера. При наполнение собственной базы картинки скачиваются по этим адресам
9. Иван Одинескин (odineskin2) 185 03.07.15 07:50 Сейчас в теме
При приобретении вы получаете скрытый бонус - возможность оказывать услуги по парсингу сайтов :)
10. Иван Одинескин (odineskin2) 185 09.07.15 09:18 Сейчас в теме
11. shurik_shurik (shurik_shurik) 18.08.15 08:40 Сейчас в теме
Сегодня хотел получить ИД для демо, получил такую ошибку
Ошибка HTTP: <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN">
<html><head><title>1C:Enterprise 8 application error</title></head><body><h2>1C:Enterprise 8 application error:</h2>HTTP: Conflict
by reason:
Различаются версии клиента и сервера (8.3.5.1517 - 8.3.5.1625), клиентское приложение: Модуль расширения веб-сервера
by exception: 9f06d311-1431-4a54-bd6f-fa93c4d4c471</html> (409).
12. Иван Одинескин (odineskin2) 185 18.08.15 10:50 Сейчас в теме
(11) shurik_shurik, поправили ошибку
13. Иван Одинескин (odineskin2) 185 23.09.15 12:39 Сейчас в теме
Обновлена компонента парсера до версии 1.5

Из нового в компоненте:
- возможность авторизации на сайте
- отправка cookies
- за счёт новых методов компоненты, увеличилось количество сайтов, которые поддаются парсингу
15. Иван Одинескин (odineskin2) 185 07.10.15 12:50 Сейчас в теме
В стоимость поставки входит настройка парсинга для одного сайта
16. Иван Одинескин (odineskin2) 185 15.10.15 18:57 Сейчас в теме
добавлен парсинг по конкретным адресам
17. Иван Одинескин (odineskin2) 185 21.10.15 16:39 Сейчас в теме
реализовано обновление считанными данными собственной номенклатуры
18. Иван Одинескин (odineskin2) 185 21.10.15 16:41 Сейчас в теме
реализован процесс - обход в 2 этапа - вначале собираются нужные ссылки с нужных страниц, если нужно - обрабатываются - затем, вторым проходом парсятся уже эти ссылки
19. Иван Одинескин (odineskin2) 185 22.10.15 19:43 Сейчас в теме
реализована автоматическая работа парсера
20. Иван Одинескин (odineskin2) 185 04.11.15 22:33 Сейчас в теме
добавлена функция сопоставления с помощью полнотекстового поиска
21. Максим *** (premier) 131 24.12.15 21:01 Сейчас в теме
(0) В этой публикации, автор, похоже, "тихо сам с собою...". А грамматических и пунктуационных ошибок - море! Может, поэтому -"тихо сам с собою"? И ещё: "Для самостоятельного внедрения данного продукта требуются минимальные знания по Xpath, html, Regex. ". А тем не менее, обработка помещена в раздел "Обработки - Ценообразование, прайсы", т.е. не совсем программисту предназначена, менеджеру, скорее всего. Вы много знаете менеджеров, имеющих предъявленные минимальные знания?
Качество видеоматериалов тоже оставляет желать лучшего. Я, программист, практически ничего не понял из представленного видеоматериала. А что менеджер для себя из этого почерпнёт?
22. Иван Одинескин (odineskin2) 185 25.12.15 17:10 Сейчас в теме
(21) спасибо господину программисту-учителю русского языка за такой душевный комментарий. Обработка всё таки может быть полезна менеджеру, (владельцу интернет магазина, программисту, аналитику), у которого нет каких либо специализированных знаний, т.к. один сайт мы настраиваем бесплатно, и ему останется только нажимать кнопку "старт парсинг" в нужный для него момент. Так же перед покупкой осуществляется демонстрация работы подсистемы удаленно причём на примере сайта, который заказал клиент. Но замечания учтём и поработаем над наглядностью демонстрационного материала
23. Максим *** (premier) 131 26.12.15 13:34 Сейчас в теме
(22) odineskin2, не стоит воспринимать критику по поводу грамматических ошибок как поучение. Это - скорее всего, даже не критика, а пожелание автору (авторам) просто соблюдать правила русского языка при написании текста публикации.
А по поводу настройки одного сайта, как я понял из текста публикации: "В стоимость входит настройка одного сайта" только в том случае, если покупатель заказал внедрение. А если нет - читайте справочную информацию по "Xpath, html, Regex". Может быть, лучше предлагать решение с одной хотя бы предустановленной настройкой?
24. Иван Одинескин (odineskin2) 185 26.12.15 18:42 Сейчас в теме
(23) premier, так и есть, настройку на один сайт делаем, если нужно больше сайтов - то стоимость создания настройки в зависимости от сложности сайта. Если решают сами создавать настройки, то предоставим все примеры настроек, которые есть на данный момент в виде статей и отвечаем на вопросы по icq,почте,skype.
25. Sirruf (Sirruf) 124 29.12.15 16:04 Сейчас в теме
Настройка на 1 сайт которая у Вас занимает 15 минут стоит 5000 руб. Я правильно понимаю?)
26. Иван Одинескин (odineskin2) 185 29.12.15 18:59 Сейчас в теме
(25) Sirruf, нет, это устаревшая информация, цена зависит от сложности сайта, одни действительно настраиваются очень быстро, с некоторыми нужно затратить время
27. Иван Одинескин (odineskin2) 185 29.12.15 19:09 Сейчас в теме
28. AlimovAlex (AlimovAlex) 27.01.16 10:51 Сейчас в теме
УТ11.2 поддерживается? или как обстоят с обновлениями?
29. Иван Одинескин (odineskin2) 185 27.01.16 11:27 Сейчас в теме
(28) AlimovAlex, поддерживается, обновления если они есть в течение первых 3 месяцев высылаем бесплатно
30. dnlo (dnlo) 05.02.16 10:30 Сейчас в теме
Можно ли с помошью данного парсера Яндекс маркет пропарсить?
31. Иван Одинескин (odineskin2) 185 06.02.16 14:37 Сейчас в теме
(30) dnlo, нет, лучше воспользоваться обработками, которые работают с яндекс маркетом через api
32. Andrey Ju (Kontakt) 12 03.03.16 09:25 Сейчас в теме
Интересует с сайта авито и других площадок собирали объявления? Легко настраивается в частности недвижимости, авто ?
33. Иван Одинескин (odineskin2) 185 03.03.16 11:51 Сейчас в теме
(32) Kontakt, авито не пробовали, как попробуем - отпишемся о результатах
34. Иван Одинескин (odineskin2) 185 26.03.16 13:34 Сейчас в теме
добавлена возможность исполнения любого JavaScript кода (нажатие на кнопку, бесконечный скроллинг, выбор города, выбор количества и тд и тп)
35. Максим Жданов (Vector_autoparts) 02.04.16 03:37 Сейчас в теме
36. Иван Одинескин (odineskin2) 185 02.04.16 08:36 Сейчас в теме
37. Иван Одинескин (odineskin2) 185 02.04.16 11:08 Сейчас в теме
(35) Vector_autoparts, небольшой пример по farposty
Прикрепленные файлы:
Farpost автохимия.mxl
38. Andrey Ju (Kontakt) 12 13.04.16 06:51 Сейчас в теме
(33) odineskin2, как попробовали?
39. Дмитрий Шиловских (dvshil) 18.04.16 08:33 Сейчас в теме
Рассматриваю Ваш продукт - парсер сайтов. Готов его приобрести если Вы мне подтвердите что он спарсит сайт obi.ru и создаст готовый для загрузки в 1с фаил, в котором по каждому наименованию товара будет в первом столбце: 1.Наименование домена сайта (после www. и без окончания после ru/com/...), 2. Столбцы с наименованиями папок всех уровней, в которых лежит товар, причем их расположение в файле должно позволить воссоздать аналогичную структуру в 1с., 3. Все характеристики, свойства и т.п, каждое значение в своем столбце 4. Столбец с Описанием товара 5. Столбец с Описанием группы товаров 6. Столбцы с полноразмерными изображениями. 6.Розничная цена 7.Остаток. 9. Бренд/Торговая марка 10.Вес

Можно разбивать каталог товаров сайта на: Она корневая папка - один лист файла и так далее.

Делать описанное, парсер, умеет на постоянной основе в автоматическом режиме?

Я правильно понял что все перечисленное ваша доработка умеет делать?
40. Дмитрий Шиловских (dvshil) 18.04.16 08:34 Сейчас в теме
41. Сергей Смирнов (Serginio) 538 18.04.16 09:54 Сейчас в теме
Так для информации мне очень понравился AngleSharp http://infostart.ru/public/466196/
42. Дмитрий Шиловских (dvshil) 21.04.16 08:39 Сейчас в теме
Ау! Как с вами связываться? Так бы купил, а кто бы на первый сайт настраивал, как вы обещаете?
43. Иван Одинескин (odineskin2) 185 25.04.16 18:13 Сейчас в теме
(42) dvshil, здравствуйте, ответил вам в личные сообщения
44. Оник Овсепян (ono7777) 26.04.16 00:00 Сейчас в теме
тестовый или демо доступ возможен?
45. Иван Одинескин (odineskin2) 185 26.04.16 06:02 Сейчас в теме
(44) ono7777, демо базы нет, по скайпу, по тимвьюверу могу вам продемонстрировать
46. Александр Зуев (Sonic) 16.06.16 16:49 Сейчас в теме
Приобрели данную подсистему! Отличное работает. Настройку одного сайта автор сделал практически сразу. В связи с тем, что впервые столкнулся с парсингом, обращался к автору за помощью, никогда не отказывал!!!
Превосходное решение!Рекомендую!
47. Ильдар (mr.Ildar) 10.07.16 12:26 Сейчас в теме
Здравствуйте. С 1С Предприятие 8.2 Альфа-Авто работает?
48. Иван Одинескин (odineskin2) 185 10.07.16 15:06 Сейчас в теме
(47) mr.Ildar, здравствуйте, если будете брать, адаптируем
49. Алексей Душкин (dushkin.alex) 11.07.16 19:46 Сейчас в теме
Добрый День, Иван, при открытии страницы Парсинг обработки Загрузка страниц появляется сообщение:
Elisy .Net Bridge v4.0.6.0
Evaluation NFR version / Ознакомительная NFR-версия
Copyright © 2008-2016 Elisy Software Design
E-mail: support@1csoftware.com; Web: http://www.1csoftware.com/dotnet/
Use the main MAC-address to activate component / Используйте основной MAC-адрес для активации компонента
The following MAC-addresses are available / Доступны следующие MAC-адреса :...
Что это может быть? В чем причина?
50. Иван Одинескин (odineskin2) 185 12.07.16 05:58 Сейчас в теме
(49) dushkin.alex, Здравствуйте, это значит всё нормально. загрузилась компонента, так и должно быть
51. Александр Алекс (arktika1) 08.09.16 23:28 Сейчас в теме
Здравсвуйте на 8.3 (8.3.8.2054) Комплексная автоматизация, редакция 1.1 (1.1.25.2) рабоать будет?
52. Александр Алекс (arktika1) 08.09.16 23:34 Сейчас в теме
Я праильно понял это крутиться отдельное приложение, обмен с основной базой у этого приложения настраивается и происходит по графику. Также на базе этого предложения можно запустить и отдельные процесы. У нас вертуальный сервер 1С на Linux сервере. Клиентские терминалы работают на Wind сервере будет оно работать.
53. Иван Одинескин (odineskin2) 185 09.09.16 06:10 Сейчас в теме
(51) arktika1, здравствуйте, будет
54. Иван Одинескин (odineskin2) 185 09.09.16 06:13 Сейчас в теме
(52) arktika1, приложение компилируется "на лету" при запуске из 1с, отдельно от 1с не крутится. В таком режим должно работать, потому что работает только со стороны клиента
55. Игорь Панин (user700544_isp2592) 12.03.17 12:25 Сейчас в теме
(2)в datacol есть автоподборщик путей xpath кликом мыши на элементе страниц , полученные выражения xpath для вашего продукта подойдут ?
56. Иван Одинескин (odineskin2) 185 12.03.17 13:18 Сейчас в теме
(55) думаю можно будет использовать эту информацию. datacol не использовали но если там корректный xpath то наша система её обработает корректно.
57. Александр Новиков (svcoopers) 23 16.03.17 16:53 Сейчас в теме
Будет ли работать на Управление торговлей и взаимоотношениями с клиентами (CRM), редакция 1.1 (1.1.21.1), Соответствует Ут 10.3.21.1. Платформа 8.2?
58. Иван Одинескин (odineskin2) 185 17.03.17 06:07 Сейчас в теме
(57)да, если платформа не ниже 8.2.19.83