Парсер товаров Яндекс.Маркет

Обработки - Обработка справочников

Программа производит парсинг веб-страницы Яндекс.Маркет и загружает выбранные/найденные позиции товаров в информационную базу. БЕСПЛАТНАЯ!!!
Название: Парсер товаров Яндекс.Маркет
 
(Автор оригинальной обработки Юрий Пермитин)
 
Версия обработки: 2.0
 
Это развитие оригинальной обработки //infostart.ru/public/104630/
С момента первой публикации вид веб-страницы Яндекс.маркета изменился и парсер перестал работать.
С разрешения Автора оригинальной обработки Юрия Пермитина я актуализировал парсер в соответствии с форматом веб-страницы Яндекс.Маркета.
Обработка с 2012 года устарела, не использует современные технологии м функционал её зависит от дизайна страницы Яндекс-маркета (при изменении дизайна необходимо исправлять обработку). В настоящее время из-за изменения тегов выдачи Яндекс-маркета в синтаксическом анализаторе возникают ошибки и таблица не заполняется, Вы можете использовать обработку только в качестве примера для доработки. Рацпредложение - к данному функционалу можно доработать шаблоны страниц для синтаксического анализа выдачи яндекс-маркета. Правильнее однако использовать новые технологии //infostart.ru/public/173076/ , или //infostart.ru/public/466196/
 
Описание: Программа производит парсинг веб-страницы Яндекс.Маркет и загружает выбранные/найденные позиции товаров в информационную базу. В ней возможно извлечение данных о товарах с Яндекс.Маркета и заполнение таблицы значений товаров с характеристиками, ценами (без доставки и с доставкой) и наименованием товаров от производителя!
 
Имеет следующие функции: 
  1. загрузка названия, изображений, кратких характеристик
  2. гибкий интерфейс выбора необходимых элементов
  3. возможность воспользоваться встроенным поиском Яндекс.Маркет
  4. включение/отключение загрузки изображений
  5. выбор групп номенклатуры для загрузки
Функционал обработки будет в дальнейшем расширяться.
В комментарии прошу писать пожелания мне или Юрию Пермитину по дальнейшему совершенствованию обработки.
 
Первоисточник - оригинальная разработка Юрия Пермитина //infostart.ru/public/104630/

Скачать файлы

Наименование Файл Версия Размер
ПарсерЯндекс.epf
.epf 32,00Kb
26.03.18
407
.epf 32,00Kb 407 Скачать

См. также

Комментарии
1. Андрей (Krasnyj) 1217 15.08.12 17:06 Сейчас в теме
При попытке загрузить все элементы - выдается ошибка

{Форма.ФормаВыбораСтраницы.Форма(31)}: Преобразование значения к типу Число не может быть выполнено
ОбработкаОбъект.ЭлементыДляОбработки = ЧслВсего * 2;


Запускал в УТ 10.3.
Если загружать только выбранную страницу - ошибок нет, но и загрузка не происходит, хотя сообщение выдается, что элементы загружены успешно.
Что я сделал не так?
2. Сергей Космачев (ksnik) 271 15.08.12 17:35 Сейчас в теме
(1) Krasnyj, 31я строка это МногСтрЗагруз = Истина;
так что Вы запускаете старую версию, будьте внимательны. И еще, обработка предназначена для работы в составе любой конфигурации, но с управлением торговлей её Вам придется стыковать, у меня все прекрасно работает, но конфигурация не типовая.
3. Сергей Космачев (ksnik) 271 15.08.12 17:52 Сейчас в теме
Извините я был виноват, прикрепил по ошибке не тот файл. Таблица загруженных товаров в обработке точно заполняется. Но я не храню загруженные с Яндекс.Маркета данные в основных справочниках торговой системы. И заполнять основную номенклатуру данными интернет магазина пока не буду.
4. Андрей (Krasnyj) 1217 15.08.12 17:54 Сейчас в теме
(3) Бывает. Вот теперь сработало. Спасибо. Плюс от души.
5. Тима Осипов (net7wolf) 47 16.08.12 06:21 Сейчас в теме
на УТ 10.3 не работает


{Справочник.ВнешниеОбработки.Форма.ФормаЭлемента(188)}: Ошибка при вызове метода контекста (Создать): Ошибка загрузки документа.
Внешняя обработка не может быть прочитана текущей версией программы.
6. Сергей Космачев (ksnik) 271 16.08.12 06:42 Сейчас в теме
(5) net7wolf, у меня пока нет планов устанавливать УТ, если доработаете, тогда будет Вам спасибо.
7. Сергей Космачев (ksnik) 271 16.08.12 06:45 Сейчас в теме
(5) net7wolf, Ошибка загрузки документа. -- в парсере товаров яндекса о документах речи нет. В формах этой обработки не строки с таким номером. Вы промахнулись, перепутали обработку, какую запускали.
8. Тима Осипов (net7wolf) 47 16.08.12 06:59 Сейчас в теме
(7) На УТ вообще не запускается
Прикрепленные файлы:
9. Сергей Космачев (ksnik) 271 16.08.12 07:31 Сейчас в теме
(8) net7wolf, кажется я догадываюсь в чем дело, но пожалуйста пишите подробнее чтоб я долго не гадал и не ошибался, у меня версия полатформы последняя, если дело в более старой версии платформы на Вашей стороне, тогда нужно открыть обработку новой версией платформы и ручками всё перекопировать - формы и модули - в старую версию. Вот еще об этом: http://infostart.ru/public/123140/
Буду признателен, если поделитесь результатом преобразования!
10. Dmitry (dihlam) 18.10.12 20:00 Сейчас в теме
Есть ли(планируется ли) версия для Управление торговлей, редакция 11.0 (11.0.9.8)1С:Предприятие 8.2 (8.2.16.368)?
11. Сергей Космачев (ksnik) 271 19.10.12 00:02 Сейчас в теме
(10) dihlam, такой программы у меня нет, если хотите пробуйте адаптировать.
12. Анатолий Дмитрук (progres488) 04.11.12 20:23 Сейчас в теме
Люди дайте доку как пользоваться, ввел телефон samsung, потом поиск, потом Отобрать и меня посылает
Форма.ФормаВыбораСтраницы.Форма(32)}: Преобразование значения к типу Число не может быть выполнено
КолСтраницДляЗагрузки = Цел(ЧслВсего / ПолучитьКоличествоЭлементовНаСтранице(ЭлементыФормы.ПолеHTMLДокумента1))+1;
13. Евгений Рачковский (eugen91) 06.11.12 19:24 Сейчас в теме
Во время использования аналогичных парсеров были проблемы с некоторыми категориями товаров, например аксессуары для ноутбуков, есть ли проблемы с аналогичными групами в данном парсере ?
14. Яков Коган (Yashazz) 2238 05.12.12 12:55 Сейчас в теме
Неряшливо сделано. Защиты от дурака особенной нет, защиты от сбоев нет, подглюкивает там и сям. И концепция работы неочевидная - догадайся, юзверь, сам. А уж при считывании косячков изрядно... Вот, к примеру: {Форма.ФормаВыбораСтраницы.Форма(32)}: Преобразование значения к типу Число не может быть выполнено
КолСтраницДляЗагрузки = Цел(ЧслВсего / ПолучитьКоличествоЭлементовНаСтранице(ЭлементыФормы.ПолеHTMLДокумента1))+1;
потому как такой штуки, как "search-stat", на страницах нетути.

Автор, сделай уж действительно нормальный продукт, или позиционируй как для программеров, а не для юзеров.
15. NAs Kur (Nastyok_Kur) 04.03.13 14:47 Сейчас в теме
Каким образом осуществлется парсинг? Используются какие-то ДЛЛ (внешние компоненты)?
16. Сергей Космачев (ksnik) 271 04.03.13 14:54 Сейчас в теме
(15) Nastyok_Kur, просто актуализировал код от Юрия Пермитина (ссылка в публикации), внешних компонент не использовали.
17. NAs Kur (Nastyok_Kur) 04.03.13 15:25 Сейчас в теме
Парсинг реализован с использованием Контентного API Яндекс.Маркета?
18. Сергей Космачев (ksnik) 271 04.03.13 15:48 Сейчас в теме
(17 )Нет, это просто синтаксический анализатор. А что там за апи, есть примеры использования?
19. NAs Kur (Nastyok_Kur) 05.03.13 08:06 Сейчас в теме
(18) вот ссылка на описания http://api.yandex.ru/market/
Сама пока детально не разбиралась, примеров использования под рукой тоже нет. Есть просто опыт работы с АПИ Яндекс.Карты, и есть желание попробовать использовать АПИ Яндекс.Маркет :)
20. Вячеслав (Medvedik) 05.03.13 12:12 Сейчас в теме
Автор, код открыт или закрыт?
21. Сергей Космачев (ksnik) 271 05.03.13 18:21 Сейчас в теме
22. Виталий Фантич (Boudybuilder) 63 05.05.13 00:51 Сейчас в теме
Интересное дело конечно...
О ,наверное то что я и искал. И еще все это свяжу с битриксом ,и полетели...
Смотрел на битриксе есть подобное , но не с яндекса качает , а с какого то другого сервака. Так кучу моделей найти не может , а находит только старые. Нафиг на Маркетплейс выкладывали не понятно!
Но тут еще одну обработку надыбал , прийдется сравнивать что лучше. Хотя обработок тут на сайте несколько , но многие безтолковые
23. porfirius 30.07.13 17:27 Сейчас в теме
ksnik, день добрый! а парсер актуальный?
24. Сергей Космачев (ksnik) 271 31.07.13 00:04 Сейчас в теме
Зависит от товара. На яндекс-маркете для бытовой техники другой формат страницы, то есть в этом случае нужно доработать.
25. Дмитрий Аистов (rustork) 23.04.14 10:59 Сейчас в теме
Не работает. Выдает ошибку {ВнешняяОбработка.ПарсерЯндекс.МодульОбъекта(227)}: Поле объекта не обнаружено (all)
Для Каждого Стр из ПолеHTMLДокумента.Документ.body.all Цикл
miller-adm; +1 Ответить
28. Сергей Космачев (ksnik) 271 29.10.14 09:32 Сейчас в теме
(25) rustork, (27) miller-adm, если по отдельному виду товара на Яндексе изменяется структура страницы, алгоритм надо переделывать.
29. Алекс Ю (AlexO) 124 21.02.15 22:14 Сейчас в теме
(28)
если по отдельному виду товара на Яндексе изменяется структура страницы
Удивительная обработка - после редизайна страницы перестает работать :)
Используйте API Яндекса из (19 ), чтобы не иметь неработающий инструмент. Или полуработающий, всецело зависящий от настроения дизайнеров Яндекса...
26. Виктор Ерусланов (erus88) 1 30.06.14 19:47 Сейчас в теме
после ре дизайна Яндекса выдает ошибку:
{ВнешняяОбработка.ПарсерЯндекс.МодульОбъекта(227)}: Поле объекта не обнаружено (all)
Для Каждого Стр из ПолеHTMLДокумента.Документ.body.all Цикл
miller-adm; +1 Ответить
27. Александр Жарков (miller-adm) 381 28.10.14 20:22 Сейчас в теме
Не работает. Выдает ошибку {ВнешняяОбработка.ПарсерЯндекс.МодульОбъекта(227)}: Поле объекта не обнаружено (all)
Для Каждого Стр из ПолеHTMLДокумента.Документ.body.all Цикл
30. Денис Толстов (user596739_info) 19.08.16 18:31 Сейчас в теме
Не хочет работать (((
Как быть, что делать?
Прикрепленные файлы:
31. Михаил Филимонов (NN2P) 278 16.01.17 10:54 Сейчас в теме
Вбиваю в поле поиска наименование товара. На ЯМ товар нахожу, из обработки нет.Спасибо за бесплатные наработки, желаю Вам успешно продолжить развитие этой обработки.
Прикрепленные файлы:
36. Сергей Космачев (ksnik) 271 25.03.18 14:39 Сейчас в теме
(31) теперь бы еслиб нужда была делал бы с помощью спец средств, в 2012 по другому не мог и не было альтернативы
32. Александр Ульянов (user736761) 25.05.17 19:49 Сейчас в теме
Написали бесплатно.. а оказывается если только начинающий в 1С, то практически долго будешь зарабатывать смарты что-бы скачать надстройку.
35. Сергей Космачев (ksnik) 271 25.03.18 14:06 Сейчас в теме
(32) она сейчас существенно устарела, требует доработки программистом, да и технологии на этом сайте опубликованы гораздо более современные и удобные для парсинга сайтов. Ввел в поиске "Парсинг" и нашел https://infostart.ru/public/466196/
еще бы порыл в направление jquery, вот например
https://infostart.ru/public/466052/
33. С К (kraynev-navi) 356 25.03.18 09:24 Сейчас в теме
Еще неплохо бы честно написать, что обработка не работает даже в идеальных условиях пустой базы на ОФ.
34. Сергей Космачев (ksnik) 271 25.03.18 14:04 Сейчас в теме
(33) Вы слишком строги, 25 сентября 2009 года выпустили управляемое приложение, но в середине 2012 оно еще не было повсеместно распространено. Вам полезнее обращать внимание на скриншот, чем мне сейчас вносить исправления в статью:-)
А, вы же про обычные формы написали. Обработка действительно без претензии на универсальность. На самом деле формат выдачи яндекса через 1-2 года (довольно быстро однако) после написания статьи изменился, или даже он разный для разных разделов маркета.

То есть возможно я писал для загрузки из одного подкаталога, а на другом разделе (на котором я не пробовал) оно уже не работало. В общем данным способом универсальную программу не написать. Но однако - он очень прост и имеет право на то чтобы Вы пошаманили если леньразбираться с более правильными подходами.
37. С К (kraynev-navi) 356 26.03.18 08:26 Сейчас в теме
(34) Я не слишком строг, я просто считаю, что если продукт не работает как надо, надо об этом честно написать. Прямо в начале публикации. Мол, было актуально до даты <Х>, после этого работать перестало. Но вы можете подправить несколько кусков <тут> и <тут> и все будет работать.
Это не упрек, а рацпредложение.
Кому надо скачают все равно. Я же скачал.
38. Сергей Космачев (ksnik) 271 26.03.18 08:59 Сейчас в теме
Оставьте свое сообщение