Парсер товаров Яндекс.Маркет

Обработки - Обработка справочников

30
Программа производит парсинг веб-страницы Яндекс.Маркет и загружает выбранные/найденные позиции товаров в информационную базу. БЕСПЛАТНАЯ!!!
Название: Парсер товаров Яндекс.Маркет
 
(Автор оригинальной обработки Юрий Пермитин)
 
Версия обработки: 2.0
 
Это развитие оригинальной обработки //infostart.ru/public/104630/
С момента первой публикации вид веб-страницы Яндекс.маркета изменился и парсер перестал работать.
С разрешения Автора оригинальной обработки Юрия Пермитина я актуализировал парсер в соответствии с форматом веб-страницы Яндекс.Маркета.
Обработка с 2012 года устарела, не использует современные технологии м функционал её зависит от дизайна страницы Яндекс-маркета (при изменении дизайна необходимо исправлять обработку). В настоящее время из-за изменения тегов выдачи Яндекс-маркета в синтаксическом анализаторе возникают ошибки и таблица не заполняется, Вы можете использовать обработку только в качестве примера для доработки. Рацпредложение - к данному функционалу можно доработать шаблоны страниц для синтаксического анализа выдачи яндекс-маркета. Правильнее однако использовать новые технологии //infostart.ru/public/173076/ , или //infostart.ru/public/466196/
 
Описание: Программа производит парсинг веб-страницы Яндекс.Маркет и загружает выбранные/найденные позиции товаров в информационную базу. В ней возможно извлечение данных о товарах с Яндекс.Маркета и заполнение таблицы значений товаров с характеристиками, ценами (без доставки и с доставкой) и наименованием товаров от производителя!
 
Имеет следующие функции: 
  1. загрузка названия, изображений, кратких характеристик
  2. гибкий интерфейс выбора необходимых элементов
  3. возможность воспользоваться встроенным поиском Яндекс.Маркет
  4. включение/отключение загрузки изображений
  5. выбор групп номенклатуры для загрузки
Функционал обработки будет в дальнейшем расширяться.
В комментарии прошу писать пожелания мне или Юрию Пермитину по дальнейшему совершенствованию обработки.
 
Первоисточник - оригинальная разработка Юрия Пермитина //infostart.ru/public/104630/
30

Скачать файлы

Наименование Файл Версия Размер
ПарсерЯндекс.epf
.epf 32,00Kb
26.03.18
413
.epf 32,00Kb 413 Скачать

См. также

Комментарии
Избранное Подписка Сортировка: Древо
1. Krasnyj 1235 15.08.12 17:06 Сейчас в теме
При попытке загрузить все элементы - выдается ошибка

{Форма.ФормаВыбораСтраницы.Форма(31)}: Преобразование значения к типу Число не может быть выполнено
ОбработкаОбъект.ЭлементыДляОбработки = ЧслВсего * 2;


Запускал в УТ 10.3.
Если загружать только выбранную страницу - ошибок нет, но и загрузка не происходит, хотя сообщение выдается, что элементы загружены успешно.
Что я сделал не так?
2. ksnik 289 15.08.12 17:35 Сейчас в теме
(1) Krasnyj, 31я строка это МногСтрЗагруз = Истина;
так что Вы запускаете старую версию, будьте внимательны. И еще, обработка предназначена для работы в составе любой конфигурации, но с управлением торговлей её Вам придется стыковать, у меня все прекрасно работает, но конфигурация не типовая.
3. ksnik 289 15.08.12 17:52 Сейчас в теме
Извините я был виноват, прикрепил по ошибке не тот файл. Таблица загруженных товаров в обработке точно заполняется. Но я не храню загруженные с Яндекс.Маркета данные в основных справочниках торговой системы. И заполнять основную номенклатуру данными интернет магазина пока не буду.
4. Krasnyj 1235 15.08.12 17:54 Сейчас в теме
(3) Бывает. Вот теперь сработало. Спасибо. Плюс от души.
5. net7wolf 47 16.08.12 06:21 Сейчас в теме
на УТ 10.3 не работает


{Справочник.ВнешниеОбработки.Форма.ФормаЭлемента(188)}: Ошибка при вызове метода контекста (Создать): Ошибка загрузки документа.
Внешняя обработка не может быть прочитана текущей версией программы.
6. ksnik 289 16.08.12 06:42 Сейчас в теме
(5) net7wolf, у меня пока нет планов устанавливать УТ, если доработаете, тогда будет Вам спасибо.
7. ksnik 289 16.08.12 06:45 Сейчас в теме
(5) net7wolf, Ошибка загрузки документа. -- в парсере товаров яндекса о документах речи нет. В формах этой обработки не строки с таким номером. Вы промахнулись, перепутали обработку, какую запускали.
8. net7wolf 47 16.08.12 06:59 Сейчас в теме
(7) На УТ вообще не запускается
Прикрепленные файлы:
9. ksnik 289 16.08.12 07:31 Сейчас в теме
(8) net7wolf, кажется я догадываюсь в чем дело, но пожалуйста пишите подробнее чтоб я долго не гадал и не ошибался, у меня версия полатформы последняя, если дело в более старой версии платформы на Вашей стороне, тогда нужно открыть обработку новой версией платформы и ручками всё перекопировать - формы и модули - в старую версию. Вот еще об этом: http://infostart.ru/public/123140/
Буду признателен, если поделитесь результатом преобразования!
10. dihlam 18.10.12 20:00 Сейчас в теме
Есть ли(планируется ли) версия для Управление торговлей, редакция 11.0 (11.0.9.8)1С:Предприятие 8.2 (8.2.16.368)?
11. ksnik 289 19.10.12 00:02 Сейчас в теме
(10) dihlam, такой программы у меня нет, если хотите пробуйте адаптировать.
12. progres488 04.11.12 20:23 Сейчас в теме
Люди дайте доку как пользоваться, ввел телефон samsung, потом поиск, потом Отобрать и меня посылает
Форма.ФормаВыбораСтраницы.Форма(32)}: Преобразование значения к типу Число не может быть выполнено
КолСтраницДляЗагрузки = Цел(ЧслВсего / ПолучитьКоличествоЭлементовНаСтранице(ЭлементыФормы.ПолеHTMLДокумента1))+1;
13. eugen91 06.11.12 19:24 Сейчас в теме
Во время использования аналогичных парсеров были проблемы с некоторыми категориями товаров, например аксессуары для ноутбуков, есть ли проблемы с аналогичными групами в данном парсере ?
14. Yashazz 2292 05.12.12 12:55 Сейчас в теме
Неряшливо сделано. Защиты от дурака особенной нет, защиты от сбоев нет, подглюкивает там и сям. И концепция работы неочевидная - догадайся, юзверь, сам. А уж при считывании косячков изрядно... Вот, к примеру: {Форма.ФормаВыбораСтраницы.Форма(32)}: Преобразование значения к типу Число не может быть выполнено
КолСтраницДляЗагрузки = Цел(ЧслВсего / ПолучитьКоличествоЭлементовНаСтранице(ЭлементыФормы.ПолеHTMLДокумента1))+1;
потому как такой штуки, как "search-stat", на страницах нетути.

Автор, сделай уж действительно нормальный продукт, или позиционируй как для программеров, а не для юзеров.
15. Nastyok_Kur 04.03.13 14:47 Сейчас в теме
Каким образом осуществлется парсинг? Используются какие-то ДЛЛ (внешние компоненты)?
16. ksnik 289 04.03.13 14:54 Сейчас в теме
(15) Nastyok_Kur, просто актуализировал код от Юрия Пермитина (ссылка в публикации), внешних компонент не использовали.
17. Nastyok_Kur 04.03.13 15:25 Сейчас в теме
Парсинг реализован с использованием Контентного API Яндекс.Маркета?
18. ksnik 289 04.03.13 15:48 Сейчас в теме
(17 )Нет, это просто синтаксический анализатор. А что там за апи, есть примеры использования?
19. Nastyok_Kur 05.03.13 08:06 Сейчас в теме
(18) вот ссылка на описания http://api.yandex.ru/market/
Сама пока детально не разбиралась, примеров использования под рукой тоже нет. Есть просто опыт работы с АПИ Яндекс.Карты, и есть желание попробовать использовать АПИ Яндекс.Маркет :)
20. Medvedik 05.03.13 12:12 Сейчас в теме
Автор, код открыт или закрыт?
21. ksnik 289 05.03.13 18:21 Сейчас в теме
22. Boudybuilder 62 05.05.13 00:51 Сейчас в теме
Интересное дело конечно...
О ,наверное то что я и искал. И еще все это свяжу с битриксом ,и полетели...
Смотрел на битриксе есть подобное , но не с яндекса качает , а с какого то другого сервака. Так кучу моделей найти не может , а находит только старые. Нафиг на Маркетплейс выкладывали не понятно!
Но тут еще одну обработку надыбал , прийдется сравнивать что лучше. Хотя обработок тут на сайте несколько , но многие безтолковые
23. porfirius 30.07.13 17:27 Сейчас в теме
ksnik, день добрый! а парсер актуальный?
24. ksnik 289 31.07.13 00:04 Сейчас в теме
Зависит от товара. На яндекс-маркете для бытовой техники другой формат страницы, то есть в этом случае нужно доработать.
25. rustork 23.04.14 10:59 Сейчас в теме
Не работает. Выдает ошибку {ВнешняяОбработка.ПарсерЯндекс.МодульОбъекта(227)}: Поле объекта не обнаружено (all)
Для Каждого Стр из ПолеHTMLДокумента.Документ.body.all Цикл
miller-adm; +1 Ответить
28. ksnik 289 29.10.14 09:32 Сейчас в теме
(25) rustork, (27) miller-adm, если по отдельному виду товара на Яндексе изменяется структура страницы, алгоритм надо переделывать.
29. AlexO 126 21.02.15 22:14 Сейчас в теме
(28)
если по отдельному виду товара на Яндексе изменяется структура страницы
Удивительная обработка - после редизайна страницы перестает работать :)
Используйте API Яндекса из (19 ), чтобы не иметь неработающий инструмент. Или полуработающий, всецело зависящий от настроения дизайнеров Яндекса...
26. erus88 1 30.06.14 19:47 Сейчас в теме
после ре дизайна Яндекса выдает ошибку:
{ВнешняяОбработка.ПарсерЯндекс.МодульОбъекта(227)}: Поле объекта не обнаружено (all)
Для Каждого Стр из ПолеHTMLДокумента.Документ.body.all Цикл
miller-adm; +1 Ответить
27. miller-adm 392 28.10.14 20:22 Сейчас в теме
Не работает. Выдает ошибку {ВнешняяОбработка.ПарсерЯндекс.МодульОбъекта(227)}: Поле объекта не обнаружено (all)
Для Каждого Стр из ПолеHTMLДокумента.Документ.body.all Цикл
30. user596739_info 19.08.16 18:31 Сейчас в теме
Не хочет работать (((
Как быть, что делать?
Прикрепленные файлы:
31. NN2P 293 16.01.17 10:54 Сейчас в теме
Вбиваю в поле поиска наименование товара. На ЯМ товар нахожу, из обработки нет.Спасибо за бесплатные наработки, желаю Вам успешно продолжить развитие этой обработки.
Прикрепленные файлы:
36. ksnik 289 25.03.18 14:39 Сейчас в теме
(31) теперь бы еслиб нужда была делал бы с помощью спец средств, в 2012 по другому не мог и не было альтернативы
32. user736761 25.05.17 19:49 Сейчас в теме
Написали бесплатно.. а оказывается если только начинающий в 1С, то практически долго будешь зарабатывать смарты что-бы скачать надстройку.
35. ksnik 289 25.03.18 14:06 Сейчас в теме
(32) она сейчас существенно устарела, требует доработки программистом, да и технологии на этом сайте опубликованы гораздо более современные и удобные для парсинга сайтов. Ввел в поиске "Парсинг" и нашел https://infostart.ru/public/466196/
еще бы порыл в направление jquery, вот например
https://infostart.ru/public/466052/
33. kraynev-navi 374 25.03.18 09:24 Сейчас в теме
Еще неплохо бы честно написать, что обработка не работает даже в идеальных условиях пустой базы на ОФ.
34. ksnik 289 25.03.18 14:04 Сейчас в теме
(33) Вы слишком строги, 25 сентября 2009 года выпустили управляемое приложение, но в середине 2012 оно еще не было повсеместно распространено. Вам полезнее обращать внимание на скриншот, чем мне сейчас вносить исправления в статью:-)
А, вы же про обычные формы написали. Обработка действительно без претензии на универсальность. На самом деле формат выдачи яндекса через 1-2 года (довольно быстро однако) после написания статьи изменился, или даже он разный для разных разделов маркета.

То есть возможно я писал для загрузки из одного подкаталога, а на другом разделе (на котором я не пробовал) оно уже не работало. В общем данным способом универсальную программу не написать. Но однако - он очень прост и имеет право на то чтобы Вы пошаманили если леньразбираться с более правильными подходами.
37. kraynev-navi 374 26.03.18 08:26 Сейчас в теме
(34) Я не слишком строг, я просто считаю, что если продукт не работает как надо, надо об этом честно написать. Прямо в начале публикации. Мол, было актуально до даты <Х>, после этого работать перестало. Но вы можете подправить несколько кусков <тут> и <тут> и все будет работать.
Это не упрек, а рацпредложение.
Кому надо скачают все равно. Я же скачал.
38. ksnik 289 26.03.18 08:59 Сейчас в теме
Оставьте свое сообщение