Загрузка изображений с поисковых сайтов сети Интернет в 1С

Опубликовал Максим *** (premier) в раздел Обработки - Обработка справочников

Обработка загрузки изображений из интернета в 1С:Предприятие

Наполнение справочника Номенклатуры изображениями для обмена с сайтом или формирования прайс-листов - занятие довольное утомительное. Предлагаемые в публикации обработки (для конфигураций Управление торговлей версий 10.3 и 11.1) позволят в достаточной степени автоматизировать этот процесс, производя поиск изображений на поисковых интернет-сайтах и, буквально "в пару кликов", записывать эти изображения в базу данных. Эта обработка - не единственная, реализующая подобный функционал, но от тех, которые видел я, всё же имеет несколько отличий:

  • обработка бесплатна (относительно бесплатна, т. к. $m всё же хоть виртуальные, но деньги);
  • не использует API поисковых систем, которые зачастую меняют формат интерфейсов или вовсе платные;
  • позволяет выбирать для поиска несколько поисковых систем: Google, Yandex, Rambler, Bing, Поиск@mail.ru;
  • для поисковых систем GOOGLE, BING, Поиск@mail.ru позволяет выбирать размеры загружаемых изображений (доступно только в полной версии обработки).

    Ограничения демо версии: изображения с поискового сервера скачиваются в режиме "preview" (предпросмотр), т. е. не очень высокого разрешения, что, впрочем, в большинстве случаев приемлемо. Так, например, для формирования прайс-листа с изображениями вполне будет достаточно разрешения изображений 200х200 пикселей (а изображения загружаются иногда и в более высоком разрешении), да и для сайта изображение для анонса не требует высокого качества. Впрочем, распознаваемость изображений вы можете увидеть в демо-ролике, приложенном к данной публикации.

    Вроде бы зачем так много поисковиков, и одного Google хватило бы? Несколько поисковых систем необходимы для того, чтобы выбрать оптимальный на время использования обработки поисковый сервер. Часто поисковые системы бывают перегружены запросами, а выбор альтернативной поисковой системы, возможно, избавит от длительного ожидания загрузки.  К тому же, как показала практика, результаты запросов могут достаточно сильно отличаться у разных поисковых систем.

    Опубликованное - не только функционирующие обработки для указанных конфигураций, но и инструмент для тех, кто захочет доработать их или адаптировать под другие конфигурации (1C:Розница, УНФ, к примеру, или отраслевые решения, имеющие возможность хранения прикрепленных файлов - изображений).

19/04/2016

В связи с тем, что поисковая система Google изменила вёрстку станиц поиска, переведя их на динамическую подгрузку изображений, для указанной поисковой системы отключена возможность загрузки изображений в разных разрешениях (выбор размера изображений оставлен, так как влияет на результаты поиска).
Обновлены версии обработок, изменена стоимость полных версий.

09/01/2016

Обновлены полные версии обработок.

Добавлена возможность выбора размера загружаемых изображений для поисковых систем Yandex и Rambler (только  в полных версиях обработок).

Также добавлен функционал настройки доступа к Интернет. Теперь обработки позволяют обращаться к поисковым системам через прокси-сервер, что немаловажно в том случае, когда поисковый сервер откажет в доступе, если поисковых запросов с вашего ip-адреса было достаточно много.

Скачать файлы

Наименование Файл Версия Размер
ЗагрузкаИзображенийУТ10 (демо версия).epf
.epf 21,11Kb
06.09.16
13
.epf 21,11Kb 13 Скачать
ЗагрузкаИзображенийУТ11 (демо версия).epf
.epf 22,40Kb
06.09.16
11
.epf 22,40Kb 11 Скачать
ЗагрузкаИзображенийУТ10 (полная версия).epf
.epf 28,78Kb
06.09.16
26
.epf 28,78Kb 26 Скачать
ЗагрузкаИзображенийУТ11 (полная версия).epf
.epf 27,49Kb
06.09.16
23
.epf 27,49Kb 23 Скачать

См. также

Комментарии
1. Максим Литвинов (maksa2005) 86 13.10.15 19:01 Сейчас в теме
2. Максим *** (premier) 131 13.10.15 19:29 Сейчас в теме
(1) maksa2005, посмотрите, например, здесь: http://1-sys.ru/index.php/%D0%97%D0%B0%D0%B3%D1%80%D1%83%D0%B7%D0%BA%D0%B0_%D0%BA%­D0%B0%D1%80%D1%82%D0%B8%D0%BD%D0%BE%D0%BA_%D0%B2_1%D0%A1 или здесь: http://infostart.ru/public/60073/
К сожалению, не смог найти похожую обработку на Инфостарте (была, сейчас не могу найти!) - тоже стоимость от 2000 р.
Я предлагаю вариант, который можно скачать и доработать под свои потребности. И он явно дешевле, чем в приведенных выше обработках. К тому же политика Инфостарт вынуждает завышать цену (-20% при начислении $m, -16% при выводе). Я бы выставил за 5$m (всё же на написание этих обработок тоже времени немало было потрачено). Но ведь 5$m и даже 7 - это не те суммы, которые просят авторы похожих обработок.
3. Allexey (alex_4x) 72 13.10.15 21:37 Сейчас в теме
Видно что сделано с душой :-)
4. Максим *** (premier) 131 14.10.15 06:48 Сейчас в теме
(3) alex_4x, спасибо, я старался.
5. Павел Шведов (pavelvsh) 09.12.15 20:43 Сейчас в теме
Скачал три обработки коллег с ИС - ни одна не ищет изображения. Видимо поменялся алгоритм запросов поисковых систем. Жалко потраченных 9 $m. Тестировал обработки на УТ 10.3.32.2, платформы 8.2, 8.3. Хотя думаю не в платформах и релизе дело. Подскажите, Ваша обработка точно поискоспособна?
6. Максим *** (premier) 131 10.12.15 14:11 Сейчас в теме
(5) pavelvsh, Скачал три обработки коллег с ИС - ни одна не ищет изображения. Видимо поменялся алгоритм запросов поисковых систем..
Вполне возможно, что дело и не в этом. Посмотрите код обработок, если в них используется объект web-браузер "InternetExplorer.Application" или поле HTMLДокумента, которое, по сути, также является web-браузром, то проблема может быть в настройках безопасности Internet Explorer'а.
Подскажите, Ваша обработка точно поискоспособна?
Моя обработка производит поиск на основе анализа содержимого web-страниц, используя только встроенные механизмы работы платформы 1С с HTTP запросами. К тому же позволяет работать с несколькими поисковыми системами. Мне кажется маловероятным, чтобы все поисковые системы, использованные в обработке, одновременно изменили вёрстку страниц. К тому же я сегодня (см. дату комментария) протестировал обе обработки. Проблем с поиском не выявил.
7. alexey kuklin (neposeda08) 19.01.16 13:24 Сейчас в теме
Есть ли возможность поиска не только картинок для товаров, но их характеристик перед выгрузкой 1с битрих (выгрузка сделана Bitrix). В 1с и в выгрузке bitrix (там есть возможность добавить изображения для характеристик товаров) это не удобно.
8. Максим *** (premier) 131 21.01.16 16:16 Сейчас в теме
(7) neposeda08, в данной обработке такой возможности нет, да и не предусматривалась она для этих целей. К тому же, для того чтобы перейти к описанию товара, как правило, требуется интерактивное действие: кликнуть по ссылке, например. В моей обработке не используются активные компоненты с web контентом.
Для Ваших целей, возможно, подойдёт другая обработка, которую я нашел на Infostart'е http://infostart.ru/public/88106/.
9. Максим *** (premier) 131 21.01.16 16:48 Сейчас в теме
(7) neposeda08, а я кстати, не нашел в типовых УТ возможность хранения прикрепленных файлов для характеристик номенклатуры. Может, искал плохо?
10. Вадим Никонов (V.Nikonov) 113 10.03.16 17:26 Сейчас в теме
(9) premier, В типовых этого нет! Допилить не так сложно... (Добавить Владельцем ХранилищеДополнительнойИнформации справочник Характеристики или косвенно связать используя Наименование элемента Хранилище...)
11. Максим *** (premier) 131 11.03.16 08:53 Сейчас в теме
(10) V.Nikonov, то, что "допилить" не так сложно, я в курсе. В этой публикации предложены обработки для типовых конфигураций. А пользователь в комменте (7), говорит: ему неудобно, что обработка не предназначена для модифицированных конфигураций. Ну, неудобно, пусть и не пользуется.
12. Ziger Zigger (ZIGER666) 1 30.03.16 11:56 Сейчас в теме
При выборе поисковой системы "яндекс" пишет, что картинки не найдены. "По запросу не найдено ни одного изображения!"

УТ 11.1.10.116
Покупал еще и эту обработку http://infostart.ru/public/333026/
Ваша лучше
Спасибо.
13. Максим *** (premier) 131 30.03.16 13:28 Сейчас в теме
(12) ZIGER666, Yandex очень "жадный" поисковик. Если запросы с одного IP адреса поступают достаточно часто, Yandex "банит" этот IP адрес и перенаправляет на страницу с "капчой", на которой, конечно же, картинок нет.
Попробуйте задать в настройках прокси сервер. Правда, всё равно скоро получите "бан", но прокси серверов достаточно много. Не думаю, что все они в "черном" списке Yandex'а.
14. Максим *** (premier) 131 30.03.16 13:31 Сейчас в теме
(12) ZIGER666, я, кстати, заметил, что Yandex и Rambler выдают практически одинаковый результат, но Rambler не такой "жадный".
ZIGER666; +1 Ответить
15. Ziger Zigger (ZIGER666) 1 30.03.16 13:56 Сейчас в теме
16. theRO theRO (theRO) 27.07.16 07:56 Сейчас в теме
17. Максим *** (premier) 131 28.07.16 17:30 Сейчас в теме
(16) theRO, не проверял. В КА 1.1 должно работать, в КА 2.0 - не знаю
18. theRO theRO (theRO) 28.07.16 18:39 Сейчас в теме
(17) premier, не могли бы уточнить - это критично для приобретения
19. Максим *** (premier) 131 29.07.16 16:24 Сейчас в теме
(18) theRO, обработка для УТ 10.3 точно подходит для КА 1.1. Дистрибутива с КА 2.0, к сожалению, не имеется - проверить не могу.
20. Александр Потапов (tiniji) 139 22.08.16 07:55 Сейчас в теме
На УПП 1.3 работает. Нужен был yandex.
21. Михаил Агафонов (Aquashop) 9 06.09.16 13:29 Сейчас в теме
1С:Предприятие 8.3 (8.3.8.1784) Управление торговлей, редакция 11.2 (11.2.3.177) полная версия работает корректно только нужно заменить = ОбщегоНазначения.ПолучитьЗначениеРеквизита(СсылкаНаОбъект, ИмяРеквизита); на ОбщегоНазначения.ПолучитьЗначениеРеквизитаОбъекта(СсылкаНаОбъект, ИмяРеквизита);
22. Максим *** (premier) 131 06.09.16 16:24 Сейчас в теме
(21) Aquashop, это видимо в "тонком клиенте". В нём я не отлаживал. Спасибо за информацию об ошибке. Будет время, напишу обработку по "тонкого клиента".
23. Максим *** (premier) 131 06.09.16 17:07 Сейчас в теме
(21) Aquashop, не в тонком клиенте дело, а в конфигурации.
Кстати, в УТ 11.2 нет в общем модуле функции ОбщегоНазначения.ПолучитьЗначениеРеквизитаОбъекта(СсылкаНаОбъект, ИмяРеквизита);
Заменил на Возврат СсылкаНаОбъект[ИмяРеквизита]; и всё заработало.