gifts2017

Загрузка изображений с поисковых сайтов сети Интернет в 1С

Опубликовал Максим *** (premier) в раздел Обработки - Обработка справочников

Обработка загрузки изображений из интернета в 1С:Предприятие

Наполнение справочника Номенклатуры изображениями для обмена с сайтом или формирования прайс-листов - занятие довольное утомительное. Предлагаемые в публикации обработки (для конфигураций Управление торговлей версий 10.3 и 11.1) позволят в достаточной степени автоматизировать этот процесс, производя поиск изображений на поисковых интернет-сайтах и, буквально "в пару кликов", записывать эти изображения в базу данных. Эта обработка - не единственная, реализующая подобный функционал, но от тех, которые видел я, всё же имеет несколько отличий:

  • обработка бесплатна (относительно бесплатна, т. к. $m всё же хоть виртуальные, но деньги);
  • не использует API поисковых систем, которые зачастую меняют формат интерфейсов или вовсе платные;
  • позволяет выбирать для поиска несколько поисковых систем: Google, Yandex, Rambler, Bing, Поиск@mail.ru;
  • для поисковых систем GOOGLE, BING, Поиск@mail.ru позволяет выбирать размеры загружаемых изображений (доступно только в полной версии обработки).

    Ограничения демо версии: изображения с поискового сервера скачиваются в режиме "preview" (предпросмотр), т. е. не очень высокого разрешения, что, впрочем, в большинстве случаев приемлемо. Так, например, для формирования прайс-листа с изображениями вполне будет достаточно разрешения изображений 200х200 пикселей (а изображения загружаются иногда и в более высоком разрешении), да и для сайта изображение для анонса не требует высокого качества. Впрочем, распознаваемость изображений вы можете увидеть в демо-ролике, приложенном к данной публикации.

    Вроде бы зачем так много поисковиков, и одного Google хватило бы? Несколько поисковых систем необходимы для того, чтобы выбрать оптимальный на время использования обработки поисковый сервер. Часто поисковые системы бывают перегружены запросами, а выбор альтернативной поисковой системы, возможно, избавит от длительного ожидания загрузки.  К тому же, как показала практика, результаты запросов могут достаточно сильно отличаться у разных поисковых систем.

    Опубликованное - не только функционирующие обработки для указанных конфигураций, но и инструмент для тех, кто захочет доработать их или адаптировать под другие конфигурации (1C:Розница, УНФ, к примеру, или отраслевые решения, имеющие возможность хранения прикрепленных файлов - изображений).

19/04/2016

В связи с тем, что поисковая система Google изменила вёрстку станиц поиска, переведя их на динамическую подгрузку изображений, для указанной поисковой системы отключена возможность загрузки изображений в разных разрешениях (выбор размера изображений оставлен, так как влияет на результаты поиска).
Обновлены версии обработок, изменена стоимость полных версий.

09/01/2016

Обновлены полные версии обработок.

Добавлена возможность выбора размера загружаемых изображений для поисковых систем Yandex и Rambler (только  в полных версиях обработок).

Также добавлен функционал настройки доступа к Интернет. Теперь обработки позволяют обращаться к поисковым системам через прокси-сервер, что немаловажно в том случае, когда поисковый сервер откажет в доступе, если поисковых запросов с вашего ip-адреса было достаточно много.

Скачать файлы

Наименование Файл Версия Размер
ЗагрузкаИзображенийУТ10 (демо версия).epf 12
.epf 21,11Kb
06.09.16
12
.epf 21,11Kb Скачать
ЗагрузкаИзображенийУТ11 (демо версия).epf 11
.epf 22,40Kb
06.09.16
11
.epf 22,40Kb Скачать
ЗагрузкаИзображенийУТ10 (полная версия).epf 24
.epf 28,78Kb
06.09.16
24
.epf 28,78Kb Скачать
ЗагрузкаИзображенийУТ11 (полная версия).epf 22
.epf 27,49Kb
06.09.16
22
.epf 27,49Kb Скачать

См. также

Contragent+ 5.0 от 2 500
Подписаться Добавить вознаграждение
Комментарии
1. Максим Литвинов (maksa2005) 13.10.15 19:01
2. Максим *** (premier) 13.10.15 19:29
(1) maksa2005, посмотрите, например, здесь: http://1-sys.ru/index.php/%D0%97%D0%B0%D0%B3%D1%80%D1%83%D0%B7%D0%BA%D0%B0_%D0%BA%­D0%B0%D1%80%D1%82%D0%B8%D0%BD%D0%BE%D0%BA_%D0%B2_1%D0%A1 или здесь: http://infostart.ru/public/60073/
К сожалению, не смог найти похожую обработку на Инфостарте (была, сейчас не могу найти!) - тоже стоимость от 2000 р.
Я предлагаю вариант, который можно скачать и доработать под свои потребности. И он явно дешевле, чем в приведенных выше обработках. К тому же политика Инфостарт вынуждает завышать цену (-20% при начислении $m, -16% при выводе). Я бы выставил за 5$m (всё же на написание этих обработок тоже времени немало было потрачено). Но ведь 5$m и даже 7 - это не те суммы, которые просят авторы похожих обработок.
3. Allexey (alex_4x) 13.10.15 21:37
Видно что сделано с душой :-)
4. Максим *** (premier) 14.10.15 06:48
(3) alex_4x, спасибо, я старался.
5. Павел Шведов (pavelvsh) 09.12.15 20:43
Скачал три обработки коллег с ИС - ни одна не ищет изображения. Видимо поменялся алгоритм запросов поисковых систем. Жалко потраченных 9 $m. Тестировал обработки на УТ 10.3.32.2, платформы 8.2, 8.3. Хотя думаю не в платформах и релизе дело. Подскажите, Ваша обработка точно поискоспособна?
6. Максим *** (premier) 10.12.15 14:11
(5) pavelvsh, Скачал три обработки коллег с ИС - ни одна не ищет изображения. Видимо поменялся алгоритм запросов поисковых систем..
Вполне возможно, что дело и не в этом. Посмотрите код обработок, если в них используется объект web-браузер "InternetExplorer.Application" или поле HTMLДокумента, которое, по сути, также является web-браузром, то проблема может быть в настройках безопасности Internet Explorer'а.
Подскажите, Ваша обработка точно поискоспособна?
Моя обработка производит поиск на основе анализа содержимого web-страниц, используя только встроенные механизмы работы платформы 1С с HTTP запросами. К тому же позволяет работать с несколькими поисковыми системами. Мне кажется маловероятным, чтобы все поисковые системы, использованные в обработке, одновременно изменили вёрстку страниц. К тому же я сегодня (см. дату комментария) протестировал обе обработки. Проблем с поиском не выявил.
7. alexey kuklin (neposeda08) 19.01.16 13:24
Есть ли возможность поиска не только картинок для товаров, но их характеристик перед выгрузкой 1с битрих (выгрузка сделана Bitrix). В 1с и в выгрузке bitrix (там есть возможность добавить изображения для характеристик товаров) это не удобно.
8. Максим *** (premier) 21.01.16 16:16
(7) neposeda08, в данной обработке такой возможности нет, да и не предусматривалась она для этих целей. К тому же, для того чтобы перейти к описанию товара, как правило, требуется интерактивное действие: кликнуть по ссылке, например. В моей обработке не используются активные компоненты с web контентом.
Для Ваших целей, возможно, подойдёт другая обработка, которую я нашел на Infostart'е http://infostart.ru/public/88106/.
9. Максим *** (premier) 21.01.16 16:48
(7) neposeda08, а я кстати, не нашел в типовых УТ возможность хранения прикрепленных файлов для характеристик номенклатуры. Может, искал плохо?
10. Вадим Никонов (V.Nikonov) 10.03.16 17:26
(9) premier, В типовых этого нет! Допилить не так сложно... (Добавить Владельцем ХранилищеДополнительнойИнформации справочник Характеристики или косвенно связать используя Наименование элемента Хранилище...)
11. Максим *** (premier) 11.03.16 08:53
(10) V.Nikonov, то, что "допилить" не так сложно, я в курсе. В этой публикации предложены обработки для типовых конфигураций. А пользователь в комменте (7), говорит: ему неудобно, что обработка не предназначена для модифицированных конфигураций. Ну, неудобно, пусть и не пользуется.
12. Ziger Zigger (ZIGER666) 30.03.16 11:56
При выборе поисковой системы "яндекс" пишет, что картинки не найдены. "По запросу не найдено ни одного изображения!"

УТ 11.1.10.116
Покупал еще и эту обработку http://infostart.ru/public/333026/
Ваша лучше
Спасибо.
13. Максим *** (premier) 30.03.16 13:28
(12) ZIGER666, Yandex очень "жадный" поисковик. Если запросы с одного IP адреса поступают достаточно часто, Yandex "банит" этот IP адрес и перенаправляет на страницу с "капчой", на которой, конечно же, картинок нет.
Попробуйте задать в настройках прокси сервер. Правда, всё равно скоро получите "бан", но прокси серверов достаточно много. Не думаю, что все они в "черном" списке Yandex'а.
14. Максим *** (premier) 30.03.16 13:31
(12) ZIGER666, я, кстати, заметил, что Yandex и Rambler выдают практически одинаковый результат, но Rambler не такой "жадный".
ZIGER666; +1 Ответить
15. Ziger Zigger (ZIGER666) 30.03.16 13:56
16. theRO theRO (theRO) 27.07.16 07:56
17. Максим *** (premier) 28.07.16 17:30
(16) theRO, не проверял. В КА 1.1 должно работать, в КА 2.0 - не знаю
18. theRO theRO (theRO) 28.07.16 18:39
(17) premier, не могли бы уточнить - это критично для приобретения
19. Максим *** (premier) 29.07.16 16:24
(18) theRO, обработка для УТ 10.3 точно подходит для КА 1.1. Дистрибутива с КА 2.0, к сожалению, не имеется - проверить не могу.
20. Александр Потапов (tiniji) 22.08.16 07:55
На УПП 1.3 работает. Нужен был yandex.
21. Михаил Михаил (Aquashop) 06.09.16 13:29
1С:Предприятие 8.3 (8.3.8.1784) Управление торговлей, редакция 11.2 (11.2.3.177) полная версия работает корректно только нужно заменить = ОбщегоНазначения.ПолучитьЗначениеРеквизита(СсылкаНаОбъект, ИмяРеквизита); на ОбщегоНазначения.ПолучитьЗначениеРеквизитаОбъекта(СсылкаНаОбъект, ИмяРеквизита);
22. Максим *** (premier) 06.09.16 16:24
(21) Aquashop, это видимо в "тонком клиенте". В нём я не отлаживал. Спасибо за информацию об ошибке. Будет время, напишу обработку по "тонкого клиента".
23. Максим *** (premier) 06.09.16 17:07
(21) Aquashop, не в тонком клиенте дело, а в конфигурации.
Кстати, в УТ 11.2 нет в общем модуле функции ОбщегоНазначения.ПолучитьЗначениеРеквизитаОбъекта(СсылкаНаОбъект, ИмяРеквизита);
Заменил на Возврат СсылкаНаОбъект[ИмяРеквизита]; и всё заработало.