В помощь фрилансеру: парсим объявления о фрилансе и публикуем их в телеграм-канале

Публикация № 1683704 15.07.22

Интеграция - WEB-интеграция

Подписаться

парсинг фриланс бот телеграм канал html css selector freelance

+6 –
  • image.png
  • image.png
В статье приведён пример получения данных со страниц сайта (парсинг), их обработка и публикация с помощью бота в телеграм-канал - всё средствами платформы 1С.

Сразу оговорюсь, парсинг сайтов средствами 1С имеет ряд ограничений (подробно описаны в этой статье):

  • Получение данных зависит от верстки самого сайта, если она поменяется - нужно будет изменять логику работы парсера.
  • Парсинг осуществляется на стороне клиента 1С, используя поле HTML документа - чтобы парсер работал постоянно, нужно будет держать открытым окно клиента 1С.

Весь алгоритм работы находится в модуле формы обработки "aggregator" и его условно можно разделить на 2 части:

  1. Парсинг - получение данных со страниц сайта средствами поля HTML документа.
  2. Публикация данных об объявлениях в телеграм-канеле.

Детали реализации.

  1. Добавляем на форму поле HTML документа, устанавливаем обработчик ожидания на 5 секунд - с такой периодичностью будем загружать страницы, чтобы не получить блокировку со стороны сайта.
  2. В обработчике ожидания загружаем страницы со списком объявлений, получаем список url всех объявлений и потом загружаем каждое новое объявление.
  3. Загруженную страницу начинаем обрабатывать, используя css селекторы - специальные выражения, которые позволяют получить определенные элементы со страницы. Тут очень помогает dev tools браузера, формируем селекторы в нем, потом проверяем в отладчике.
 
 Код:
 
  1. Полученные данные записываем в специальный справочник "Задания фриланса":
 
 Справочник:

 

  1. Публикуем данные по объявлению с помощью бота в канал телеграма. Детали создания бота и работы с api телеграм можно посмотреть тут. Сам вызов приблизительно такой:
 
 Код:

 

Пример (проверено на платформе 8.3.14) сделан для парсинга одного сайта, если нужно добавить другие - это не составит особого труда.
На этом все, результат работы можно посмотреть тут. 

+6 –

Скачать файлы

Наименование Файл Версия Размер
Конфигурация "Агрегатор объявлений для фриланса"

.cf 92,11Kb
3
.cf 1 92,11Kb 3 Скачать

Специальные предложения

Оставьте свое сообщение

См. также

Перевод строк в 1С с помощью ЯндексCloud

Инструментарий разработчика WEB-интеграция 8.3.14 Конфигурации 1cv8 Россия Абонемент ($m)

Перевод строковых значений в 1С с помощью яндекс переводчика.

1 стартмани

30.01.2023    1099    0    PonomarevAR    0    

3

Интеграция 1С и Google Forms (Гугл Формы)

WEB-интеграция 8.3.14 Конфигурации 1cv8 Абонемент ($m)

Рассмотрим возможность получения ответов из Google Forms в 1С для последующей обработки и анализа.

1 стартмани

26.01.2023    2797    12    elcoan    7    

31

Интеграция 1С и Yandex Forms (Яндекс Формы)

WEB-интеграция 8.3.14 Конфигурации 1cv8 Абонемент ($m)

Рассмотрим возможность получения ответов из Yandex Forms в 1С для последующей обработки и анализа.

1 стартмани

24.01.2023    3931    6    elcoan    13    

37

Загрузка отдельного файла из zip архива, расположенного на WEB-ресурсе

Файловый обмен (TXT, XML, DBF), FTP WEB-интеграция 8.3.14 Конфигурации 1cv8 Россия Абонемент ($m)

Обработка предназначена для скачивания отдельных выбранных файлов из больших (или маленьких) ZIP архивов, расположенных на WEB - ресурсах. Работает в тонком клиенте на конфигурациях с БСП. Платформа 8.3.14.

1 стартмани

08.12.2022    1345    2    Kobra_RU    0    

8

Интеграция с сервисом Альянс Авиа для 1С:Бухгалтерии

WEB-интеграция Бухгалтерский учет 8.3.14 1С:Бухгалтерия 3.0 Транспорт, автопарки, такси Россия Бухгалтерский учет Абонемент ($m)

Интеграция с сервисом позволяет загружать операции с билетами и сами билеты в 1С:Бухгалтерию в фоновом режиме.

1 стартмани

22.11.2022    1275    0    human_new    0    

3

Видеокурс-практикум: как подготовить и написать ТЗ, ЗНР, ЧТЗ. Промо

В курсе обобщен опыт работы аналитика на проектах в течение пяти лет, в нескольких фирмах. Подходы к написанию документов унифицированы и по возможности не привязаны к конфигурациям 1С.

3 500 рублей

Хранение полезных интернет ссылок в 1С

Адаптация типовых решений WEB-интеграция 8.3.14 1С:Бухгалтерия 3.0 Россия Абонемент ($m)

Приходится вести учет и постоянно искать в интернете реквизиты налоговой и прочее и постоянно забываю, откуда в прошлый раз что доставал.

1 стартмани

17.11.2022    1661    3    human_new    8    

6

Получение/отправка сообщений RabbitMQ через REST API

WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Простой пример получения и отправки сообщений в брокер сообщений RabbitMQ через REST API из 1С без сторонних компонент и middleware.

1 стартмани

23.09.2022    6245    17    NikeeNik    16    

44

Автоматическая передача остатков в HOFF через JSON

Оптовая торговля WEB-интеграция 8.3.14 1С:Управление торговлей 11 Оптовая торговля, дистрибуция, логистика Управленческий учет Абонемент ($m)

Обработка для автоматической передачи остатков товаров на маркетплейс HOFF через API / JSON - Список товаров определяется значениями двух дополнительных реквизитов - продается в HOFF и в код номенклатуры HOFF, которые нужно установить самостоятельно - Поддерживается передача остатков с нескольких складов и нескольких комиссионеров.

1 стартмани

06.09.2022    1907    4    yam    5    

1

Выгрузка из УТ 11.5 на Авито с отборами и остатками в объявлении

Оптовая торговля Розничная торговля WEB-интеграция 8.3.14 8.3.6 8.3.8 Конфигурации 1cv8 Россия Абонемент ($m)

Помогает быстро зайти с каталогом и оперативно управлять каталогом объявлений на авито.

1 стартмани

15.08.2022    2117    3    Pass2    0    

3

#KafkaЭтоПросто: Kafka Adapter 1С (Confluent) - отправляем сообщения

Инструментарий разработчика Внешние источники данных WEB-интеграция Платформа 1С v8.3 Абонемент ($m)

Сегодня поднимем в docker kafka с confluent'om, а в 1С, в EDT загрузим проект из репозитория, создадим обработку, в которой несколькими строчками отправим сообщение в kafka через rest proxy и в confluent control center посмотрим на него. Если коротко, то: как отправить сообщение в Kafka несколькими строчками кода без компонент, регистраций и смс.

5 стартмани

24.07.2022    7989    21    huxuxuya    29    

75

Программы для исполнения 488-ФЗ: Маркировка товаров Промо

1 января 2019 года вступил в силу ФЗ от 25.12.2018 № 488-ФЗ о единой информационной системе маркировки товаров с использованием контрольных (идентификационных) знаков, который позволяет проследить движение товара от производителя до конечного потребителя. Инфостарт предлагает подборку программ, связанных с применением 488-ФЗ и маркировкой товаров.

Распознавание текста из изображений и PDF с помощью нейросетей Yandex Vision и 1С

Обработка документов WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Если вам нужно с помощью компьютерного зрения от Yandex быстро распознавать текст из документов и изображений, эта статья для вас!

5 стартмани

13.07.2022    7728    9    kiv1c    5    

35

Расширение для 1С:Бухгалтерия предприятия 3.0, реализующее отслеживание статусов самозанятых.

WEB-интеграция Адаптация типовых решений 8.3.14 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Абонемент ($m)

Расширение для конфигурации 1С:БП 3.0 позволяющее ежедневно мониторить состояние самозанятых, хранить историю статусов, выводить в отчет актуальное состояние, запрашивать индивидуально по выбранному контрагенту (самозанятому) его статус.

1 стартмани

20.06.2022    1964    4    sergling    1    

1

Api идеи для начинающих

WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 Россия Абонемент ($m)

Данная обработка подойдет тем, кто только начинает знакомиться с механизмами api в 1С. В обработке представлены взаимодействия с 12 простыми сайтами на примерах. Решения не затрагивают полной документации, а носят лишь ознакомительный характер. Делал на платформе 8.3.20.

1 стартмани

16.06.2022    8756    25    user676027_svikator    5    

70

Работа с крипто провайдером Узбекистана e-imzo.uz (Web-Socket)

WEB-интеграция Платформа 1С v8.3 8.3.14 Конфигурации 1cv8 Узбекистан Абонемент ($m)

Внешняя обработка для работы из 1С с крипто провайдером Узбекистана. Потребность возникла в изучении вопроса, из-за отсутствия примеров интеграции с поставщиком электронных цифровых подписей в Узбекистане. Разработчик предоставляет пример интеграции, размещенный на их ресурсе. Но чтобы упростить работу с используемым Web Socket, пришлось написать компоненту и обработку.

1 стартмани

10.06.2022    2650    4    AlexPAS    5    

5

Заполнение контрагентов по ИНН для УТ 10.3

Обработка справочников WEB-интеграция Платформа 1С v8.3 1С:Управление торговлей 10 Россия Абонемент ($m)

Заполнение контрагентов по ИНН (1С: Управление торговлей 10.3).

6 стартмани

17.05.2022    5842    35    kostyan7    20    

1

1СПАРК РИСКИ. Сервис оценки благонадежности контрагентов. Промо

СПАРК помогает предотвратить мошенничество со стороны компаний и предпринимателей, благодаря актуальным сведениям о компаниях и системе выявления факторов риска.Сервис позволяет управлять налоговыми рисками и комплексно оценивать благонадежность контрагентов.

Делаем табло в обозревателе из 1Ски с нуля за полчаса. Без бутстрапов, реактов и ангуляров. Жизнетрюки от kuzkov.info

Разработка внешних компонент WEB-интеграция Платформа 1С v8.3 Абонемент ($m)

На Инфостарте много разработок, которые предназначены для отображения в обозревателе данных на связи из 1С. С разными способами подключения, на разных технологиях. Есть платные, есть бесплатные. В данной публикации я хочу показать, как можно сделать сопряжение 1С обозреватель своими 1Сными силами с базовыми навыками верстки с нуля за полчаса и бесплатно.

1 стартмани

02.05.2022    8103    124    Steelvan    0    

66

Обмен данными с Web-сервисами

WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 Россия Абонемент ($m)

Обработка предназначена для быстрой настройки обмена данными с Web-сервисами из пользовательского интерфейса.

10 стартмани

29.04.2022    5958    33    ns_bulatov    4    

37

СБП плати QR (от Сбербанка) для 1С (обычные и управляемые формы)

Банковские операции Розничная торговля WEB-интеграция Эквайринг/ридер магнитных карт Платформа 1С v8.3 1С:Управление торговлей 10 1С:Розница 1С:Управление нашей фирмой 1.6 1С:Управление торговлей 11 Россия Абонемент ($m)

Внешняя обработка для реализации системы Плати QR в системе 1С.

3 стартмани

08.04.2022    15281    196    S_Morozov    110    

36

Определение вхождения координат в заданную область на карте OSM. Взаимодействие JavaScript и 1С

WEB-интеграция 8.3.14 Конфигурации 1cv8 Абонемент ($m)

Доброго времени суток! Данная обработка является демонстративным решением, позволяющим реализовать проверку вхождения указанной на карте точки в область с заданным радиусом охвата.

1 стартмани

04.03.2022    3740    5    Woody56RF    3    

11

Автоматизация REST интеграций

WEB-интеграция 8.3.14 Конфигурации 1cv8 Россия Абонемент ($m)

В статье рассмотрен функционал разработанного мною расширения, которое помогает ускорить разработку интеграций. Помимо общего описания функционала будут приведены примеры разработки нескольких обменов, представляющих собой наиболее типовые задачи.

5 стартмани

18.02.2022    7563    13    kirflaer    3    

59

Готовые переносы данных из различных конфигураций 1C Промо

Рекомендуем готовые решения для переноса данных из различных конфигураций 1C. C техподдержкой от разработчиков и гарантией от Инфостарт.

Сервис push-уведомлений для 1С (Push Notification Service For 1C - PNS4OneS)

WEB-интеграция Платформа 1С v8.3 Абонемент ($m)

Сервис предназначен для передачи сообщений от сервера 1С клиентским сеансам. В простом случае полученное сообщение отображается у клиента в виде всплывающего окна (процедура 1С ПоказатьОповещениеПользователя). С использованием данного сервиса можно оповещать пользователей о новых задачах, полученных электронных письмах, менеджеров о новых заказах, загруженных с сайта и т. п. Дополнительно имеется возможность передавать произвольные данные и обрабатывать самостоятельно полученные сообщения на клиенте, что позволяет реализовать более сложные сценарии (чаты, отображение прогресса длительной операции на сервере и т. п.).

1 стартмани

02.02.2022    12236    38    ltfriend    9    

87

Создание интерактивных обучающих курсов с помощью Vanessa Interactive

Инструментарий разработчика WEB-интеграция Идеи и тренды в разработке Платформа 1С v8.3 Конфигурации 1cv8 Россия Абонемент ($m)

Приветствую Вас, коллеги. Сегодня Вам предлагается рассмотреть технологию создания интерактивных обучающих курсов, системы Onboarding, интерактивной справки для любых конфигураций разработанных на базе платформы 1С при работе в web клиенте. Прошу посмотреть ролик, кому неинтересно, как это работает, можно дальше не читать. Тестировалось на 1С:Предприятие 8.3 (8.3.20.1646).

1 стартмани

02.02.2022    6531    1    Viktor_Ermakov    2    

34

Создание простых сайтов на основе http сервисов - tips and tricks

WEB-интеграция Платформа 1С v8.3 Абонемент ($m)

Универсальный метод, html шаблоны, страницы с авторизацией и без, многоязычность, страница авторизации, etc.

1 стартмани

22.01.2022    8524    11    vl-sher1    29    

38

Просмотр полученных данных с API Yahoo Finance

WEB-интеграция 8.3.14 Конфигурации 1cv8 Финансовые услуги, инвестиции Абонемент ($m)

Внешняя обработка для просмотра информации о финансовых активах, которую можно получить с помощью API Yahoo Finance.

1 стартмани

17.01.2022    3177    1    RomikMf    4    

2

Работа с сайтом "Первая и самая полная поисковая система тендеров и закупок России и СНГ" BiCo (Business Connect)

Оптовая торговля WEB-интеграция 8.3.14 1С:Управление торговлей 11 Россия Управленческий учет Абонемент ($m)

Решение на платформе 1С:Предприятие для начала автоматизации тендерного отдела. Расширение предназначено для участников тендеров, выступающих в качестве потребителя товаров и услуг. УТ 11.

2 стартмани

23.12.2021    3269    3    babys    0    

2

Программы для исполнения 54-ФЗ Промо

С 01.02.2017 контрольно-кассовая техника должна отправлять электронные версии чеков оператору фискальных данных - правила установлены в 54-ФЗ ст.2 п.2. Инфостарт предлагает подборку программ, связанных с применением 54-ФЗ, ККТ и электронных чеков.

Личный кабинет - делаем сайт с помощью 1С

WEB-интеграция Работа с интерфейсом 8.3.14 Конфигурации 1cv8 Абонемент ($m)

Пример создания современного сайта, серверная часть которого написана полностью на 1С.

1 стартмани

30.11.2021    15192    111    elcoan    41    

108

Интеграция с UDS Game для Розницы 2

Розничная торговля WEB-интеграция 8.3.14 1С:Розница Розничная и сетевая торговля (FMCG) Россия Управленческий учет Абонемент ($m)

Интеграция с UDS Game для Розницы 2.3.10. Две версии: 1. Учет всех товаров; 2. Не учитывается табак.

7 стартмани

24.11.2021    3894    9    Mopnex03    2    

1

Работаем с HTTP сервисами 1С. MVC, Twig и прочие радости Web разработчика

WEB-интеграция 8.3.14 Конфигурации 1cv8 Абонемент ($m)

На Инфостарте уже достаточно много статей о том, как начать пользоваться HTTP сервисами и как сделать "Hello world" на странице браузера средствами 1С. Но что дальше? Если вы пробовали сделать хотя бы небольшой сайт в 1С - наверняка знаете, с какими сложностями можно столкнуться. Понимая все эти нюансы разработки сайтов в 1С, у меня и поселилась идея сделать эту разработку. Эдакое превращение разработки HTML страниц средствами 1С в полноценное MVC

1 стартмани

09.11.2021    5491    6    opx    5    

19

HTTP-сервис получения остатков и цен по штрихкодам

WEB-интеграция 8.3.14 8.3.8 1С:Розница 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Розничная и сетевая торговля (FMCG) Оптовая торговля, дистрибуция, логистика Управленческий учет Абонемент ($m)

Расширение с HTTP сервисом получения остатков и цен из базы в сжатом виде (для уменьшения объёма данных).

5 стартмани

25.08.2021    4166    4    cloud666    0    

3

Редактирование и публикация товарных предложений из 1С на сайт Юла (youla.ru)

WEB-интеграция 8.3.14 1С:Управление нашей фирмой 1.6 Абонемент ($m)

Внешняя обработка, которая позволяет опубликовать товары на площадке Юла (youla.ru) сразу из системы 1С. Используется механизм загрузки товаров через файл YML с полной поддержкой категорий, свойств и значений товаров из каждой категории.

1 стартмани

06.08.2021    5161    2    elcoan    0    

3

Распознавание и загрузка документов в 1С Промо

Универсальная программа-обработка для распознавания любых сканов или фото первичных документов в 1С (счета-фактуры, УПД, ТТН, акты и тд). Точность распознания до 98%.

от 11 рублей

Интеграция 1С и Viber с помощью API

WEB-интеграция 8.3.14 Конфигурации 1cv8 Абонемент ($m)

Внешняя обработка и расширение для тестирования интеграции с Viber, реализованы базовые методы отправить сообщение, отправить файл, получить сообщения. Подойдет в качестве основы для дальнейшего развития.

16.07.2021    9145    37    elcoan    23    

19

Выгрузка остатков на сервис INSCOM

Учет ТМЦ Загрузка и выгрузка в Excel WEB-интеграция Платформа 1С v8.3 8.3.14 1С:Управление торговлей 11 Россия Абонемент ($m)

Обработка для выгрузки отчета остатков в формате CSV для сервиса "INSCOM". Работает на УТ 11.4 Дописок базы не требует, в рамках штатной конфигурации.

2 стартмани

16.06.2021    4444    0    hottion    0    

1

Расчет расстояния от МКАД

WEB-интеграция Платформа 1С v8.3 Управляемые формы 8.3.14 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 Россия Управленческий учет Абонемент ($m)

Обработка определяет, находится ли адрес доставки внутри или вне МКАД, и если вне, то строит маршрут и считает расстояние от ближайшего съезда со МКАД до адреса доставки.

1 стартмани

30.04.2021    5578    2    Torin99    4    

4

Выполнение задач через браузер в КА, ERP, ЗУП и БП (расширение)

Управление проектом (PMO, EPM) WEB-интеграция Платформа 1С v8.3 8.3.14 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Управленческий учет Абонемент ($m)

Расширение позволяет с помощью http сервиса выполнять простые задачи в браузере из КА 2, ERP 2, ЗУП 3 и БП 3. Стояла задача: руководителям оперативно выполнять задачи по согласованию, от мобильного приложения отказались, т.к. у всех разные телефоны и сложности сборки, в частности, для IOS. Решили делать через http сервис, который реализует веб-морду по просмотру и выполнению задач. Расширение может использоваться как готовое (проверял на демо базах работу), так и как основа для доработки под свои нужды.

2 стартмани

13.04.2021    5576    2    77dream77    2    

1

Расширение конфигурации для Web-доступа к 1С (1С в роли back-end)

WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 Россия Абонемент ($m)

Для реализации того, чтобы 1С формировала и отдавала страницу, которую можно было бы открыть через браузер было написано расширение, которое позволяет публиковать из 1С произвольные ресурсы, будь то API, сайт или изображения / прочие файлы.

1 стартмани

01.04.2021    17658    20    SaschaG    4    

64

Работа с 1С:Аналитика Промо

Онлайн-курс предусматривает изучение возможностей системы “1С:Аналитика”, которая работает как составная часть платформы “1С:Предприятие” и обеспечивает оперативный просмотр и анализ необходимых данных.

4500 рублей

Работа с картами в 1С на примере бесплатной библиотеки Leaflet

WEB-интеграция Работа с интерфейсом Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Разработка функционала отображения и выбора пунктов доставки на карте прямо в 1С с помощью бесплатной библиотеки Leaflet. Тестирование производилось на платформе 8.3.15.1534 на тонком клиенте.

1 стартмани

31.03.2021    23497    70    Parsec1C    20    

80

Отправка Push-уведомлений через сервис Firebase Cloud Messaging по протоколу FCM HTTP v1 API

WEB-интеграция Платформа 1С v8.3 Абонемент ($m)

При разработке нативного приложения Android для ТСД, в котором присутствует функционал отображения задач кладовщикам, созданных в 1С, возникла необходимость отправлять push-уведомления о появлении новых задач. Для отправки таких уведомлений было решено использовать сервис Firebase Cloud Messaging (FCM). Так как для 1С, в отличии от других языков программирования, не существует готовых библиотек, что вполне логично, то очевидным способом отправки является использование протокола HTTP. Однако, существующая информация в интернете в части 1С содержит только сведений об отправке push-уведомлений через этот сервис с использованием устаревшего протокола HTTP Firebase Cloud Messaging. Сам Google не рекомендует использовать данный протокол и настоятельно склоняет к переходу на новый протокол FCM HTTP v1 API. Что ж, пришлось разбираться самостоятельно.

1 стартмани

24.03.2021    17885    27    ltfriend    16    

34

Загрузка курсов валюта с сайта НБРБ для конфигураций "Управление торговлей для Беларуси 3.4" и "Бухгалтерия для Беларуси 2.1"

Банковские операции WEB-интеграция 8.3.14 Конфигурации 1cv8 Беларусь Бухгалтерский учет Управленческий учет Абонемент ($m)

Расширение по загрузке курсов валют с сайта НБРБ. Не требуется подключение к сервисам!

1 стартмани

12.03.2021    4539    0    Serega456    0    

1

Очередная попытка взаимодействия с JavaScript из клиента 1С. Расширение "Подключаемые Скрипты"

WEB-интеграция 8.3.14 Конфигурации 1cv8 Абонемент ($m)

Хотелось бы поделиться своими наработками в части использования возможностей HTML + JS из клиента 1С. Показанная в статье идея будет интересна тем, кто использует карты Yandex... или ещё какие-нибудь HTML извращения в конфигурациях 1С. Тестировал подход в тонком клиенте на версии платформы 8.3.18.1289, но должно работать на любой 8.3.14+ (движок webkit).

1 стартмани

09.02.2021    17679    41    savelievD    28    

68

api query (данные 1С там, где они действительно нужны)

WEB-интеграция 8.3.14 Конфигурации 1cv8 Абонемент ($m)

Данные в excel из 1С, просто и быстро, альтернатива "OData".

10 стартмани

09.02.2021    6238    3    Legavaz    0    

3