В помощь фрилансеру: парсим объявления о фрилансе и публикуем их в телеграм-канале

15.07.22

–

В статье приведён пример получения данных со страниц сайта (парсинг), их обработка и публикация с помощью бота в телеграм-канал - всё средствами платформы 1С.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование		SM	По подписке [?]	Купить один файл
Конфигурация "Агрегатор объявлений для фриланса" .cf 92,11Kb 4	4	1 SM	Скачать	Купить за 1 850 руб.

Сразу оговорюсь, парсинг сайтов средствами 1С имеет ряд ограничений (подробно описаны в этой статье):

Получение данных зависит от верстки самого сайта, если она поменяется - нужно будет изменять логику работы парсера.
Парсинг осуществляется на стороне клиента 1С, используя поле HTML документа - чтобы парсер работал постоянно, нужно будет держать открытым окно клиента 1С.

Весь алгоритм работы находится в модуле формы обработки "aggregator" и его условно можно разделить на 2 части:

Парсинг - получение данных со страниц сайта средствами поля HTML документа.
Публикация данных об объявлениях в телеграм-канеле.

Детали реализации.

Добавляем на форму поле HTML документа, устанавливаем обработчик ожидания на 5 секунд - с такой периодичностью будем загружать страницы, чтобы не получить блокировку со стороны сайта.
В обработчике ожидания загружаем страницы со списком объявлений, получаем список url всех объявлений и потом загружаем каждое новое объявление.
Загруженную страницу начинаем обрабатывать, используя css селекторы - специальные выражения, которые позволяют получить определенные элементы со страницы. Тут очень помогает dev tools браузера, формируем селекторы в нем, потом проверяем в отладчике.

Код:

	Части = Элементы.Поле.Документ.querySelectorAll("div#projects-list div.b-post");	
	Для каждого Часть Из Части Цикл
		Эл = Часть.querySelector("span.b-post__bold");
		Если Эл.innerText <> "Заказ" Тогда
			Продолжить;
		КонецЕсли;			
		URL = НРег(Часть.querySelector("h2.b-post__title a").href);
		ЗаданиеСсылка = НайтиЗаданиеПоURL(URL);
		Если ЗначениеЗаполнено(ЗаданиеСсылка) Тогда
			Прервать;
		КонецЕсли;
		НоваяСтрока = Объект.НовыеЗадания.Добавить();
		НоваяСтрока.URL = URL;
	КонецЦикла;
	
	ДобавитьНовыеЗаданияВОчередьДействий();

Полученные данные записываем в специальный справочник "Задания фриланса":

Справочник:

Публикуем данные по объявлению с помощью бота в канал телеграма. Детали создания бота и работы с api телеграм можно посмотреть тут. Сам вызов приблизительно такой:

Код:

// Работа с API Telegram

&НаСервере
Функция TelegramОтправитьЗапрос(Ресурс, Метод, ТекстЗапроса = Неопределено, Заголовки = Неопределено)
	
	Рез = Новый Структура;
	Рез.Вставить("Результат",   Неопределено);
	Рез.Вставить("ТекстОтвета", "");
	Рез.Вставить("ТекстОшибки", Неопределено);
	
	Попытка
		Если Заголовки = Неопределено Тогда
			Заголовки   = Новый Соответствие;
			Заголовки.Вставить("content-type", "application/json");
		КонецЕсли;
		
		Запрос = Новый HTTPЗапрос(Ресурс, Заголовки);
		
		Если ТипЗнч(ТекстЗапроса) = Тип("Строка") Тогда
			Запрос.УстановитьТелоИзСтроки(ТекстЗапроса);
		ИначеЕсли ТипЗнч(ТекстЗапроса) = Тип("ДвоичныеДанные") Тогда
			Запрос.УстановитьТелоИзДвоичныхДанных(ТекстЗапроса);
		КонецЕсли;
		
		Соединение = Новый HTTPСоединение("api.telegram.org", 443, , , , , Новый ЗащищенноеСоединениеOpenSSL());
		Если Метод = "POST" Тогда
			Ответ = Соединение.ОтправитьДляОбработки(Запрос);
		Иначе
			Ответ = Соединение.Получить(Запрос);
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при вызове метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Попытка
		ТекстОтвета = Ответ.ПолучитьТелоКакСтроку();
		Рез["ТекстОтвета"] = ТекстОтвета;
		
		Результат = JSONВСтруктуру(ТекстОтвета);
		Рез["Результат"] = Результат;
		
		ЕстьОшибка  = Истина;
		Если Результат.Свойство("ok") Тогда
			ЕстьОшибка = (Результат["ok"] <> Истина);
		КонецЕсли;
		
		Если ЕстьОшибка Тогда
			ТекстОшибки = "Сервер вернул ошибку: " + Символы.ПС + ТекстОтвета;
			ВызватьИсключение ТекстОшибки;
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при обработке метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Возврат Рез;
	
КонецФункции

&НаСервере
Функция TelegramОтправитьСообщение(Текст)
	
	Если НЕ ЗначениеЗаполнено(Объект.channel) ИЛИ НЕ ЗначениеЗаполнено(Объект.token) Тогда
		Возврат Истина;
	КонецЕсли;
	
	СтруктураЗапроса = Новый Структура;          
	СтруктураЗапроса.Вставить("chat_id",    Объект.channel);
	СтруктураЗапроса.Вставить("text", 	    Текст);
	СтруктураЗапроса.Вставить("parse_mode", "HTML");
	
	ТекстЗапроса = СтруктураВJSON(СтруктураЗапроса);

	Ресурс = "bot" + Объект.token + "/sendMessage?disable_web_page_preview=true";
	
	Рез = TelegramОтправитьЗапрос(Ресурс, "POST", ТекстЗапроса);
	
	Если ЗначениеЗаполнено(Рез["ТекстОшибки"]) Тогда
		Сообщить(Рез["ТекстОшибки"]);
		Возврат Ложь;
	КонецЕсли;      
	
	Возврат Истина;
	
КонецФункции

Код:

&НаСервере
Функция TelegramОтправитьЗапрос(Ресурс, Метод, ТекстЗапроса = Неопределено, Заголовки = Неопределено)
	
	Рез = Новый Структура;
	Рез.Вставить("Результат",   Неопределено);
	Рез.Вставить("ТекстОтвета", "");
	Рез.Вставить("ТекстОшибки", Неопределено);
	
	Попытка
		Если Заголовки = Неопределено Тогда
			Заголовки   = Новый Соответствие;
			Заголовки.Вставить("content-type", "application/json");
		КонецЕсли;
		
		Запрос = Новый HTTPЗапрос(Ресурс, Заголовки);
		
		Если ТипЗнч(ТекстЗапроса) = Тип("Строка") Тогда
			Запрос.УстановитьТелоИзСтроки(ТекстЗапроса);
		ИначеЕсли ТипЗнч(ТекстЗапроса) = Тип("ДвоичныеДанные") Тогда
			Запрос.УстановитьТелоИзДвоичныхДанных(ТекстЗапроса);
		КонецЕсли;
		
		Соединение = Новый HTTPСоединение("api.telegram.org", 443, , , , , Новый ЗащищенноеСоединениеOpenSSL());
		Если Метод = "POST" Тогда
			Ответ = Соединение.ОтправитьДляОбработки(Запрос);
		Иначе
			Ответ = Соединение.Получить(Запрос);
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при вызове метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Попытка
		ТекстОтвета = Ответ.ПолучитьТелоКакСтроку();
		Рез["ТекстОтвета"] = ТекстОтвета;
		
		Результат = JSONВСтруктуру(ТекстОтвета);
		Рез["Результат"] = Результат;
		
		ЕстьОшибка  = Истина;
		Если Результат.Свойство("ok") Тогда
			ЕстьОшибка = (Результат["ok"] <> Истина);
		КонецЕсли;
		
		Если ЕстьОшибка Тогда
			ТекстОшибки = "Сервер вернул ошибку: " + Символы.ПС + ТекстОтвета;
			ВызватьИсключение ТекстОшибки;
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при обработке метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Возврат Рез;
	
КонецФункции

&НаСервере
Функция TelegramОтправитьСообщение(Текст)
	
	Если НЕ ЗначениеЗаполнено(Объект.channel) ИЛИ НЕ ЗначениеЗаполнено(Объект.token) Тогда
		Возврат Истина;
	КонецЕсли;
	
	СтруктураЗапроса = Новый Структура;          
	СтруктураЗапроса.Вставить("chat_id",    Объект.channel);
	СтруктураЗапроса.Вставить("text", 	    Текст);
	СтруктураЗапроса.Вставить("parse_mode", "HTML");
	
	ТекстЗапроса = СтруктураВJSON(СтруктураЗапроса);

	Ресурс = "bot" + Объект.token + "/sendMessage?disable_web_page_preview=true";
	
	Рез = TelegramОтправитьЗапрос(Ресурс, "POST", ТекстЗапроса);
	
	Если ЗначениеЗаполнено(Рез["ТекстОшибки"]) Тогда
		Сообщить(Рез["ТекстОшибки"]);
		Возврат Ложь;
	КонецЕсли;      
	
	Возврат Истина;
	
КонецФункции

Пример сделан для парсинга одного сайта, если нужно добавить другие - это не составит особого труда.
На этом все, результат работы можно посмотреть тут.

Пример (проверено на платформе 8.3.14) сделан для парсинга одного сайта, если нужно добавить другие - это не составит особого труда.
На этом все, результат работы можно посмотреть тут.

парсинг фриланс бот телеграм канал html css selector freelance

–

См. также

Интеграция 1С с OpenCart 2.x, 3x — модуль обмена данными

WEB-интеграция Оптовая торговля Розничная торговля Программист Управляемые формы 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 Розничная и сетевая торговля (FMCG) Оптовая торговля, дистрибуция, логистика Управленческий учет Платные (руб)

Модуль интеграции 1С с OpenCart 2.x, 3x позволяет обмениваться данными между OpenCart (самая популярная бесплатная cms для интернет-магазинов) и 1С:Предприятие 8.

6800 руб.

17.11.2015 117952 360 137

221

Amocrm: интеграция с 1С

Управление взаимоотношениями с клиентами (CRM) WEB-интеграция Анализ продаж Системный администратор Программист Пользователь Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Управленческий учет Платные (руб)

Подсистема интеграции Amo CRM с 1С: технические требования, порядок работы, возможности, доработки и обновления. Бесплатный период техподдержки - 1 месяц.

60000 руб.

07.05.2019 32008 62 41

Все службы доставки в Вашей 1С! Без изменения конфигурации! УТ, ERP, КА, УНФ

WEB-интеграция Рабочее место Оптовая торговля Розничная торговля Логистика, склад и ТМЦ Программист Пользователь Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

40+ служб доставки для 1С в одном модуле! Внешняя обработка, которая НЕ изменяет Вашу конфигурацию! Подписная модель на 1 год.

19200 руб.

22.03.2017 37680 17 49

Модуль для обмена "1С:Предприятие 8. УАТ. ПРОФ" с FortMonitor

WEB-интеграция 8.3.8 Конфигурации 1cv8 Автомобили, автосервисы Беларусь Украина Россия Казахстан Управленческий учет Платные (руб)

Расширение предназначено для конфигурации "1С:Предприятие 8. Управление Автотранспортом. ПРОФ". Функционал модуля: 1. Заполнение регистров сведений по подсистеме "Мониторинг", а именно: события по мониторингу, координаты по мониторингу, пробег и расход по мониторингу, текущее местоположение ТС по мониторингу 2. Заполнение путевого листа: пробег по мониторингу, время выезда/заезда, табличная часть ГСМ, места стоянок по геозонам. 3. Отчеты по данным загруженным в регистры сведений. 4. Предусмотрена автоматическая загрузка данных в фоновом режиме (условия работы данной загрузке читайте в описании товара) Модуль работает без включенной константы по настройкам мониторинга. Модуль формы предоставляется с открытым кодом, общий модуль защищен. Любой заинтересованный пользователь, имеет возможность скачать демо-версию расширения.

22656 руб.

25.05.2021 13451 39 8

Интеграция Альфа Авто 5 / Альфа Авто 6 и AUTOCRM / Инфотек

Сайты и интернет-магазины WEB-интеграция Системный администратор Программист Пользователь Платформа 1С v8.3 Конфигурации 1cv8 1С:Управление торговлей 11 Автомобили, автосервисы Россия Управленческий учет Платные (руб)

Интеграционный модуль обмена между конфигурацией Альфа Авто 5 и Альфа Авто 6 и порталом AUTOCRM. Данный модуль универсален. Позволяет работать с несколькими обменами AUTOCRM разных брендов в одной информационной базе в ручном и автоматическом режиме.

36000 руб.

03.08.2020 16861 15 19

Интеграция с сервисом vetmanager в 1С: Бухгалтерия 3.0

WEB-интеграция Программист Платформа 1С v8.3 Бухгалтерский учет 1С:Бухгалтерия 3.0 Бытовые услуги, сервис Платные (руб)

Внешняя обработка разрабатывалась для загрузки документов из Ветменеджер в 1С: Бухгалтерия 3.0

12000 руб.

02.02.2021 17094 46 49

Интеграция 1С с API СДЭК, Деловые Линии, ПЭК, Boxberry, Почта России и др. Управление доставками в 1С 8.3

WEB-интеграция Рабочее место Оптовая торговля Розничная торговля Логистика, склад и ТМЦ Пользователь Платформа 1С v8.3 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Оптовая торговля, дистрибуция, логистика Россия Управленческий учет Платные (руб)

Программный продукт "Управление доставками в 1С" позволяет обмениваться с личным кабинетом СДЭК, Деловые Линии, ПЭК, DPD, Почта России и другими транспортных компаниями. Упрощает создание заявок и резервирование заказов прямо в интерфейсе 1С

18000 руб.

10.03.2016 58946 300 97

Интеграция 1С и Битрикс 24 — модуль синхронизации для обмена задачами

Сайты и интернет-магазины Интеграция WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 Управленческий учет Платные (руб)

Интеграция 1С и Битрикс 24. Разработка имеет двухстороннюю синхронизацию 1С и Bitrix24 задачами. Решение позволяет создавать пользователя в 1С из Битрикс24 и наоборот. Данная разработка технически подходит под все основные конфигурации линейки продуктов 1С:Предприятие 8.3 (платформа начиная с 8.3.23). При приобретении предоставляется 1 месяц бесплатных обновлений разработки. Доступна демо-версия продукта с подключением Вашего Битрикс24

5040 руб.

04.05.2021 19215 10 17

Комментарии

Подписаться на ответы Инфостарт бот

Свернуть все

1. malikov_pro 1314 15.07.22 22:32 Сейчас в теме

Вариант разбирать RSS, https://code.patriotovsky.ru/api-ot-fl-ru-dlya-monitoringa-novyh-proektov/

Оставьте свое сообщение

E-mail:

Автор:

Сергей Н (elcoan)

Рейтинг: 1023

Для получения уведомлений о новых публикациях автора подключите телеграм бот: Инфостарт бот

Публикация:

№ 1683704

Создание 15.07.22 11:30

Обновление 15.07.22 11:30

Статистика:

Просмотры 3245

Загрузки 4

Рейтинг 8

Комментарии 1

Характеристики:

Код открыт Да

Рубрики WEB-интеграция

Кому Программист

Тип файла Конфигурация (md, cf)

Платформа 8.3.14

Конфигурация Не имеет значения

Операционная система Не имеет значения

Страна Не имеет значения

Отрасль Не имеет значения

Налоги Не имеет значения

Вид учета Не имеет значения

Доступ к файлу Абонемент ($m)