В помощь фрилансеру: парсим объявления о фрилансе и публикуем их в телеграм-канале

15.07.22

–

В статье приведён пример получения данных со страниц сайта (парсинг), их обработка и публикация с помощью бота в телеграм-канал - всё средствами платформы 1С.

Скачать исходный код

	Наименование	Файл	Версия	Размер
	Конфигурация "Агрегатор объявлений для фриланса" .cf 92,11Kb 4	.cf	1	92,11Kb	4	Скачать

Сразу оговорюсь, парсинг сайтов средствами 1С имеет ряд ограничений (подробно описаны в этой статье):

Получение данных зависит от верстки самого сайта, если она поменяется - нужно будет изменять логику работы парсера.
Парсинг осуществляется на стороне клиента 1С, используя поле HTML документа - чтобы парсер работал постоянно, нужно будет держать открытым окно клиента 1С.

Весь алгоритм работы находится в модуле формы обработки "aggregator" и его условно можно разделить на 2 части:

Парсинг - получение данных со страниц сайта средствами поля HTML документа.
Публикация данных об объявлениях в телеграм-канеле.

Детали реализации.

Добавляем на форму поле HTML документа, устанавливаем обработчик ожидания на 5 секунд - с такой периодичностью будем загружать страницы, чтобы не получить блокировку со стороны сайта.
В обработчике ожидания загружаем страницы со списком объявлений, получаем список url всех объявлений и потом загружаем каждое новое объявление.
Загруженную страницу начинаем обрабатывать, используя css селекторы - специальные выражения, которые позволяют получить определенные элементы со страницы. Тут очень помогает dev tools браузера, формируем селекторы в нем, потом проверяем в отладчике.

Код:

	Части = Элементы.Поле.Документ.querySelectorAll("div#projects-list div.b-post");	
	Для каждого Часть Из Части Цикл
		Эл = Часть.querySelector("span.b-post__bold");
		Если Эл.innerText <> "Заказ" Тогда
			Продолжить;
		КонецЕсли;			
		URL = НРег(Часть.querySelector("h2.b-post__title a").href);
		ЗаданиеСсылка = НайтиЗаданиеПоURL(URL);
		Если ЗначениеЗаполнено(ЗаданиеСсылка) Тогда
			Прервать;
		КонецЕсли;
		НоваяСтрока = Объект.НовыеЗадания.Добавить();
		НоваяСтрока.URL = URL;
	КонецЦикла;
	
	ДобавитьНовыеЗаданияВОчередьДействий();

Полученные данные записываем в специальный справочник "Задания фриланса":

Справочник:

Публикуем данные по объявлению с помощью бота в канал телеграма. Детали создания бота и работы с api телеграм можно посмотреть тут. Сам вызов приблизительно такой:

Код:

// Работа с API Telegram

&НаСервере
Функция TelegramОтправитьЗапрос(Ресурс, Метод, ТекстЗапроса = Неопределено, Заголовки = Неопределено)
	
	Рез = Новый Структура;
	Рез.Вставить("Результат",   Неопределено);
	Рез.Вставить("ТекстОтвета", "");
	Рез.Вставить("ТекстОшибки", Неопределено);
	
	Попытка
		Если Заголовки = Неопределено Тогда
			Заголовки   = Новый Соответствие;
			Заголовки.Вставить("content-type", "application/json");
		КонецЕсли;
		
		Запрос = Новый HTTPЗапрос(Ресурс, Заголовки);
		
		Если ТипЗнч(ТекстЗапроса) = Тип("Строка") Тогда
			Запрос.УстановитьТелоИзСтроки(ТекстЗапроса);
		ИначеЕсли ТипЗнч(ТекстЗапроса) = Тип("ДвоичныеДанные") Тогда
			Запрос.УстановитьТелоИзДвоичныхДанных(ТекстЗапроса);
		КонецЕсли;
		
		Соединение = Новый HTTPСоединение("api.telegram.org", 443, , , , , Новый ЗащищенноеСоединениеOpenSSL());
		Если Метод = "POST" Тогда
			Ответ = Соединение.ОтправитьДляОбработки(Запрос);
		Иначе
			Ответ = Соединение.Получить(Запрос);
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при вызове метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Попытка
		ТекстОтвета = Ответ.ПолучитьТелоКакСтроку();
		Рез["ТекстОтвета"] = ТекстОтвета;
		
		Результат = JSONВСтруктуру(ТекстОтвета);
		Рез["Результат"] = Результат;
		
		ЕстьОшибка  = Истина;
		Если Результат.Свойство("ok") Тогда
			ЕстьОшибка = (Результат["ok"] <> Истина);
		КонецЕсли;
		
		Если ЕстьОшибка Тогда
			ТекстОшибки = "Сервер вернул ошибку: " + Символы.ПС + ТекстОтвета;
			ВызватьИсключение ТекстОшибки;
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при обработке метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Возврат Рез;
	
КонецФункции

&НаСервере
Функция TelegramОтправитьСообщение(Текст)
	
	Если НЕ ЗначениеЗаполнено(Объект.channel) ИЛИ НЕ ЗначениеЗаполнено(Объект.token) Тогда
		Возврат Истина;
	КонецЕсли;
	
	СтруктураЗапроса = Новый Структура;          
	СтруктураЗапроса.Вставить("chat_id",    Объект.channel);
	СтруктураЗапроса.Вставить("text", 	    Текст);
	СтруктураЗапроса.Вставить("parse_mode", "HTML");
	
	ТекстЗапроса = СтруктураВJSON(СтруктураЗапроса);

	Ресурс = "bot" + Объект.token + "/sendMessage?disable_web_page_preview=true";
	
	Рез = TelegramОтправитьЗапрос(Ресурс, "POST", ТекстЗапроса);
	
	Если ЗначениеЗаполнено(Рез["ТекстОшибки"]) Тогда
		Сообщить(Рез["ТекстОшибки"]);
		Возврат Ложь;
	КонецЕсли;      
	
	Возврат Истина;
	
КонецФункции

Код:

&НаСервере
Функция TelegramОтправитьЗапрос(Ресурс, Метод, ТекстЗапроса = Неопределено, Заголовки = Неопределено)
	
	Рез = Новый Структура;
	Рез.Вставить("Результат",   Неопределено);
	Рез.Вставить("ТекстОтвета", "");
	Рез.Вставить("ТекстОшибки", Неопределено);
	
	Попытка
		Если Заголовки = Неопределено Тогда
			Заголовки   = Новый Соответствие;
			Заголовки.Вставить("content-type", "application/json");
		КонецЕсли;
		
		Запрос = Новый HTTPЗапрос(Ресурс, Заголовки);
		
		Если ТипЗнч(ТекстЗапроса) = Тип("Строка") Тогда
			Запрос.УстановитьТелоИзСтроки(ТекстЗапроса);
		ИначеЕсли ТипЗнч(ТекстЗапроса) = Тип("ДвоичныеДанные") Тогда
			Запрос.УстановитьТелоИзДвоичныхДанных(ТекстЗапроса);
		КонецЕсли;
		
		Соединение = Новый HTTPСоединение("api.telegram.org", 443, , , , , Новый ЗащищенноеСоединениеOpenSSL());
		Если Метод = "POST" Тогда
			Ответ = Соединение.ОтправитьДляОбработки(Запрос);
		Иначе
			Ответ = Соединение.Получить(Запрос);
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при вызове метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Попытка
		ТекстОтвета = Ответ.ПолучитьТелоКакСтроку();
		Рез["ТекстОтвета"] = ТекстОтвета;
		
		Результат = JSONВСтруктуру(ТекстОтвета);
		Рез["Результат"] = Результат;
		
		ЕстьОшибка  = Истина;
		Если Результат.Свойство("ok") Тогда
			ЕстьОшибка = (Результат["ok"] <> Истина);
		КонецЕсли;
		
		Если ЕстьОшибка Тогда
			ТекстОшибки = "Сервер вернул ошибку: " + Символы.ПС + ТекстОтвета;
			ВызватьИсключение ТекстОшибки;
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при обработке метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Возврат Рез;
	
КонецФункции

&НаСервере
Функция TelegramОтправитьСообщение(Текст)
	
	Если НЕ ЗначениеЗаполнено(Объект.channel) ИЛИ НЕ ЗначениеЗаполнено(Объект.token) Тогда
		Возврат Истина;
	КонецЕсли;
	
	СтруктураЗапроса = Новый Структура;          
	СтруктураЗапроса.Вставить("chat_id",    Объект.channel);
	СтруктураЗапроса.Вставить("text", 	    Текст);
	СтруктураЗапроса.Вставить("parse_mode", "HTML");
	
	ТекстЗапроса = СтруктураВJSON(СтруктураЗапроса);

	Ресурс = "bot" + Объект.token + "/sendMessage?disable_web_page_preview=true";
	
	Рез = TelegramОтправитьЗапрос(Ресурс, "POST", ТекстЗапроса);
	
	Если ЗначениеЗаполнено(Рез["ТекстОшибки"]) Тогда
		Сообщить(Рез["ТекстОшибки"]);
		Возврат Ложь;
	КонецЕсли;      
	
	Возврат Истина;
	
КонецФункции

Пример сделан для парсинга одного сайта, если нужно добавить другие - это не составит особого труда.
На этом все, результат работы можно посмотреть тут.

Пример (проверено на платформе 8.3.14) сделан для парсинга одного сайта, если нужно добавить другие - это не составит особого труда.
На этом все, результат работы можно посмотреть тут.

парсинг фриланс бот телеграм канал html css selector freelance

–

См. также

Интеграция Альфа Авто 5 / Альфа Авто 6 и AUTOCRM / Инфотек

Сайты и интернет-магазины WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 1С:Управление торговлей 11 Автомобили, автосервисы Россия Управленческий учет Платные (руб)

Интеграционный модуль обмена между конфигурацией Альфа Авто 5 и Альфа Авто 6 и порталом AUTOCRM. Данный модуль универсален. Позволяет работать с несколькими обменами AUTOCRM разных брендов в одной информационной базе в ручном и автоматическом режиме.

36000 руб.

03.08.2020 15983 13 18

Управление доставками Boxberry, СДЭК, ЭкстраПочта, Почта России, Энергия, DPD, ПЭК, Grastin, Деловые Линии, КСЕ, Dalli

WEB-интеграция Рабочее место Оптовая торговля Розничная торговля Логистика, склад и ТМЦ Платформа 1С v8.3 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Оптовая торговля, дистрибуция, логистика Россия Управленческий учет Платные (руб)

Программный продукт "Управление доставками в 1С" позволяет обмениваться с личным кабинетом СДЭК, Деловые Линии, ПЭК, DPD, Почта России и другими транспортных компаниями. Упрощает создание заявок и резервирование заказов прямо в интерфейсе 1С

18000 руб.

10.03.2016 56898 292 97

Интеграция 1С — Битрикс24. Обмен задачами

Сайты и интернет-магазины Интеграция WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 Управленческий учет Платные (руб)

Интеграция 1С и Битрикс24. Разработка имеет двухстороннюю синхронизацию 1С и Битрикс24 задачами. Решение позволяет создавать пользователя в 1С из Битрикс24 и наоборот. Данная разработка технически подходит под все основные конфигурации линейки продуктов 1С:Предприятие 8.3 (8.3.18.1289). При приобретении предоставляется 1 месяц бесплатных обновлений разработки. Доступна демо-версия продукта с подключением Вашего Битрикс24

5040 руб.

04.05.2021 17980 9 15

Все службы доставки в Вашей 1С! Без изменения конфигурации! УТ, ERP, КА, УНФ

WEB-интеграция Рабочее место Оптовая торговля Розничная торговля Логистика, склад и ТМЦ Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

40+ служб доставки для 1С в одном модуле! Внешняя обработка, которая НЕ изменяет Вашу конфигурацию! Подписная модель на 1 год.

19200 руб.

22.03.2017 36559 16 47

Интеграция с OpenCart 2.x, 3x

WEB-интеграция Оптовая торговля Розничная торговля Управляемые формы 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 Розничная и сетевая торговля (FMCG) Оптовая торговля, дистрибуция, логистика Управленческий учет Платные (руб)

Внешняя обработка, позволяет обмениваться данными между OpenCart (самая популярная бесплатная cms для интернет-магазинов) и 1С:Предприятие 8.

6800 руб.

17.11.2015 116188 345 137

214

SALE! 10%

Автоматическая загрузка файлов (например, прайс-листов) из электронной почты, FTP, HTTP, их обработка и выгрузка на FTP (на сайт) и для других целей

Прайсы WEB-интеграция Ценообразование, анализ цен Файловый обмен (TXT, XML, DBF), FTP Автомобили, автосервисы Оптовая торговля, дистрибуция, логистика Управленческий учет Платные (руб)

Программа с заданным интервалом времени (или по ручной команде) скачивает файлы (например, прайс-листы поставщиков) из различных источников: письма электронной почты, FTP или HTTP-адреса, и сохраняет их в каталог упорядоченной структуры. При этом извлекает файлы из архивов, может переименовывать файлы и менять их формат (csv, xls, txt). Можно настроить выгрузку обработанных файлов на сайт (через FTP-подключение). Программа будет полезна компаниям, у которых есть большое количество поставщиков и/или прайс-листы поставщиков обновляются часто (необязательно прайс-листы, файлы могут быть любого назначения). Собранные таким образом актуальные версии прайс-листов можно выгрузить с помощью программы себе на сайт (или на любой FTP-сервер) или выполнить другие необходимые задачи.

~~28000~~ 25200 руб.

28.05.2015 84989 26 51

Заполнение по ИНН или наименованию реквизитов контрагента по данным сайта ФНС

Обмен с ГосИС WEB-интеграция Платформа 1С v8.3 Управляемые формы 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия государственного учреждения 1С:Документооборот 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Обработка является альтернативой механизму, разработанному фирмой 1С и заполняющему реквизиты контрагента по ИНН или наименованию. Не требуется действующей подписки ИТС. Вызывается как внешняя дополнительная обработка, т.е. используется, непосредственно, из карточки контрагента. Заполнение по ИНН или наименованию реквизитов контрагента по данным сайта ФНС (egrul.nalog.ru) для БП 2.0, БП 3.0, БГУ 1.0, БГУ 2.0, УТ 10.3, УТ 11.x, КА 1.1, КА 2.x, УПП 1.x, ERP 2.x, УНФ 1.5, УНФ 1.6, УНФ 3.0, ДО 2.1

2400 руб.

28.04.2016 89129 163 216

320

[Расширение] БОР-Навигатор.Культура

Зарплата Бюджетный учет WEB-интеграция Обмен с ГосИС Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бюджетный учет Платные (руб)

Расширение конфигурации, включающее в себя объекты, необходимые для подготовки и сдачи отчета "Штатная численность" системы "БОР-Навигатор.Культура" в программе "1С:Зарплата и кадры государственного учреждения", редакция 3.1.

8400 руб.

01.02.2019 25901 9 0

Комментарии

Подписаться на ответы Инфостарт бот

Свернуть все

1. malikov_pro 1294 15.07.22 22:32 Сейчас в теме

Вариант разбирать RSS, https://code.patriotovsky.ru/api-ot-fl-ru-dlya-monitoringa-novyh-proektov/

Оставьте свое сообщение

E-mail:

Автор:

Сергей Н (elcoan)

Рейтинг: 1003

Для получения уведомлений о новых публикациях автора подключите телеграм бот: Инфостарт бот

Публикация:

№ 1683704

Создание 15.07.22 11:30

Обновление 15.07.22 11:30

Статистика:

Просмотры 3151

Загрузки 4

Рейтинг 8

Комментарии 1

Характеристики:

Код открыт Да

Рубрики WEB-интеграция

Кому Программист

Тип файла Конфигурация (md, cf)

Платформа 8.3.14

Конфигурация Не имеет значения

Операционная система Не имеет значения

Страна Не имеет значения

Отрасль Не имеет значения

Налоги Не имеет значения

Вид учета Не имеет значения

Доступ к файлу Абонемент ($m)