В помощь фрилансеру: парсим объявления о фрилансе и публикуем их в телеграм-канале

15.07.22

В статье приведён пример получения данных со страниц сайта (парсинг), их обработка и публикация с помощью бота в телеграм-канал - всё средствами платформы 1С.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование		По подписке [?]	Купить один файл
Конфигурация "Агрегатор объявлений для фриланса" .cf 92,11Kb ver:1 4	4	Скачать (1 SM)	Купить за 1 850 руб.

Сразу оговорюсь, парсинг сайтов средствами 1С имеет ряд ограничений (подробно описаны в этой статье):

Получение данных зависит от верстки самого сайта, если она поменяется - нужно будет изменять логику работы парсера.
Парсинг осуществляется на стороне клиента 1С, используя поле HTML документа - чтобы парсер работал постоянно, нужно будет держать открытым окно клиента 1С.

Весь алгоритм работы находится в модуле формы обработки "aggregator" и его условно можно разделить на 2 части:

Парсинг - получение данных со страниц сайта средствами поля HTML документа.
Публикация данных об объявлениях в телеграм-канеле.

Детали реализации.

Добавляем на форму поле HTML документа, устанавливаем обработчик ожидания на 5 секунд - с такой периодичностью будем загружать страницы, чтобы не получить блокировку со стороны сайта.
В обработчике ожидания загружаем страницы со списком объявлений, получаем список url всех объявлений и потом загружаем каждое новое объявление.
Загруженную страницу начинаем обрабатывать, используя css селекторы - специальные выражения, которые позволяют получить определенные элементы со страницы. Тут очень помогает dev tools браузера, формируем селекторы в нем, потом проверяем в отладчике.

Код:

	Части = Элементы.Поле.Документ.querySelectorAll("div#projects-list div.b-post");	
	Для каждого Часть Из Части Цикл
		Эл = Часть.querySelector("span.b-post__bold");
		Если Эл.innerText <> "Заказ" Тогда
			Продолжить;
		КонецЕсли;			
		URL = НРег(Часть.querySelector("h2.b-post__title a").href);
		ЗаданиеСсылка = НайтиЗаданиеПоURL(URL);
		Если ЗначениеЗаполнено(ЗаданиеСсылка) Тогда
			Прервать;
		КонецЕсли;
		НоваяСтрока = Объект.НовыеЗадания.Добавить();
		НоваяСтрока.URL = URL;
	КонецЦикла;
	
	ДобавитьНовыеЗаданияВОчередьДействий();

Полученные данные записываем в специальный справочник "Задания фриланса":

Справочник:

Публикуем данные по объявлению с помощью бота в канал телеграма. Детали создания бота и работы с api телеграм можно посмотреть тут. Сам вызов приблизительно такой:

Код:

// Работа с API Telegram

&НаСервере
Функция TelegramОтправитьЗапрос(Ресурс, Метод, ТекстЗапроса = Неопределено, Заголовки = Неопределено)
	
	Рез = Новый Структура;
	Рез.Вставить("Результат",   Неопределено);
	Рез.Вставить("ТекстОтвета", "");
	Рез.Вставить("ТекстОшибки", Неопределено);
	
	Попытка
		Если Заголовки = Неопределено Тогда
			Заголовки   = Новый Соответствие;
			Заголовки.Вставить("content-type", "application/json");
		КонецЕсли;
		
		Запрос = Новый HTTPЗапрос(Ресурс, Заголовки);
		
		Если ТипЗнч(ТекстЗапроса) = Тип("Строка") Тогда
			Запрос.УстановитьТелоИзСтроки(ТекстЗапроса);
		ИначеЕсли ТипЗнч(ТекстЗапроса) = Тип("ДвоичныеДанные") Тогда
			Запрос.УстановитьТелоИзДвоичныхДанных(ТекстЗапроса);
		КонецЕсли;
		
		Соединение = Новый HTTPСоединение("api.telegram.org", 443, , , , , Новый ЗащищенноеСоединениеOpenSSL());
		Если Метод = "POST" Тогда
			Ответ = Соединение.ОтправитьДляОбработки(Запрос);
		Иначе
			Ответ = Соединение.Получить(Запрос);
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при вызове метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Попытка
		ТекстОтвета = Ответ.ПолучитьТелоКакСтроку();
		Рез["ТекстОтвета"] = ТекстОтвета;
		
		Результат = JSONВСтруктуру(ТекстОтвета);
		Рез["Результат"] = Результат;
		
		ЕстьОшибка  = Истина;
		Если Результат.Свойство("ok") Тогда
			ЕстьОшибка = (Результат["ok"] <> Истина);
		КонецЕсли;
		
		Если ЕстьОшибка Тогда
			ТекстОшибки = "Сервер вернул ошибку: " + Символы.ПС + ТекстОтвета;
			ВызватьИсключение ТекстОшибки;
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при обработке метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Возврат Рез;
	
КонецФункции

&НаСервере
Функция TelegramОтправитьСообщение(Текст)
	
	Если НЕ ЗначениеЗаполнено(Объект.channel) ИЛИ НЕ ЗначениеЗаполнено(Объект.token) Тогда
		Возврат Истина;
	КонецЕсли;
	
	СтруктураЗапроса = Новый Структура;          
	СтруктураЗапроса.Вставить("chat_id",    Объект.channel);
	СтруктураЗапроса.Вставить("text", 	    Текст);
	СтруктураЗапроса.Вставить("parse_mode", "HTML");
	
	ТекстЗапроса = СтруктураВJSON(СтруктураЗапроса);

	Ресурс = "bot" + Объект.token + "/sendMessage?disable_web_page_preview=true";
	
	Рез = TelegramОтправитьЗапрос(Ресурс, "POST", ТекстЗапроса);
	
	Если ЗначениеЗаполнено(Рез["ТекстОшибки"]) Тогда
		Сообщить(Рез["ТекстОшибки"]);
		Возврат Ложь;
	КонецЕсли;      
	
	Возврат Истина;
	
КонецФункции

Код:

&НаСервере
Функция TelegramОтправитьЗапрос(Ресурс, Метод, ТекстЗапроса = Неопределено, Заголовки = Неопределено)
	
	Рез = Новый Структура;
	Рез.Вставить("Результат",   Неопределено);
	Рез.Вставить("ТекстОтвета", "");
	Рез.Вставить("ТекстОшибки", Неопределено);
	
	Попытка
		Если Заголовки = Неопределено Тогда
			Заголовки   = Новый Соответствие;
			Заголовки.Вставить("content-type", "application/json");
		КонецЕсли;
		
		Запрос = Новый HTTPЗапрос(Ресурс, Заголовки);
		
		Если ТипЗнч(ТекстЗапроса) = Тип("Строка") Тогда
			Запрос.УстановитьТелоИзСтроки(ТекстЗапроса);
		ИначеЕсли ТипЗнч(ТекстЗапроса) = Тип("ДвоичныеДанные") Тогда
			Запрос.УстановитьТелоИзДвоичныхДанных(ТекстЗапроса);
		КонецЕсли;
		
		Соединение = Новый HTTPСоединение("api.telegram.org", 443, , , , , Новый ЗащищенноеСоединениеOpenSSL());
		Если Метод = "POST" Тогда
			Ответ = Соединение.ОтправитьДляОбработки(Запрос);
		Иначе
			Ответ = Соединение.Получить(Запрос);
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при вызове метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Попытка
		ТекстОтвета = Ответ.ПолучитьТелоКакСтроку();
		Рез["ТекстОтвета"] = ТекстОтвета;
		
		Результат = JSONВСтруктуру(ТекстОтвета);
		Рез["Результат"] = Результат;
		
		ЕстьОшибка  = Истина;
		Если Результат.Свойство("ok") Тогда
			ЕстьОшибка = (Результат["ok"] <> Истина);
		КонецЕсли;
		
		Если ЕстьОшибка Тогда
			ТекстОшибки = "Сервер вернул ошибку: " + Символы.ПС + ТекстОтвета;
			ВызватьИсключение ТекстОшибки;
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при обработке метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Возврат Рез;
	
КонецФункции

&НаСервере
Функция TelegramОтправитьСообщение(Текст)
	
	Если НЕ ЗначениеЗаполнено(Объект.channel) ИЛИ НЕ ЗначениеЗаполнено(Объект.token) Тогда
		Возврат Истина;
	КонецЕсли;
	
	СтруктураЗапроса = Новый Структура;          
	СтруктураЗапроса.Вставить("chat_id",    Объект.channel);
	СтруктураЗапроса.Вставить("text", 	    Текст);
	СтруктураЗапроса.Вставить("parse_mode", "HTML");
	
	ТекстЗапроса = СтруктураВJSON(СтруктураЗапроса);

	Ресурс = "bot" + Объект.token + "/sendMessage?disable_web_page_preview=true";
	
	Рез = TelegramОтправитьЗапрос(Ресурс, "POST", ТекстЗапроса);
	
	Если ЗначениеЗаполнено(Рез["ТекстОшибки"]) Тогда
		Сообщить(Рез["ТекстОшибки"]);
		Возврат Ложь;
	КонецЕсли;      
	
	Возврат Истина;
	
КонецФункции

Пример сделан для парсинга одного сайта, если нужно добавить другие - это не составит особого труда.
На этом все, результат работы можно посмотреть тут.

Пример (проверено на платформе 8.3.14) сделан для парсинга одного сайта, если нужно добавить другие - это не составит особого труда.
На этом все, результат работы можно посмотреть тут.

парсинг фриланс бот телеграм канал html css selector freelance

+8 –

См. также

Service Desk Online – веб-портал для 1С ITIL, 1С ITILIUM и Управление IT-отделом 8

WEB-интеграция Администрирование веб-серверов Платные (руб)

Веб-портал обеспечивает удобный доступ к конфигурации 1С:ITIL(ИТИЛ), 1С:ITILIUM, Управление IT-отделом 8 через интернет с любого устройства посредством браузера, увеличивая эффективность работы пользователей и снижая нагрузку на сервер. Быстрая инсталляция портала за пару часов, удобный и интуитивно понятный интерфейс и безопасность данных помогут упростить работу с порталом и ускорить выполнение бизнес-процессов компании.

128000 руб.

19.12.2023 4346 5 0

Amocrm: интеграция с 1С

WEB-интеграция Анализ продаж Системный администратор Программист Пользователь Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Управленческий учет Платные (руб)

Модуль "Подсистема интеграции AmoCRM с 1С" позволяет обеспечить единое информационное пространство, в котором пользователи могут эффективно управлять клиентской базой, следить за статусами сделок и поддерживать актуальность данных как в AmoCRM, так и в 1С.

60000 руб.

07.05.2019 35837 71 45

Веб-портал "Онлайн-заказ" для 1С

Оптовая торговля Розничная торговля WEB-интеграция 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Платные (руб)

Онлайн-заказ - это решение для автоматизации процесса оформления заказов на сайте в торговых организациях. Продукт обеспечивает легкое взаимодействие между компанией и клиентами через веб-интерфейс, интегрированный с 1С:Предприятие. Система позволяет снизить операционные расходы, повысить лояльность клиентов и оптимизировать работу отдела продаж.

57600 руб.

26.11.2024 3302 3 3

Интеграция 1С с OpenCart 2.x, 3x модуль обмена данными

WEB-интеграция Оптовая торговля Розничная торговля Программист Управляемые формы 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 Розничная и сетевая торговля (FMCG) Оптовая торговля, дистрибуция, логистика Управленческий учет Платные (руб)

Модуль интеграции 1С с OpenCart 2.x, 3x позволяет обмениваться данными между OpenCart (самая популярная бесплатная cms для интернет-магазинов) и 1С:Предприятие 8.

6800 руб.

17.11.2015 123311 409 141

233

Экспортер — автоматизация выгрузки данных из 1С в Spot2D

WEB-интеграция Программист Бизнес-аналитик Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Оптовая торговля, дистрибуция, логистика ИТ-компания Платные (руб)

Модуль "Экспортер" — это расширение для 1С, предназначенное для автоматизации процессов выгрузки данных. Оно позволяет эффективно извлекать, преобразовывать и передавать данные из систем 1С в интеграционную платформу Spot2D. Подсистема упрощает настройку, снижает количество ручных операций и обеспечивает удобный контроль данных.

14400 руб.

20.12.2024 1385 9 2

Интеграция Альфа Авто 5 / Альфа Авто 6 и AUTOCRM / Инфотек

Сайты и интернет-магазины WEB-интеграция Системный администратор Программист Пользователь Платформа 1С v8.3 1C:Бухгалтерия 1С:Управление торговлей 11 Автомобили, автосервисы Россия Управленческий учет Платные (руб)

Интеграционный модуль обмена между конфигурацией Альфа Авто 5 и Альфа Авто 6 и порталом AUTOCRM. Данный модуль универсален. Позволяет работать с несколькими обменами AUTOCRM разных брендов в одной информационной базе в ручном и автоматическом режиме.

36000 руб.

03.08.2020 19669 24 24

Конструктор API для обмена базы 1С 8.3 с другими системами по протоколу http в формате JSON

WEB-интеграция Программист Руководитель проекта Платформа 1С v8.3 1C:Бухгалтерия 1С:Франчайзи, автоматизация бизнеса Платные (руб)

Расширение значительно упрощает написание API на 1С. Веб программисты получают простой и понятный доступ к 1С. Описание API создаётся автоматически и представляется в виде удобном как для человека, так и для программной обработки.

24000 руб.

27.09.2024 5535 5 2

Модуль двухсторонней интеграции 1С и Битрикс24 с возможностью отправки и обработки уведомлений через чат-бот Telegram

Сайты и интернет-магазины Интеграция WEB-интеграция Платформа 1С v8.3 1C:Бухгалтерия Управленческий учет Платные (руб)

Решение осуществляет синхронизацию задач Битрикс24 и 1С, что позволяет в одной системе ставить задачи, контролировать выполнение всего пула задач с группировкой по ответственным и проектам, формировать управленческие отчеты по работе сотрудников (загрузка, просроченные задачи), уведомлять сотрудников о ходе выполнения задач посредством чат-бот Telegram

7200 руб.

04.05.2021 21309 14 19

Комментарии

Подписаться на ответы Инфостарт бот

Свернуть все

1. malikov_pro 1333 15.07.22 22:32 Сейчас в теме

Вариант разбирать RSS, https://code.patriotovsky.ru/api-ot-fl-ru-dlya-monitoringa-novyh-proektov/

Оставьте свое сообщение

E-mail:

Автор:

Сергей Н (elcoan)

Рейтинг: 1129

Для получения уведомлений о новых публикациях автора подключите телеграм бот: Инфостарт бот

Публикация:

№ 1683704

Создание 15.07.22 11:30

Обновление 15.07.22 11:30

Статистика:

Просмотры 3457

Загрузки 4

Рейтинг 8

Комментарии 1

Характеристики:

Код открыт Да

Рубрики WEB-интеграция

Кому Программист

Тип файла Конфигурация (md, cf)

Платформа 8.3.14

Конфигурация Универсальные

Операционная система Не имеет значения

Страна Не имеет значения

Отрасль Не имеет значения

Налоги Не имеет значения

Вид учета Не имеет значения

Доступ к файлу Абонемент ($m)