В помощь фрилансеру: парсим объявления о фрилансе и публикуем их в телеграм-канале

15.07.22

В статье приведён пример получения данных со страниц сайта (парсинг), их обработка и публикация с помощью бота в телеграм-канал - всё средствами платформы 1С.

Файлы

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование	Скачано	Купить файл	По подписке PRO
Конфигурация "Агрегатор объявлений для фриланса" .cf 92,11Kb ver:1 5	5	1 850 руб. Купить	1 SM Скачать

Сразу оговорюсь, парсинг сайтов средствами 1С имеет ряд ограничений (подробно описаны в этой статье):

Получение данных зависит от верстки самого сайта, если она поменяется - нужно будет изменять логику работы парсера.
Парсинг осуществляется на стороне клиента 1С, используя поле HTML документа - чтобы парсер работал постоянно, нужно будет держать открытым окно клиента 1С.

Весь алгоритм работы находится в модуле формы обработки "aggregator" и его условно можно разделить на 2 части:

Парсинг - получение данных со страниц сайта средствами поля HTML документа.
Публикация данных об объявлениях в телеграм-канеле.

Детали реализации.

Добавляем на форму поле HTML документа, устанавливаем обработчик ожидания на 5 секунд - с такой периодичностью будем загружать страницы, чтобы не получить блокировку со стороны сайта.
В обработчике ожидания загружаем страницы со списком объявлений, получаем список url всех объявлений и потом загружаем каждое новое объявление.
Загруженную страницу начинаем обрабатывать, используя css селекторы - специальные выражения, которые позволяют получить определенные элементы со страницы. Тут очень помогает dev tools браузера, формируем селекторы в нем, потом проверяем в отладчике.

Код:

	Части = Элементы.Поле.Документ.querySelectorAll("div#projects-list div.b-post");	
	Для каждого Часть Из Части Цикл
		Эл = Часть.querySelector("span.b-post__bold");
		Если Эл.innerText <> "Заказ" Тогда
			Продолжить;
		КонецЕсли;			
		URL = НРег(Часть.querySelector("h2.b-post__title a").href);
		ЗаданиеСсылка = НайтиЗаданиеПоURL(URL);
		Если ЗначениеЗаполнено(ЗаданиеСсылка) Тогда
			Прервать;
		КонецЕсли;
		НоваяСтрока = Объект.НовыеЗадания.Добавить();
		НоваяСтрока.URL = URL;
	КонецЦикла;
	
	ДобавитьНовыеЗаданияВОчередьДействий();

Полученные данные записываем в специальный справочник "Задания фриланса":

Справочник:

Публикуем данные по объявлению с помощью бота в канал телеграма. Детали создания бота и работы с api телеграм можно посмотреть тут. Сам вызов приблизительно такой:

Код:

// Работа с API Telegram

&НаСервере
Функция TelegramОтправитьЗапрос(Ресурс, Метод, ТекстЗапроса = Неопределено, Заголовки = Неопределено)
	
	Рез = Новый Структура;
	Рез.Вставить("Результат",   Неопределено);
	Рез.Вставить("ТекстОтвета", "");
	Рез.Вставить("ТекстОшибки", Неопределено);
	
	Попытка
		Если Заголовки = Неопределено Тогда
			Заголовки   = Новый Соответствие;
			Заголовки.Вставить("content-type", "application/json");
		КонецЕсли;
		
		Запрос = Новый HTTPЗапрос(Ресурс, Заголовки);
		
		Если ТипЗнч(ТекстЗапроса) = Тип("Строка") Тогда
			Запрос.УстановитьТелоИзСтроки(ТекстЗапроса);
		ИначеЕсли ТипЗнч(ТекстЗапроса) = Тип("ДвоичныеДанные") Тогда
			Запрос.УстановитьТелоИзДвоичныхДанных(ТекстЗапроса);
		КонецЕсли;
		
		Соединение = Новый HTTPСоединение("api.telegram.org", 443, , , , , Новый ЗащищенноеСоединениеOpenSSL());
		Если Метод = "POST" Тогда
			Ответ = Соединение.ОтправитьДляОбработки(Запрос);
		Иначе
			Ответ = Соединение.Получить(Запрос);
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при вызове метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Попытка
		ТекстОтвета = Ответ.ПолучитьТелоКакСтроку();
		Рез["ТекстОтвета"] = ТекстОтвета;
		
		Результат = JSONВСтруктуру(ТекстОтвета);
		Рез["Результат"] = Результат;
		
		ЕстьОшибка  = Истина;
		Если Результат.Свойство("ok") Тогда
			ЕстьОшибка = (Результат["ok"] <> Истина);
		КонецЕсли;
		
		Если ЕстьОшибка Тогда
			ТекстОшибки = "Сервер вернул ошибку: " + Символы.ПС + ТекстОтвета;
			ВызватьИсключение ТекстОшибки;
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при обработке метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Возврат Рез;
	
КонецФункции

&НаСервере
Функция TelegramОтправитьСообщение(Текст)
	
	Если НЕ ЗначениеЗаполнено(Объект.channel) ИЛИ НЕ ЗначениеЗаполнено(Объект.token) Тогда
		Возврат Истина;
	КонецЕсли;
	
	СтруктураЗапроса = Новый Структура;          
	СтруктураЗапроса.Вставить("chat_id",    Объект.channel);
	СтруктураЗапроса.Вставить("text", 	    Текст);
	СтруктураЗапроса.Вставить("parse_mode", "HTML");
	
	ТекстЗапроса = СтруктураВJSON(СтруктураЗапроса);

	Ресурс = "bot" + Объект.token + "/sendMessage?disable_web_page_preview=true";
	
	Рез = TelegramОтправитьЗапрос(Ресурс, "POST", ТекстЗапроса);
	
	Если ЗначениеЗаполнено(Рез["ТекстОшибки"]) Тогда
		Сообщить(Рез["ТекстОшибки"]);
		Возврат Ложь;
	КонецЕсли;      
	
	Возврат Истина;
	
КонецФункции

Код:

&НаСервере
Функция TelegramОтправитьЗапрос(Ресурс, Метод, ТекстЗапроса = Неопределено, Заголовки = Неопределено)
	
	Рез = Новый Структура;
	Рез.Вставить("Результат",   Неопределено);
	Рез.Вставить("ТекстОтвета", "");
	Рез.Вставить("ТекстОшибки", Неопределено);
	
	Попытка
		Если Заголовки = Неопределено Тогда
			Заголовки   = Новый Соответствие;
			Заголовки.Вставить("content-type", "application/json");
		КонецЕсли;
		
		Запрос = Новый HTTPЗапрос(Ресурс, Заголовки);
		
		Если ТипЗнч(ТекстЗапроса) = Тип("Строка") Тогда
			Запрос.УстановитьТелоИзСтроки(ТекстЗапроса);
		ИначеЕсли ТипЗнч(ТекстЗапроса) = Тип("ДвоичныеДанные") Тогда
			Запрос.УстановитьТелоИзДвоичныхДанных(ТекстЗапроса);
		КонецЕсли;
		
		Соединение = Новый HTTPСоединение("api.telegram.org", 443, , , , , Новый ЗащищенноеСоединениеOpenSSL());
		Если Метод = "POST" Тогда
			Ответ = Соединение.ОтправитьДляОбработки(Запрос);
		Иначе
			Ответ = Соединение.Получить(Запрос);
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при вызове метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Попытка
		ТекстОтвета = Ответ.ПолучитьТелоКакСтроку();
		Рез["ТекстОтвета"] = ТекстОтвета;
		
		Результат = JSONВСтруктуру(ТекстОтвета);
		Рез["Результат"] = Результат;
		
		ЕстьОшибка  = Истина;
		Если Результат.Свойство("ok") Тогда
			ЕстьОшибка = (Результат["ok"] <> Истина);
		КонецЕсли;
		
		Если ЕстьОшибка Тогда
			ТекстОшибки = "Сервер вернул ошибку: " + Символы.ПС + ТекстОтвета;
			ВызватьИсключение ТекстОшибки;
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при обработке метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Возврат Рез;
	
КонецФункции

&НаСервере
Функция TelegramОтправитьСообщение(Текст)
	
	Если НЕ ЗначениеЗаполнено(Объект.channel) ИЛИ НЕ ЗначениеЗаполнено(Объект.token) Тогда
		Возврат Истина;
	КонецЕсли;
	
	СтруктураЗапроса = Новый Структура;          
	СтруктураЗапроса.Вставить("chat_id",    Объект.channel);
	СтруктураЗапроса.Вставить("text", 	    Текст);
	СтруктураЗапроса.Вставить("parse_mode", "HTML");
	
	ТекстЗапроса = СтруктураВJSON(СтруктураЗапроса);

	Ресурс = "bot" + Объект.token + "/sendMessage?disable_web_page_preview=true";
	
	Рез = TelegramОтправитьЗапрос(Ресурс, "POST", ТекстЗапроса);
	
	Если ЗначениеЗаполнено(Рез["ТекстОшибки"]) Тогда
		Сообщить(Рез["ТекстОшибки"]);
		Возврат Ложь;
	КонецЕсли;      
	
	Возврат Истина;
	
КонецФункции

Пример сделан для парсинга одного сайта, если нужно добавить другие - это не составит особого труда.
На этом все, результат работы можно посмотреть тут.

Пример (проверено на платформе 8.3.14) сделан для парсинга одного сайта, если нужно добавить другие - это не составит особого труда.
На этом все, результат работы можно посмотреть тут.

Вступайте в нашу телеграмм-группу Инфостарт

парсинг фриланс бот телеграм канал html css selector freelance

+8 –

См. также

Интеграция Альфа Авто 5 и 6 и AUTOCRM + LOGICSTARS

Сайты и интернет-магазины WEB-интеграция Системный администратор Программист Пользователь 1С:Предприятие 8 1C:Бухгалтерия 1С:Управление торговлей 11 Автомобили, автосервисы Россия Управленческий учет Платные (руб)

Интеграционный модуль обмена между конфигурацией Альфа Авто 5 и Альфа Авто 6 и порталом AUTOCRM / LOGICSTARS. Данный модуль универсален. Позволяет работать с несколькими обменами AUTOCRM / LOGICSTAR разных брендов в одной информационной базе в ручном и автоматическом режиме.

36000 руб.

03.08.2020 22203 32 24

SALE! 15%

Экспортер — автоматизация выгрузки данных из 1С в Spot2D

WEB-интеграция Программист Бизнес-аналитик 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Оптовая торговля, дистрибуция, логистика ИТ-компания Платные (руб)

Модуль "Экспортер" — это расширение для 1С, предназначенное для автоматизации процессов выгрузки данных. Оно позволяет эффективно извлекать, преобразовывать и передавать данные из систем 1С в интеграционную платформу Spot2D. Подсистема упрощает настройку, снижает количество ручных операций и обеспечивает удобный контроль данных.

~~17280~~ 14688 руб.

20.12.2024 4384 22 4

REST API для интеграции 1С:Бухгалтерия предприятие 3.0 (3.0.177.30) с внешними системами через HTTP-запросы. Создание контрагента, счёта и реализации (услуг). Получение этих сущностей в виде JSON, и печатных форма счета и акта

WEB-интеграция 1С:Предприятие 8 1С:Бухгалтерия 3.0 Платные (руб)

Мощная интеграция ваших систем с 1С:Бухгалтерия предприятия 3.0 через современный HTTP-интерфейс

90000 руб.

31.07.2025 1654 1 2

Интеграция 1С с OpenCart 2.x, 3x модуль обмена данными

WEB-интеграция Оптовая торговля Розничная торговля Программист 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 Розничная и сетевая торговля (FMCG) Оптовая торговля, дистрибуция, логистика Управленческий учет Платные (руб)

Модуль интеграции 1С с OpenCart 2.x, 3x позволяет обмениваться данными между OpenCart (самая популярная бесплатная cms для интернет-магазинов) и 1С:Предприятие 8.

6800 руб.

17.11.2015 129005 444 143

246

Конструктор API для обмена базы 1С 8.3 с другими системами по протоколу http в формате JSON

WEB-интеграция Программист Руководитель проекта 1С:Предприятие 8 1C:Бухгалтерия 1С:Франчайзи, автоматизация бизнеса Платные (руб)

Расширение значительно упрощает написание API на 1С. Веб программисты получают простой и понятный доступ к 1С. Описание API создаётся автоматически и представляется в виде удобном как для человека, так и для программной обработки. Основные преимущества: 1. Документация API создаётся автоматически. Удобна для программной обработки. 2. Изменить API столь же просто как настроить отчёт. Можно опубликовать существующий вариант отчёта. 3. Отчёты в API поддерживают параметры (Период, ДатаНачала и др.) 4. При создании простых методов не требуется изменять конфигурацию. 5. Поддерживается работа с планами обмена.<br/> 6. Возможно настроить отправку из 1С данных корреспондирующей системе, для случаев когда 1С сама "знает" какие данные нужно отправить. 7. После записи в 1С Ле Мурр может возвращать соответствие полученных идентификаторов созданным в 1С объектам данных.

36000 руб.

27.09.2024 10152 7 5

Обмен данными с Порталом поставщиков Москвы и МО через 1С

Оптовая торговля WEB-интеграция Бюджетный учет Обмен с ГосИС Бухгалтер Пользователь 1С:Предприятие 8 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Государственные, бюджетные структуры Россия Бухгалтерский учет Управленческий учет Платные (руб)

Обмен данными с "Порталом поставщиков" zakupki.mos.ru Москвы и Московской области с целью создания оферт для закупок государственными учреждениями. Модуль устраняет рутину, минимизирует ошибки и помогает выигрывать больше закупок. Работает строго по требованиям 44-ФЗ.

14400 руб.

13.12.2016 41740 54 39

Интеграция Vetmanager с 1С: автоматизация учета для ветеринарных клиник. Синхронизация документов, справочников и оплат через API

WEB-интеграция Программист 1С:Предприятие 8 1С:Бухгалтерия 3.0 Бытовые услуги, сервис Платные (руб)

Внешняя обработка разработана для автоматизации передачи данных между сервисом Vetmanager с 1С: Бухгалтерия 3.0. Решение позволяет загружать документы и справочники из Ветменеджер в 1С:Бухгалтерию, сокращая время на ручной ввод данных и минимизируя ошибки.

12000 руб.

02.02.2021 20959 60 52