В помощь фрилансеру: парсим объявления о фрилансе и публикуем их в телеграм-канале

15.07.22

В статье приведён пример получения данных со страниц сайта (парсинг), их обработка и публикация с помощью бота в телеграм-канал - всё средствами платформы 1С.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование		По подписке [?]	Купить один файл
Конфигурация "Агрегатор объявлений для фриланса" .cf 92,11Kb ver:1 4	4	Скачать (1 SM)	Купить за 1 850 руб.

Сразу оговорюсь, парсинг сайтов средствами 1С имеет ряд ограничений (подробно описаны в этой статье):

Получение данных зависит от верстки самого сайта, если она поменяется - нужно будет изменять логику работы парсера.
Парсинг осуществляется на стороне клиента 1С, используя поле HTML документа - чтобы парсер работал постоянно, нужно будет держать открытым окно клиента 1С.

Весь алгоритм работы находится в модуле формы обработки "aggregator" и его условно можно разделить на 2 части:

Парсинг - получение данных со страниц сайта средствами поля HTML документа.
Публикация данных об объявлениях в телеграм-канеле.

Детали реализации.

Добавляем на форму поле HTML документа, устанавливаем обработчик ожидания на 5 секунд - с такой периодичностью будем загружать страницы, чтобы не получить блокировку со стороны сайта.
В обработчике ожидания загружаем страницы со списком объявлений, получаем список url всех объявлений и потом загружаем каждое новое объявление.
Загруженную страницу начинаем обрабатывать, используя css селекторы - специальные выражения, которые позволяют получить определенные элементы со страницы. Тут очень помогает dev tools браузера, формируем селекторы в нем, потом проверяем в отладчике.

Код:

	Части = Элементы.Поле.Документ.querySelectorAll("div#projects-list div.b-post");	
	Для каждого Часть Из Части Цикл
		Эл = Часть.querySelector("span.b-post__bold");
		Если Эл.innerText <> "Заказ" Тогда
			Продолжить;
		КонецЕсли;			
		URL = НРег(Часть.querySelector("h2.b-post__title a").href);
		ЗаданиеСсылка = НайтиЗаданиеПоURL(URL);
		Если ЗначениеЗаполнено(ЗаданиеСсылка) Тогда
			Прервать;
		КонецЕсли;
		НоваяСтрока = Объект.НовыеЗадания.Добавить();
		НоваяСтрока.URL = URL;
	КонецЦикла;
	
	ДобавитьНовыеЗаданияВОчередьДействий();

Полученные данные записываем в специальный справочник "Задания фриланса":

Справочник:

Публикуем данные по объявлению с помощью бота в канал телеграма. Детали создания бота и работы с api телеграм можно посмотреть тут. Сам вызов приблизительно такой:

Код:

// Работа с API Telegram

&НаСервере
Функция TelegramОтправитьЗапрос(Ресурс, Метод, ТекстЗапроса = Неопределено, Заголовки = Неопределено)
	
	Рез = Новый Структура;
	Рез.Вставить("Результат",   Неопределено);
	Рез.Вставить("ТекстОтвета", "");
	Рез.Вставить("ТекстОшибки", Неопределено);
	
	Попытка
		Если Заголовки = Неопределено Тогда
			Заголовки   = Новый Соответствие;
			Заголовки.Вставить("content-type", "application/json");
		КонецЕсли;
		
		Запрос = Новый HTTPЗапрос(Ресурс, Заголовки);
		
		Если ТипЗнч(ТекстЗапроса) = Тип("Строка") Тогда
			Запрос.УстановитьТелоИзСтроки(ТекстЗапроса);
		ИначеЕсли ТипЗнч(ТекстЗапроса) = Тип("ДвоичныеДанные") Тогда
			Запрос.УстановитьТелоИзДвоичныхДанных(ТекстЗапроса);
		КонецЕсли;
		
		Соединение = Новый HTTPСоединение("api.telegram.org", 443, , , , , Новый ЗащищенноеСоединениеOpenSSL());
		Если Метод = "POST" Тогда
			Ответ = Соединение.ОтправитьДляОбработки(Запрос);
		Иначе
			Ответ = Соединение.Получить(Запрос);
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при вызове метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Попытка
		ТекстОтвета = Ответ.ПолучитьТелоКакСтроку();
		Рез["ТекстОтвета"] = ТекстОтвета;
		
		Результат = JSONВСтруктуру(ТекстОтвета);
		Рез["Результат"] = Результат;
		
		ЕстьОшибка  = Истина;
		Если Результат.Свойство("ok") Тогда
			ЕстьОшибка = (Результат["ok"] <> Истина);
		КонецЕсли;
		
		Если ЕстьОшибка Тогда
			ТекстОшибки = "Сервер вернул ошибку: " + Символы.ПС + ТекстОтвета;
			ВызватьИсключение ТекстОшибки;
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при обработке метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Возврат Рез;
	
КонецФункции

&НаСервере
Функция TelegramОтправитьСообщение(Текст)
	
	Если НЕ ЗначениеЗаполнено(Объект.channel) ИЛИ НЕ ЗначениеЗаполнено(Объект.token) Тогда
		Возврат Истина;
	КонецЕсли;
	
	СтруктураЗапроса = Новый Структура;          
	СтруктураЗапроса.Вставить("chat_id",    Объект.channel);
	СтруктураЗапроса.Вставить("text", 	    Текст);
	СтруктураЗапроса.Вставить("parse_mode", "HTML");
	
	ТекстЗапроса = СтруктураВJSON(СтруктураЗапроса);

	Ресурс = "bot" + Объект.token + "/sendMessage?disable_web_page_preview=true";
	
	Рез = TelegramОтправитьЗапрос(Ресурс, "POST", ТекстЗапроса);
	
	Если ЗначениеЗаполнено(Рез["ТекстОшибки"]) Тогда
		Сообщить(Рез["ТекстОшибки"]);
		Возврат Ложь;
	КонецЕсли;      
	
	Возврат Истина;
	
КонецФункции

Код:

&НаСервере
Функция TelegramОтправитьЗапрос(Ресурс, Метод, ТекстЗапроса = Неопределено, Заголовки = Неопределено)
	
	Рез = Новый Структура;
	Рез.Вставить("Результат",   Неопределено);
	Рез.Вставить("ТекстОтвета", "");
	Рез.Вставить("ТекстОшибки", Неопределено);
	
	Попытка
		Если Заголовки = Неопределено Тогда
			Заголовки   = Новый Соответствие;
			Заголовки.Вставить("content-type", "application/json");
		КонецЕсли;
		
		Запрос = Новый HTTPЗапрос(Ресурс, Заголовки);
		
		Если ТипЗнч(ТекстЗапроса) = Тип("Строка") Тогда
			Запрос.УстановитьТелоИзСтроки(ТекстЗапроса);
		ИначеЕсли ТипЗнч(ТекстЗапроса) = Тип("ДвоичныеДанные") Тогда
			Запрос.УстановитьТелоИзДвоичныхДанных(ТекстЗапроса);
		КонецЕсли;
		
		Соединение = Новый HTTPСоединение("api.telegram.org", 443, , , , , Новый ЗащищенноеСоединениеOpenSSL());
		Если Метод = "POST" Тогда
			Ответ = Соединение.ОтправитьДляОбработки(Запрос);
		Иначе
			Ответ = Соединение.Получить(Запрос);
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при вызове метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Попытка
		ТекстОтвета = Ответ.ПолучитьТелоКакСтроку();
		Рез["ТекстОтвета"] = ТекстОтвета;
		
		Результат = JSONВСтруктуру(ТекстОтвета);
		Рез["Результат"] = Результат;
		
		ЕстьОшибка  = Истина;
		Если Результат.Свойство("ok") Тогда
			ЕстьОшибка = (Результат["ok"] <> Истина);
		КонецЕсли;
		
		Если ЕстьОшибка Тогда
			ТекстОшибки = "Сервер вернул ошибку: " + Символы.ПС + ТекстОтвета;
			ВызватьИсключение ТекстОшибки;
		КонецЕсли;
	Исключение
		ТекстОшибки = ОписаниеОшибки();
		Рез["ТекстОшибки"] = "Ошибка при обработке метода API telegram: " + ТекстОшибки;
		Возврат Рез;
	КонецПопытки;
	
	Возврат Рез;
	
КонецФункции

&НаСервере
Функция TelegramОтправитьСообщение(Текст)
	
	Если НЕ ЗначениеЗаполнено(Объект.channel) ИЛИ НЕ ЗначениеЗаполнено(Объект.token) Тогда
		Возврат Истина;
	КонецЕсли;
	
	СтруктураЗапроса = Новый Структура;          
	СтруктураЗапроса.Вставить("chat_id",    Объект.channel);
	СтруктураЗапроса.Вставить("text", 	    Текст);
	СтруктураЗапроса.Вставить("parse_mode", "HTML");
	
	ТекстЗапроса = СтруктураВJSON(СтруктураЗапроса);

	Ресурс = "bot" + Объект.token + "/sendMessage?disable_web_page_preview=true";
	
	Рез = TelegramОтправитьЗапрос(Ресурс, "POST", ТекстЗапроса);
	
	Если ЗначениеЗаполнено(Рез["ТекстОшибки"]) Тогда
		Сообщить(Рез["ТекстОшибки"]);
		Возврат Ложь;
	КонецЕсли;      
	
	Возврат Истина;
	
КонецФункции

Пример сделан для парсинга одного сайта, если нужно добавить другие - это не составит особого труда.
На этом все, результат работы можно посмотреть тут.

Пример (проверено на платформе 8.3.14) сделан для парсинга одного сайта, если нужно добавить другие - это не составит особого труда.
На этом все, результат работы можно посмотреть тут.

парсинг фриланс бот телеграм канал html css selector freelance

+8 –

См. также

Amocrm: интеграция с 1С

WEB-интеграция Анализ продаж Системный администратор Программист Пользователь Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Управленческий учет Платные (руб)

Модуль "Подсистема интеграции AmoCRM с 1С" позволяет обеспечить единое информационное пространство, в котором пользователи могут эффективно управлять клиентской базой, следить за статусами сделок и поддерживать актуальность данных как в AmoCRM, так и в 1С. Бесплатный период Техподдержки - 1 месяц.

60000 руб.

07.05.2019 34447 65 45

Веб-портал "Service Desk Online" для конфигураций 1С:ITIL, 1С:ITILIUM, Управление IT-отделом 8

WEB-интеграция Администрирование веб-серверов Платные (руб)

Веб-портал обеспечивает удобный доступ к конфигурации 1С:ITIL, 1С:ITILIUM, Управление IT-отделом 8 через интернет с любого устройства посредством браузера, увеличивая эффективность работы пользователей и снижая нагрузку на сервер. Быстрая инсталляция портала за пару часов, удобный и интуитивно понятный интерфейс и безопасность данных помогут упростить работу с порталом и ускорить выполнение бизнес-процессов компании.

128000 руб.

19.12.2023 2438 2 0

Веб-портал "Онлайн-заказ" для 1С

Оптовая торговля Розничная торговля WEB-интеграция 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Платные (руб)

Онлайн-заказ - это решение для автоматизации процесса оформления заказов на сайте в торговых организациях. Продукт обеспечивает легкое взаимодействие между компанией и клиентами через веб-интерфейс, интегрированный с 1С:Предприятие. Система позволяет снизить операционные расходы, повысить лояльность клиентов и оптимизировать работу отдела продаж.

57600 руб.

26.11.2024 2170 1 1

Интеграция Альфа Авто 5 / Альфа Авто 6 и AUTOCRM / Инфотек

Сайты и интернет-магазины WEB-интеграция Системный администратор Программист Пользователь Платформа 1С v8.3 1C:Бухгалтерия 1С:Управление торговлей 11 Автомобили, автосервисы Россия Управленческий учет Платные (руб)

Интеграционный модуль обмена между конфигурацией Альфа Авто 5 и Альфа Авто 6 и порталом AUTOCRM. Данный модуль универсален. Позволяет работать с несколькими обменами AUTOCRM разных брендов в одной информационной базе в ручном и автоматическом режиме.

36000 руб.

03.08.2020 18965 21 22

Конструктор API для обмена базы 1С 8.3 с другими системами по протоколу http в формате JSON

WEB-интеграция Программист Руководитель проекта Платформа 1С v8.3 1C:Бухгалтерия 1С:Франчайзи, автоматизация бизнеса Платные (руб)

Расширение значительно упрощает написание API на 1С. Веб программисты получают простой и понятный доступ к 1С. Описание API создаётся автоматически и представляется в виде удобном как для человека, так и для программной обработки.

24000 руб.

27.09.2024 3799 3 2

Интеграция с сервисом vetmanager в 1С: Бухгалтерия 3.0

WEB-интеграция Программист Платформа 1С v8.3 Бухгалтерский учет 1С:Бухгалтерия 3.0 Бытовые услуги, сервис Платные (руб)

Внешняя обработка разрабатывалась для загрузки документов из Ветменеджер в 1С: Бухгалтерия 3.0

12000 руб.

02.02.2021 18725 53 50

Экспортер — автоматизация выгрузки данных из 1С в Spot2D

WEB-интеграция Программист Бизнес-аналитик Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Оптовая торговля, дистрибуция, логистика ИТ-компания Платные (руб)

Модуль "Экспортер" — это расширение для 1С, предназначенное для автоматизации процессов выгрузки данных. Оно позволяет эффективно извлекать, преобразовывать и передавать данные из систем 1С в интеграционную платформу Spot2D. Подсистема упрощает настройку, снижает количество ручных операций и обеспечивает удобный контроль данных.

14400 руб.

20.12.2024 751 3 1

Заполнение контрагента по ИНН или наименованию реквизитов по данным сайта ФНС в 1С: 8.3

Обмен с ГосИС WEB-интеграция Бухгалтер Пользователь Платформа 1С v8.3 Управляемые формы 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия государственного учреждения 1С:Документооборот 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Обработка является альтернативой механизму, разработанному фирмой 1С и заполняющему реквизиты контрагента по ИНН или наименованию. Не требуется действующей подписки ИТС. Вызывается как внешняя дополнительная обработка, т.е. используется, непосредственно, из карточки контрагента. Заполнение по ИНН или наименованию реквизитов контрагента по данным сайта ФНС (egrul.nalog.ru) для БП 2.0, БП 3.0, БГУ 1.0, БГУ 2.0, УТ 10.3, УТ 11.x, КА 1.1, КА 2.x, УПП 1.x, ERP 2.x, УНФ 1.5, УНФ 1.6, УНФ 3.0, ДО 2.1

2400 руб.

28.04.2016 92767 188 217

340

Комментарии

Подписаться на ответы Инфостарт бот

Свернуть все

1. malikov_pro 1330 15.07.22 22:32 Сейчас в теме

Вариант разбирать RSS, https://code.patriotovsky.ru/api-ot-fl-ru-dlya-monitoringa-novyh-proektov/

Оставьте свое сообщение

E-mail:

Автор:

Сергей Н (elcoan)

Рейтинг: 1066

Для получения уведомлений о новых публикациях автора подключите телеграм бот: Инфостарт бот

Публикация:

№ 1683704

Создание 15.07.22 11:30

Обновление 15.07.22 11:30

Статистика:

Просмотры 3397

Загрузки 4

Рейтинг 8

Комментарии 1

Характеристики:

Код открыт Да

Рубрики WEB-интеграция

Кому Программист

Тип файла Конфигурация (md, cf)

Платформа 8.3.14

Конфигурация Универсальные

Операционная система Не имеет значения

Страна Не имеет значения

Отрасль Не имеет значения

Налоги Не имеет значения

Вид учета Не имеет значения

Доступ к файлу Абонемент ($m)