Глава 2. Как я написал (собрал с инфостарта) свой парсер сайта 1С Releases

Публикация № 1506584 31.08.21

Разработка - Практика программирования

конфигурация http запросы парсинг ИТС программирование проза легкий сай-фай киберпанк

Путешествие начинающего программиста 1С. Глава вторая. Призываем экспертов в комментарии, оптимизируем код, ругаемся на кривые руки автора. Автор же, в свою очередь, делится своим опытом, читает умные комментарии, стремится дать те знания, за которыми он сидел ночами тем, кто их хочет найти.

Глава 2. Как я написал (собрал с инфостарта) свой парсер сайта 1С Releases

Программист 1С или Туда и обратно. Глава вторая. Призываем экспертов в комментарии, оптимизируем код, ругаемся на кривые руки автора.
Автор же, в свою очередь, делится своим опытом, читает умные комментарии, стремится дать те знания, за которыми он сидел ночами тем, кто их хочет найти.

Итак, приступим. В принципе - да, не зная броду, в этом проекте сразу пришлось окунуться в воду, а именно, имея за плечами не такой большой багаж косвенной вычитки и правки кода за местным программистом, мне захотелось написать что-то свое. Ну как свое, конечно что-то такое, что будет чужое, но будет переписано под меня. И не эти ваши новичковые программы типа "справочника номенклатуры для хозрасчетного учета" *произносит закатив глаза* (о да, автор еще и работает с бюджетными конфигурациями), а сразу ПАРСЕР на 1С.

Идея пришла совершенно косвенными путями. Мне хотелось написать программу, которая будет меня оповещать где и у каких моих клиентов давно не обновлялась база, сколько еще я могу им позволить сидеть на старых релизах, стоит ли уделить кому-то больше внимания, а с кем то наоборот притормозить. И для этого, пришла в голову мысль сделать парсер сайта 1C Releases (ага, конечно, мы не ищем легких путей, и не ждем подачек от менеджеров). Как я узнал спустя пару месяцев после написания данного парсера, у 1С есть базовый механизм API для выдачи партнерам данных о вышедших конфигурациях (со всей интересующей вас информацией), но под нее уже код я не переделывал, в перспективе возможно, но уже не сейчас. Сегодня я попытаюсь сосредоточиться и рассказать вам, как все-таки мне удалось победить сайт 1С, расскажу про свою дырявую память. Так как части моего кода будут заимствованы из комментариев с инфостарта, заведомо прошу прощения у тех, кого я не упомяну в статье. Я честно потратил час пытаясь отыскать ваши посты, но не нашел. Напишите в комментариях если узнаете свой код и я обязательно вас поблагодарю лично с упоминанием в статье, или сниму ее с публикации, если вы будете недовольны этим. Все чего я бы хотел, это поделиться знаниями с тем, кому предстоит сделать то, что я благодаря вам воплотил в реальность.

Для начала, рыская повсюду в поисках информации, я читал статьи на инфостарте, чтобы понять как все-таки формируются http запросы и как мне получить эти данные. В принципе все было весьма очевидно, нужно было произвести логин на сайт 1С Releases с логином - паролем моего ИТС, скачать титульную страницу и по косвенным признакам вывести все наименования конфигураций (платформ), которые так или иначе доступны. Главная трудность - пройти двойную аутентификацию.

Статья оригинал

Из комментариев к ней, мне удалось достать очень важные функции для реализации моих идей. Не могу сказать кому они принадлежат, автору или тем кто их переправил, в любом случае, я их тоже своего рода немного переписал под свои нужды.

Так вот, для реализации данного механизма мне понадобилось изначально найти JSESSIONID. Как описал автор статьи выше, эта штука, должна была помочь мне подтверждать, что это именно я (с моим набором логина и пароля) продолжаю находиться на данном сайте.

Для анализа запросов я использовал браузер Google Chrome и клавишу F12 (раздел Network, внизу выбираем имя запроса и читаем все что в нем есть, сравниваем со своим, четкой инструкции вряд-ли вы найдете, да еще и такой, чтобы обойтись просто копи-пастом)

///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

&НаСервере
Процедура СпарситьНаСервере()
    
    Запрос = Новый Запрос;
    Запрос.Текст = "ВЫБРАТЬ
                   |    ДанныеИТС.Ссылка КАК Ссылка
                   |ИЗ
                   |    Справочник.ДанныеИТС КАК ДанныеИТС";
    Результат = Запрос.Выполнить();
    Выборка = Результат.Выбрать();
    
    Пока Выборка.Следующий() Цикл
        
        ИспользуемыеДанныеИТС = Выборка.Ссылка;    
        НайтиJSESSIONID();
    
    // Здесь были методы загрузки конфигураций и версий, которые мы рассмотрим чуть ниже 
    
    КонецЦикла;         
                              
КонецПроцедуры


///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

Запускал всю эту красоту я вот таким кодом. В базе я сделал справочник ИТС, в котором хранились логины-пароли ИТС, которые мне приходилось использовать (почему их много, я расскажу, но не в этой статье). В данном случае реализация подразумевает, что у вас будет больше 1 логина пароля ИТС. Переменная "ИспользуемыеДанныеИТС" находится на форме невидимая и позволяет получать данные по текущему ИТС, парсить его страницы-конфигурации-версии.
Для каждой позиции словаря, вызывается свой JSESSIONID (это важно). Описание метода его поиска будет приведена ниже.

Оригинал

///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

&НаСервере
Функция НайтиJSESSIONID()
	
	Попытка
		
		// Для GET-запросов
		HTTPЗапрос1 = Новый HTTPЗапрос;
		HTTPЗапрос1.Заголовки.Вставить("Connection", "keep-alive");
		
		// Для POST-запросов
		HTTPЗапрос2 = Новый HTTPЗапрос;
		HTTPЗапрос2.Заголовки.Вставить("Connection", "keep-alive");
		HTTPЗапрос2.Заголовки.Вставить("Content-Type", "application/x-www-form-urlencoded");
		
		// Создаем 2 соединения. Первое для места, где будем логиниться, второе для места куда хотим зайти
		Соединение1 = Новый HTTPСоединение("login.1c.ru",,,,Новый ИнтернетПрокси,,Новый ЗащищенноеСоединениеOpenSSL);
		Соединение2 = Новый HTTPСоединение("releases.1c.ru",,,,Новый ИнтернетПрокси,,Новый ЗащищенноеСоединениеOpenSSL);
		
		/////////////////////////////
		// Запрос 1 //                  
		/////////////////////////////
		//
		// Здесь небольшая путаница с цифрами, старайтесь абстрагироваться от них
		// код по максимуму оставался без изменений как рабочий
		HTTPЗапрос1.АдресРесурса = "/total";  
		
		// Соединяемся (смотри соединение 2) по адресу releases.1c.ru/total и получаем ответ
		ОтветHTTP1 = Соединение2.Получить(HTTPЗапрос1);
		
		// Выдираем с сайта айди текущей сессии, по сути все до точки с запятой из текущих кукисов
		JSESSIONID = ОтветHTTP1.Заголовки.Получить("Set-Cookie");
		JSESSIONID = Лев(JSESSIONID, Найти(JSESSIONID, ";") - 1);
		
		// Убираем из строки в заголовке Location "https://login.1c.ru" и присваиваем это в переменную 
		LOCATION1 = СтрЗаменить(ОтветHTTP1.Заголовки.Получить("Location"), "https://login.1c.ru", "");
		
		/////////////////////////////
		// Запрос 2 //
		/////////////////////////////
		//
		// Снова вспоминаем что абстрагируемся от цифр, снова меняем адрес. На сей раз уже для соединения 1
		// Сейчас это должен быть адрес для формы логина
		HTTPЗапрос1.АдресРесурса = LOCATION1;    
		
		// Соединяемся (смотри соединение 1) по адресу login.1c.ru + LOCATION1 (содержимое посмотрите дебаггером)
		// и получаем ответ
		// Если вы не уверены, что знаете как пользоваться дебаггером - напишите об этом
		ОтветHTTP2 = Соединение1.Получить(HTTPЗапрос1);                                        
		
		// Снова ищем кукисы и дергаем их, они понадобятся нам для логина
		JSESSIONID1 = ОтветHTTP2.Заголовки.Получить("set-cookie");                             		
		JSESSIONID1 = Прав(JSESSIONID1, СтрДлина(JSESSIONID1) - Найти(JSESSIONID1, "SESSION") + 1); 
		JSESSIONID1 = Лев(JSESSIONID1, Найти(JSESSIONID1, ";") - 1);
		
		// Создаем структуру инвайт кода по аналогии с тем, что автоматически создает нам сервер аутентификации
		// Если вы используете этот код в далеком будущем, проверьте структуру его формирования
		inviteCode = РаспарситьinviteCode(ОтветHTTP2.ПолучитьТелоКакСтроку());
		
		/////////////////////////////
		// Запрос 3 //
		/////////////////////////////
		//
		// Собственно логинимся, по адресу https://login.1c.ru/login отправляем наши данные кукисов
		// с зашитыми в нем инвайт кодами в открытую (а вы как думали? и логин и пароль в запросе открытые!)
		HTTPЗапрос2.АдресРесурса = "/login";
		HTTPЗапрос2.Заголовки.Вставить("Cookie", JSESSIONID1);
		HTTPЗапрос2.УстановитьТелоИзСтроки(inviteCode);
		ОтветHTTP3 = Соединение1.ОтправитьДляОбработки(HTTPЗапрос2);                                     
		
		// Получаем страницу перенаправления (в браузере вы также его видите, если достаточно внимательны)
		LOCATION3 = СтрЗаменить(ОтветHTTP3.Заголовки.Получить("location"), "https://releases.1c.ru", "");
		
		/////////////////////////////
		// Запрос 4 //
		/////////////////////////////
		//               
		// Здесь мы просто переходим по нашему адресу перенаправления (можно сказать говорим релизам, что мы свои)
		// и как результат - завершаем эпопею с логином подставляя наш с вами айди, полученый в самом начале
		HTTPЗапрос1.АдресРесурса = LOCATION3;
		HTTPЗапрос1.Заголовки.Вставить("Cookie", JSESSIONID); 
		
		// Мы на месте! Логин прошел!
		ОтветHTTP4 = Соединение2.Получить(HTTPЗапрос1);
		
	Исключение
		
		Возврат Ложь;
		
	КонецПопытки;
	
	Возврат Истина;
	
КонецФункции


///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

Опытный пользователь сразу поймет, что в коде выше чего-то не хватает, а именно функции РаспарситьinviteCode . Что-ж, вот и она на подходе:


Оригинал

///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

&НаСервере
Функция РаспарситьinviteCode(Текст)
    
    ЧтениеHTML = Новый ЧтениеHTML;
    ЧтениеHTML.УстановитьСтроку(Текст);
    
    Построитель = Новый ПостроительDOM;
    ДокументHTML = Построитель.Прочитать(ЧтениеHTML);
    
    loginForm = ДокументHTML.ПолучитьЭлементПоИдентификатору("loginForm");
    
    inviteCode = "inviteCode=&username=" + ИспользуемыеДанныеИТС.Логин 
    + "&password=" + ИспользуемыеДанныеИТС.Пароль
    + "&execution=" + loginForm.Элементы[6].Значение
    + "&_eventId=submit"
    + "&geolocation="
    + "&submit=Войти"
    + "&rememberMe=on"
    ;
    
    Возврат inviteCode;
    
КонецФункции


///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

Если вы хотите полного описания механизмов и того, как это все собиралось - думаю лучше почитать первоисточник. На моей же стороне были куски неработающего кода из комментариев и метод обратного инжениринга. 
Перечитывая по 20-50 раз статью и комментарии, я пытался увязать это все вместе. 

И в принципе, как говорилось в одноименном кино "He's alive!". Мы получили наш айди авторизации и теперь можем творить на сайте 1С что захотим, подставляя его повсюду!

Главный принцип по которому вы должны ориентироваться - это проверять на каждом шаге, где мы делаем с вами метод ".Получить" - это ответ сервера. Наша задача, чтобы статус коды, которые возвращает нам сервер были в диапазонах, соответствующих данной мини-таблице (естественно в нашем случае успех это 200, в некотором случае (когда происходит перенаправление это 300):

Информационные 100 - 199
Успешные 200 - 299
Перенаправления 300 - 399
Клиентские ошибки 400 - 499
Серверные ошибки 500 - 599

Попрошу заметить, что в коде выше, есть переменная ИспользуемыеДанныеИТС. У нее есть параметры логин и пароль. В принципе вы уже догадались если внимательно читали мое описание, что это объект справочника "Данные ИТС", в котором содержатся поля логин и пароль. В вашем случае вы можете использовать константы.

Ну и самое для меня главное, оказалось что это не так удобно, искать закономерности для парсинга в дебаггере 1С. Поэтому мне очень помогла процедура, которую я положу чуть ниже:
Оригинал потерялся, но если ты меня найдешь - напиши о себе, я дам ссылку.

///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

&НаСервере
Процедура ЗаписатьHTML(ДокументHTML)
    
    ЗапиcьHTML = Новый ЗаписьHTML;
    
    ЗапиcьHTML.ОткрытьФайл("c:\temp\text_html2.html", "UTF-8");
    
    ЗаписьDOM = Новый ЗаписьDOM;
    
    ЗаписьDOM.Записать(ДокументHTML, ЗапиcьHTML);
    
    ЗапиcьHTML.Закрыть()
    
КонецПроцедуры


///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

На вход она принимает полученный документ HTML и сохраняет его в том виде, который спарсил 1С. Возможно, открыв его, вы сильно удивитесь тому, что нет многого, к чему вы привыкли на Releases, но оно и не нужно на самом то деле. В таком виде гораздо проще анализировать код страницы для парсинга и воочию видеть то, что вы парсите собственно говоря. Потому, что вдруг, вы пишете парсинг Releases, а аутентификация не проходит и в итоге ваш цикл парсера ходит по кругу и не выдает результата.

Для анализа страниц я использовал браузер Google Chrome и клавишу F12 (раздел Elements)

Дальше в принципе начинается та еще вакханалия, так как необходимо получить необходимый нам файлик и начать его разбирать.

///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

&НаСервере
Функция ЗагрузитьПрограммыНаСервере(ГиперссылкаСтраницы = "",Конфигурация = "")
	//Нужно разбить на 2 функции, чтобы не была побочность
	
	// Проверяю гиперссылку по которой буду искать
	Если ЗначениеЗаполнено(Конфигурация) Тогда 
		
		ГиперссылкаСтраницы = Конфигурация.Гиперссылка;  
		
	КонецЕсли;   
	
	Попытка

		// По аналогии с запросами в НайтиJSESSIONID() пишем новый запрос для получения документа HTML
		// Включаем в него наши кукисы в виде JSESSIONID, который хранится на форме
		Запрос = Новый HTTPЗапрос;
		Запрос.Заголовки.Вставить("Connection", "keep-alive");
		Запрос.Заголовки.Вставить("Cookie", JSESSIONID);                           
		
		// Подставляем ссылку вида "/total" или "/yourConfigName", так как адрес описываем ниже
		Запрос.АдресРесурса = ГиперссылкаСтраницы;
		Соединение2 = Новый HTTPСоединение("releases.1c.ru",,,,Новый ИнтернетПрокси,,Новый ЗащищенноеСоединениеOpenSSL);
		
		// Получаем ответ с которого будем тащить страницу
		ОтветHTTP = Соединение2.Получить(Запрос);
		
		// Тащим страницу
		ЧтениеHTML = Новый ЧтениеHTML;
		ЧтениеHTML.УстановитьСтроку(ОтветHTTP.ПолучитьТелоКакСтроку());
		Построитель = Новый ПостроительDOM;
		
		// Создаем документ HTML из того, что прочитали
		ДокументHTML = Построитель.Прочитать(ЧтениеHTML);	
		
		// Процедура записи в файл, в идеале могла бы принимать путь на вход
		// Но используется только для теста - посему осталась такой какой была
		ЗаписатьHTML(ДокументHTML);                                           
		
		// Оповещение пользователя с самописного модуля (переделать под БСП если будете использовать)
		ОбщийФункционалСервер.СообщитьССервера("Загрузка HTML прошла успешно");			
		
	Исключение
		
		ОбщийФункционалСервер.СообщитьССервера("Загрузка HTML не прошла");
		Возврат Ложь;
		
	КонецПопытки;
	
	// Попытка распарсить список конфигураций
	// Бесполезная проверка гиперссылки, адаптируете под себя этот хардкод
	// Если "/total", тогда парсится список конфигураций
	Если ГиперссылкаСтраницы = "/total" Тогда           
		
		Попытка			                  
			
			РекурсивныйПарсингСпискаКонфигураций(ДокументHTML);			
			ОбщийФункционалСервер.СообщитьССервера("Парсинг конфигураций прошел успешно");	
			
		Исключение           
			
			ОбщийФункционалСервер.СообщитьССервера("Парсинг конфигураций не прошел");	 
			
		КонецПопытки;      
		
	Иначе    
		
		Попытка	    
			
			РекурсивныйПарсингВерсийКонфигураций(ДокументHTML, Конфигурация);		
			ОбщийФункционалСервер.СообщитьССервера("Парсинг списка конфигураций прошел успешно");	      
			
		Исключение        
			
			ОбщийФункционалСервер.СообщитьССервера("Парсинг списка конфигураций не прошел");	  
			
		КонецПопытки;     
		
	КонецЕсли; 
	
	Возврат Истина;	 
	
КонецФункции


///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

В данном случае, я бы хотел заранее извиниться перед теми, кто будет читать этот кошмар, тут я если честно не сильно знал каким образом стоит писать процедуры и функции по методологии 1С. Чтобы переписать код, мне потребуется время, поэтому пока положу данную сырую ерунду со своими замечаниями.

ЖИРНЫЙ МИНУС НОМЕР РАЗ: В данной функции я совместил парсинг списка конфигураций и списка версий. Это плохо. Не стоит делать обобщенные функции. В перспективе, буду их разбивать.

Суть функции заключается в том, что на вход функции подается гиперссылка или ссылка на конфигурацию (из справочника уже спарсенных в конфигурацию). Если подается гиперссылка, то скорее всего это будет ссылка "/total". Это заглавная страница Releases, на которой есть все конфигурации. Если на вход подается объект справочника Конфигурация, то из нее собирается ссылка для обработки. Первая попытка пытается скачать HTML документ. Здесь же мы видим процедуру записи документа (для проверки толи качает наш парсер), в перспективе можете ее убрать.

Перед очередной попыткой стоит проверка "/total" это или нет, но в принципе, как вы понимаете она весьма бесполезна, так как можно проверять подалась ли конфигурация на вход, в общем глупая проверка, которую надо сесть и переделать.
Далее, программа пытается ее распарсить (ниже дам код, который был переделан под мою цель, но он не стал лучше и свою главную ошибку я опишу.
Естественно, пользователь получает сообщения для отладки, вы их можете убрать. Писал я без БСП, поэтому немного кривые названия.
Если же это не список конфигураций, то программа пытается спарсить список версий.
Ниже прикладываю последнюю процедуру.

Оригинал

///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

&НаСервере
Процедура РекурсивныйПарсингСпискаКонфигураций(ДокументHTML)
	//Нужно изолировать запрос, чтобы он не был в рекурсии
	
	// Инциализируем переменные
	// В данном случае я использую группу справочника ЗагруженныеКонфигурации
	// для сравнения с текстом наименования группы
	// По умолчанию, до проверок, первая строка - активная
	ТекИмяГруппы = "";
	ТекГруппа = Справочники.ФИКС_ЗагруженныеКонфигурации.ПустаяСсылка();
	НеактивнаяСтрока = ЛОЖЬ;
	
	// Пробиваем дочерние узлы HTML документа. Наша задача наткнуться на узел с текстом "Название"
	// От него отталкиваться удобнее, так как этот текст встречается сугубо в шапке и более нигде в такой вариации
	// Регистр учитывается
	Для Каждого ЭлДок Из ДокументHTML.ДочерниеУзлы Цикл
		
		Если СокрЛП(ЭлДок.ТекстовоеСодержимое) = "Название" Тогда
			
			// Количество строк в таблице дистрибутивов. Если этот код перестанет работать,
			// а судя по его кривизне и хардкодности это весьма вероятно, если 1С решит сменить что-то на сайте
			// этот код также необходимо будет пересмотреть. В данном случае он отсматривает
			// на 3 родительских элемента назад, выбирает его дочерний узел (второй по порядку)
			// и выдает нам узел, в котором находятся все конфигурации
			СписокУзловHTML = ЭлДок.РодительскийУзел.РодительскийУзел.РодительскийУзел.ДочерниеУзлы[2].ДочерниеУзлы;
			КолЭлементов = СписокУзловHTML.Количество();
			
			Для А=0 По КолЭлементов-1 Цикл
				
				// Здесь мы отсекаем группы по понятному признаку
				Если СписокУзловHTML[А].Атрибуты[0].Имя = "group" Тогда
					ТекИмяГруппы = СокрЛП(СписокУзловHTML[А].ДочерниеУзлы[0].ДочерниеУзлы[3].ТекстовоеСодержимое);
				КонецЕсли;
				
				// Здесь отсекаем неактивные строки (недоступные нам конфигурации)
				// В принципе все просто, у неактивных строк не будет дочерних узлов кроме текста
				// по такому признаку я их признаю неактивными
				Если СписокУзловHTML[А].ДочерниеУзлы[0].ДочерниеУзлы.Количество() = 1 Тогда
					НеактивнаяСтрока = ИСТИНА;
				КонецЕсли;
				
				//Создание групп, исключая те, которые уже есть (пока без родителя и фильтров)
				Если СокрЛП(ТекГруппа.Наименование) <> ТекИмяГруппы Тогда
				
					//ЗАПРОСЫ В ЦИКЛАХ ЭТО ПЛОХО. В ОРИГИНАЛЕ ОНИ ИСПОЛЬЗОВАЛИСЬ ТОЖЕ. НУЖНА ПЕРЕДЕЛКА ЭТОГО МЕТОДА
					
					Запрос = Новый Запрос;
					Запрос.УстановитьПараметр("Наименование", ТекИмяГруппы);
					Запрос.Текст = "ВЫБРАТЬ РАЗЛИЧНЫЕ
					|	ФИКС_ЗагруженныеКонфигурации.Ссылка КАК Ссылка
					|ИЗ
					|	Справочник.ФИКС_ЗагруженныеКонфигурации КАК ФИКС_ЗагруженныеКонфигурации
					|ГДЕ
					|	ФИКС_ЗагруженныеКонфигурации.Наименование ПОДОБНО &Наименование
					|	И ФИКС_ЗагруженныеКонфигурации.ЭтоГруппа";
					Выборка = Запрос.Выполнить().Выбрать(ОбходРезультатаЗапроса.ПоГруппировкам);
					
					Если Выборка.Следующий() Тогда
						ТекГруппа = Выборка.Ссылка;
					Иначе
						// Создаем группу
					КонецЕсли;
					
				Иначе
					
					// Проверили что строка неактивна и идем мимо нее (для следующей сбрасываем активность)
					Если НеактивнаяСтрока Тогда
						НеактивнаяСтрока = ЛОЖЬ;
						
					// Если строка активная анализируем
					Иначе
						
						// Проверяем является ли этот элемент конфигурацией
						ТекЯчейка = СписокУзловHTML[А].ДочерниеУзлы[0].ДочерниеУзлы[1];	
						Если ТипЗнч(ТекЯчейка) = Тип("ЭлементЯкорьHTML") Тогда
							
							// Получаем данные наименования и гиперссылки
							СтрТЧ = Объект.Программы.Добавить();
							СтрТЧ.Наименование = СокрЛП("" + ТекЯчейка.ТекстовоеСодержимое);
							СтрТЧ.ГиперСсылка = СокрЛП(ТекЯчейка.ГиперСсылка);
							
							// Получаем дату и номер версии конфигурации
							Попытка
								СтрТЧ.НомерВерсии = СокрЛП(СписокУзловHTML[А].ДочерниеУзлы[2].ДочерниеУзлы[1].ТекстовоеСодержимое);
								СтрТЧ.ДатаВыхода = ФИКС_ОбщийФункционалСервер.РазобратьДату(СокрЛП(СписокУзловHTML[А].ДочерниеУзлы[4].ДочерниеУзлы[1].ТекстовоеСодержимое));	
							Исключение
								СтрТЧ.НомерВерсии = "";
								СтрТЧ.ДатаВыхода = "";
							КонецПопытки;                              
							
							// Присваиваем ей группу
							СтрТЧ.ГруппаКонфигураций = ТекГруппа;
							
							//ЗАПРОСЫ В ЦИКЛАХ ЭТО ПЛОХО. В ОРИГИНАЛЕ ОНИ ИСПОЛЬЗОВАЛИСЬ ТОЖЕ. НУЖНА ПЕРЕДЕЛКА ЭТОГО МЕТОДА
							
							Запрос = Новый Запрос;
							Запрос.УстановитьПараметр("Наименование", СокрЛП("" + ТекЯчейка.ТекстовоеСодержимое));
							Запрос.УстановитьПараметр("Родитель", ТекГруппа);
							Запрос.Текст = "ВЫБРАТЬ РАЗЛИЧНЫЕ
							|	ФИКС_ЗагруженныеКонфигурации.Ссылка КАК Ссылка
							|ИЗ
							|	Справочник.ФИКС_ЗагруженныеКонфигурации КАК ФИКС_ЗагруженныеКонфигурации
							|ГДЕ
							|	ФИКС_ЗагруженныеКонфигурации.Наименование ПОДОБНО &Наименование
							|	И НЕ ФИКС_ЗагруженныеКонфигурации.ЭтоГруппа
							|	И ФИКС_ЗагруженныеКонфигурации.Родитель = &Родитель";
							Выборка = Запрос.Выполнить().Выбрать(ОбходРезультатаЗапроса.ПоГруппировкам);
							
							Если Выборка.Следующий() Тогда
								
								// Получение ссылки в программе, если ее нет, возвращает пустую
								СтрТЧ.СсылкаВПрограмме = ФИКС_ОбщийФункционалСервер.ОпределитьКонфигурацию(Выборка.Ссылка);
								
								// Если нет даты и версии - мой код считает, что данная конфигурация не обновлялась
								// В данном случае попытка обусловлена (очевидно кривизной кода) тем, что я зачем-то
								// храню список версий в самом объекте конфигурации, что очевидно неверно
								// В перспективе есть желание реализовать красивый механизм через регистр сведений
								Попытка
									СтрТЧ.СсылкаНомерВерсии = СтрТЧ.СсылкаВПрограмме.ВерсииКонфигураций[0].Версии.Ссылка;
									СтрТЧ.СсылкаДата = СтрТЧ.СсылкаВПрограмме.ВерсииКонфигураций[0].ДатаВерсии;
								Исключение
									ФИКС_ОбщийФункционалСервер.СообщитьССервера(Выборка.Ссылка.Наименование + " - На эту конфигурацию еще не скачивались обновления");
								КонецПопытки;
							Иначе
								// Создаем объект справочника конфигураций
							КонецЕсли;
							
							// Если то, что спарсилось больше по дате выхода, чем то что в базе - ставится пометка на обновление версий. Без него не парсится
							Если (СтрТЧ.ДатаВыхода <> СтрТЧ.СсылкаДата) И ЗначениеЗаполнено(СтрТЧ.ДатаВыхода) И ЗначениеЗаполнено(СтрТЧ.СсылкаВПрограмме) Тогда
								ФИКС_ОбщийФункционалСервер.КонфигОбновитьВерсии(СтрТЧ.СсылкаВПрограмме.Ссылка, ИСТИНА);
							КонецЕсли;
							
						КонецЕсли;
					КонецЕсли;
				КонецЕсли;
			КонецЦикла;
			
		КонецЕсли;
		
		// Если у документа есть дочерние узлы - рекурсия
		Если ЭлДок.ЕстьДочерниеУзлы() Тогда
			
			РекурсивныйПарсингСпискаКонфигураций(ЭлДок);
			
		КонецЕсли;
		
	КонецЦикла;
	


///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

ЖИРНЫЙ МИНУС НОМЕР ДВА: запросы в цикле - это ужасно. Когда я вернулся к этому коду, чтобы поделиться им здесь, я нашел очень неприятные для себя моменты, но пока решил написать, а в дальнейшем уже поправить. Если в этом будет еще смысл в перспективе. 

Как вы успели заметить, я использую в своей конфигурации 2 справочника. Это "ЗагруженныеКонфигурации" и просто "Конфигурации". Смысл этого в том, что я хотел сократить количество запросов к серверу 1С и переборов циклов. В итоге у меня парсится весь список конфигураций в справочник "ЗагруженныеКонфигурации", затем он сопоставляет себя с объектами, которые находятся в справочнике "Конфигурации" и если все ок - парсинг закончен, если нет - ставит пометку на обновление и идет второй цикл итераций (такая же рекурсивная процедура), но уже с версиями. Смысл там такой же, код также близок к текущему.

Таким образом, благодаря поддержке участников сообщества инфостарта, идей многих люедй из интернета, различным инструкциям, я смог осуществить свой первый парсинг в 1С, который к тому же очень не плохо разносился по справочникам и был весьма удобен в эксплуатации. Далее, я столкнулся уже с другими проблемами, но это совсем другая история

 

P.S. Я надеюсь, что эта статья поможет тем, кто захочет ее прочесть, ну или будет занятна тем, кому совсем грустно сидеть вечером. Критику касательно кода готов принимать. Если вы пишете замечание, напишите свое решение или заметки из области где смотреть. Думаю это поможет тем, кто будет читать не допускать тех ошибок, которые допустил я.

Специальные предложения

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Steelvan 126 01.09.21 11:31 Сейчас в теме
Способ получения html через "взять" запрос с дальнейшим разбором перестанет работать, когда 1Сники перейдут на ОСП (одностраничное приложение) и начнут отрисовывать html на клиенте.

Например, через react или vue.
Уже сейчас половина сайтов на ОСП и это тупиковый способ разбора. Особенно для информативных сайтов, которым плевать на продвижение в поисковиках.


Гораздо прямее пользовать https://infostart.ru/public/1492489/ для разбора через devtools приблуды разраба в обозревателе через веб-гнезда.
ldmonster; +1 Ответить
2. ldmonster 54 01.09.21 11:50 Сейчас в теме
(1)
Спасибо, ваша статья очень интересная. Мне очень импонирует ваша работа. Читаю с упоением. В перспективе планирую освоить ваш метод.
3. MamZhan 08.09.21 19:31 Сейчас в теме
Спасибо, статья очень понравилась.
А есть ссылка на первую главу. Хотел почитать
4. ldmonster 54 08.09.21 20:00 Сейчас в теме
(3)
Идея была такова, что я сначала напишу все главы, а затем первую, в которой познакомлюсь с читающими. Будут еще статьи, касательно того, как я писал свою CRM систему (хорошую-ли, плохую-ли, решат читатели). Я очень хочу, чтобы мои знания помогли кому-то в его работе-деятельности.

Еще добавлю, что уже переписал код для уменьшения количества запросов к базе, а также дописал сигнализацию к обновлениям по текущим базам, которые отслеживаются в конфигурации. Реализацию этого всего положу в следующих статьях.
Оставьте свое сообщение

См. также

Аналог PIVOT в запросе 1С (как выполнить транспонирование таблицы в запросе 1С) Промо

Практика программирования v8 Бесплатно (free)

В статье показывается простой метод реализации аналога оператора PIVOT в запросе 1С без использования соединений.

12.12.2020    4055    Eugen-S    22    

Полезные примеры СКД, ч.2

Практика программирования v8 v8::СКД Бесплатно (free)

Еще несколько примеров решения задач в СКД.

06.04.2021    10199    Neti    8    

Неочевидные нюансы записи управляемой формы

Практика программирования v8 v8::УФ Платформа 1C v8.2 1cv8.cf Бесплатно (free)

Разберем несколько нюансов записи управляемой формы.

02.04.2021    12001    SeiOkami    54    

Обзор полезных методов БСП 3.1.4

Практика программирования БСП (Библиотека стандартных подсистем) v8 1cv8.cf Бесплатно (free)

Библиотека стандартных подсистем (далее - БСП) является частью любой типовой конфигурации, поэтому умение применять готовые процедуры и функции повышает качество разработки и избавляет от написания лишнего кода. К сожалению, не у всех есть время и упорство овладеть всей документацией, поэтому я собрал воедино наиболее популярный функционал.

25.03.2021    38051    rayastar    51    

Использование классов .Net в 1С для новичков Промо

Практика программирования Разработка внешних компонент Универсальные функции v7.7 v8 Бесплатно (free)

Руководство для новичков. Написав статью http://infostart.ru/public/238584/, я понял, что многие не понимают того, что написано. Поэтому в этой статье постараюсь более подробно остановиться на азах и без кода на вражеском языке (C#)

27.01.2016    85231    Serginio    115    

Звуковое управление в 1С 8.3

Практика программирования v8 1cv8.cf Бесплатно (free)

В данной статье описано создание библиотеки для звукового управления (выполнение команд голосом) для платформы 1С 8.3. Задача была поставлена так, чтобы модуль функционировал непосредственно на клиенте 1С, осуществляя управление формами, и взаимодействовал с интерфейсом.

16.03.2021    6948    velemir    31    

Доработка проведения в ERP 2.5. (Регистры накопления, Регистры сведений)

Практика программирования v8 ERP2 БУ Бесплатно (free)

Покажу точки входа для доработки "типового" проведения документов в ERP для регистров оперативного учета. Рассмотрим три основные ситуации: нужно изменить имеющееся проведение документа; нужно сделать записи в существующие регистры; нужно с нуля описать алгоритм проведения в добавленный регистр. Пример реализован на 1С:ERP Управление предприятием 2 (2.5.4.120)

10.01.2021    10384    BuriyLesha    10    

Serverless (Faas) в 1С. Создание и вызов Yandex Cloud Functions

Универсальные функции Практика программирования v8 Бесплатно (free)

"Я не могу просто взять и скопировать код с гитхаба", "у нас 1С микросервисами окружена", "возможностей мало" - частые фразы 1С разработчиков. которым не хватает возможностей платформы в современном мире. Faas, конечно, история не новая, но нас сдерживало 152ФЗ и задержки по пингам. Для того, чтобы действительно использовать в 1С код, к примеру, на Python, надо было приложить усилия. Теперь всё намного проще - берём и используем.

28.12.2020    8650    comol    31    

Использование программных перечислений, ч.1: строковые константы Промо

Практика программирования v8 1cv8.cf Бесплатно (free)

Часто ли у вас возникает необходимость в коде выполнять сравнение на строку?

10.12.2016    40906    unichkin    74    

Базовые вещи БСП, которые облегчат жизнь программисту 1С

Практика программирования БСП (Библиотека стандартных подсистем) v8 1cv8.cf Россия Бесплатно (free)

В данной публикации я опишу полезные процедуры и функции модуля общего назначения библиотеки стандартных подсистем, обязательные к использованию любым программистом 1С.

30.08.2020    19577    quazare    34    

Форма выбора (подбор) в управляемых формах

Практика программирования v8 v8::УФ 1cv8.cf Россия Бесплатно (free)

Разбор небольших примеров того, как правильно открывать форму выбора (подбора) в управляемых формах, не прибегая к модальным окнам.

08.05.2020    73912    user5300    19    

Вспомогательные инструкции в коде 1С Промо

Практика программирования v8 1cv8.cf Бесплатно (free)

Помогаем редактору кода 1С помогать нам писать и анализировать код.

15.10.2018    35873    tormozit    106    

Как я собрал для себя высокопроизводительный и бесплатный облачный бекенд для 1С на PosgreSQL + PostgREST

Производительность и оптимизация (HighLoad) WEB Интеграция Мобильная разработка Администрирование веб-серверов v8 Бесплатно (free)

В этой статье я расскажу о проблемах бека для мобильных приложений или другого фронта, который требует производительности, быстрой реакции и отказоустойчивости, и как я решил это благодаря opensource проекту PostgREST и СУБД Postgre SQL 12. Проведу простой тест производительности для сравнения 1С с данным решением. Это может быть полезно всем, кто разрабатывает мобильные приложения либо фронтсайд-приложения для 1С на чем угодно - на мобильной платформе или на нативном языке или на Simple UI. И также обзор новых функций SimpleUI для связи с этим бекендом.

31.03.2020    15905    informa1555    35    

Программная работа с настройками СКД

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Нюансы программной работы с настройками системы компоновки данных в отчетах и динамических списках. Обзор всех видов настроек компоновки. Что в каких случаях правильно применять. В качестве примера рассмотрена работа с отборами и группировками.

27.01.2020    63638    ids79    26    

[СКД] Программное создание схемы компоновки данных

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Сделаем отчет на СКД полностью программно, без использования макета "схема компоновки данных".

15.01.2020    42625    John_d    22    

Оформление и рефакторинг сложных логических выражений Промо

Практика программирования v8 Россия Бесплатно (free)

В сложных логических выражениях нередко самому автору спустя какое-то время тяжело разобраться, не говоря уже о других программистах. Предлагаемая методика позволяет повысить наглядность таких выражений путем оформления в виде И-ИЛИ дерева и одновременно выполнять их рефакторинг.

20.09.2012    82662    tormozit    131    

Последовательности событий при проведении документа 1С. Шпаргалка + про формы + про расширения

Практика программирования v8 Россия Бесплатно (free)

Собрал информацию о событиях/подписках/расширениях в одном месте.

30.12.2019    34296    kuzyara    38    

30 задач. Странных и не очень

Практика программирования v8 Бесплатно (free)

30 задач на знание языка программирования 1С и некоторого поведения платформы. Маленьких. Странных и не очень.

02.12.2019    23826    YPermitin    62    

Как передать IP адрес, который вызвал HTTP запрос в 1C (для веб-сервера Apache)

Практика программирования v8 Бесплатно (free)

Столкнулся с задачей получения IP адреса, который вызывает http сервис 1С. Итак, решение:

22.11.2019    12096    Sibars    19    

Запись значения в поле ввода/формы со срабатыванием события ПриИзменении Промо

Практика программирования v8 1cv8.cf Россия Бесплатно (free)

Иногда возникает необходимость после записи значения в какое либо поле ввода/формы вызвать для него обработчик события ПриИзменении, а о вызове самого события приходится только мечтать. В этой статье приводится программный способ вызова этого события.

11.07.2007    54128    tormozit    51    

Полезные процедуры и функции для программиста

Практика программирования Универсальные функции v8 1cv8.cf Россия Бесплатно (free)

Все мы пишем программный код и часто используем процедуры, облегчающие его написание. Ниже приведена выборка таких полезных процедур и функций.

07.10.2019    39232    HostHost    41    

Таблица значений. Нюансы

Практика программирования v8 Бесплатно (free)

Обзор некоторых аспектов использования общеизвестного инструмента 1С.

01.10.2019    52066    Yashazz    56    

Самый примитивный HTTP-сервис в мире

WEB v8 Бесплатно (free)

Пошаговый пример создания простейшего HTTP-сервиса, который генерирует HTML-страницу для поиска товара, а также реализует асинхронное получение данных из базы.

12.09.2019    25152    YPermitin    27    

Как сделать из &НаКлиентеНаСервереБезКонтекста почти &НаКлиентеНаСервере Промо

Практика программирования v8 1cv8.cf Россия Бесплатно (free)

Как сделать метод формы, доступный на клиенте и на сервере одновременно, и сохранить при этом удобство разработки

10.09.2017    50885    tormozit    74    

[Шпаргалка] Программное создание элементов формы

Практика программирования Работа с интерфейсом v8 1cv8.cf Бесплатно (free)

Программное создание практически всех популярных элементов формы.

06.09.2019    98992    rpgshnik    75    

Агрегатные функции СКД, о которых мало кто знает

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Пользуетесь ли Вы всеми возможными агрегатными функциями, которые предоставляет система компоновки данных? Если Вы используете только: СУММА, КОЛИЧЕСТВО, МИНИМУМ, МАКСИМУМ, СРЕДНЕЕ, то эта статья для Вас.

05.09.2019    76138    ids79    56    

Регистры бухгалтерии. Общая информация

Практика программирования Математика и алгоритмы v8 v8::БУ БУ Бесплатно (free)

Общая информация о внутреннем устройстве регистров бухгалтерии.

05.09.2019    45645    YPermitin    25    

Выгрузка документа по условию Промо

Практика программирования Разработка v8 Бесплатно (free)

Что делать, если документы нужно выгружать не все подряд, а по какому-то фильтру: статусу, дате, набору условий... А что если он соответствовал этим условиям, а потом перестал? А если потом опять начал? Такие ситуации заставили попотеть не одного программиста.

25.04.2019    17913    m-rv    3    

Три костыля. Сказ про фокусы в коде

Практика программирования v8 Бесплатно (free)

Три интересных (или странных) костыля в коде, которые могут помочь в повседневных и не очень задачах.

03.09.2019    30025    YPermitin    81    

Отслеживание выполнения фонового задания

Практика программирования Универсальные функции Разработка v8 1cv8.cf Бесплатно (free)

Запуск фонового задания из модуля внешней обработки. Отслеживание выполнения задания в виде прогресса, расположенного на форме.

17.08.2019    44575    ids79    22    

Функции СКД: ВычислитьВыражение, ВычислитьВыражениеСГруппировкойМассив

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Подробное описание и использование внутренних функций системы компоновки данных: Вычислить, ВычислитьВыражение, ВычислитьВыражениеСГруппировкойМассив, ВычислитьВыражениеСГруппировкойТаблицаЗначений.

08.08.2019    148051    ids79    75    

Как прикрутить ГУИД к регистру сведений Промо

Практика программирования Перенос данных из 1C8 в 1C8 Разработка v8 Бесплатно (free)

... и немного теории обмена данными. В частности, разберем боль всех, кто пишет небанальные обмены данными: как набору записей регистра сведений назначить гуид и далее использовать его в обмене для идентификации этого набора.

16.04.2019    23198    m-rv    18    

Фоновое выполнение кода в 1С - это просто

Практика программирования v8 1cv8.cf Бесплатно (free)

Как легко запускать выполнение в фоне, не прибегая к долгому описанию фоновых процедур.

02.08.2019    59431    avalakh    26    

Разбираемся с параметрами редактирования СКД

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Связь по типу, Параметры выбора, Связи параметров выбора

31.07.2019    40878    json    17    

СКД - наборы данных и связи между ними, создание собственной иерархии, вложенные отчеты

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Набор данных объект. Использование в схеме компоновки нескольких наборов данных. Различные варианты связи наборов: объединение, соединение. Использование иерархии в отчетах на СКД. Создание собственной иерархии, иерархия детальных записей. Использование вложенных схем в отчетах на СКД.

26.07.2019    103289    ids79    16    

Как сделать запрос на изменение данных Промо

Практика программирования v8 v8::Запросы 1cv8.cf Бесплатно (free)

В статье приведены особенности внутренней архитектуры и примеры работы с расширением языка запросов 1С.

01.06.2018    36594    m-rv    23    

СКД - использование расширений языка запросов, секция ХАРАКТЕРИСТИКИ

Инструментарий разработчика Практика программирования v8 v8::СКД Бесплатно (free)

Автоматическое и не автоматическое заполнение полей компоновки данных. Использование расширений языка запросов для СКД «{…}», секция ВЫБРАТЬ, секция ГДЕ, параметры виртуальных таблиц. Автоматизированное использование дополнительных данных в запросе: секция ХАРАКТЕРИСТИКИ.

17.07.2019    47775    ids79    27    

Регистры сведений. За кулисами

Практика программирования Разработка v8 1cv8.cf Бесплатно (free)

Небольшие заметки по внутреннему устройству регистров сведений.

09.07.2019    33542    YPermitin    14    

"Меньше копипаста!", или как Вася универсальную процедуру писал

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Программист Вася разбирает подход создания универсальных методов на примере программного вывода СКД.

04.07.2019    22399    SeiOkami    53    

Метод формирования движений в типовых регистрах нетиповыми регистраторами Промо

Практика программирования v8 1cv8.cf Бесплатно (free)

Вариант решения задач с проведением по типовым регистрам нетиповыми регистраторами. Зачем - чтобы при сравнении конфигурации не обращать внимание на свойства регистров и исключить вероятность допущения горькой оплошности при обновлении информационных баз, заменив типы регистраторов основной конфигурации типами конфигурации поставщика. Для программных продуктов, имеющих в своем составе метаданных документ "Корректировка регистров"("Корректировка записей регистров").

05.12.2017    30691    itriot11    34    

Работа с настройками системы компоновки данных

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Варианты отчетов, работа с настройками вариантов: структура группировок, поля отчета, отборы, сортировка, условное оформление, другие настройки, настройки отображения диаграмм.

02.07.2019    82559    ids79    18    

Создание отчетов с помощью СКД - основные понятия и элементы

Практика программирования Математика и алгоритмы v8 v8::СКД Бесплатно (free)

Основные принципы работы СКД. Понятия схемы компоновки и макета компоновки. Описание основных элементов схемы компоновки: наборы данных, поля, вычисляемые поля, ресурсы, параметры.

25.06.2019    74959    ids79    28    

Регистры накопления. Структура хранения в базе данных

Практика программирования Разработка v8 1cv8.cf Бесплатно (free)

Структура хранения регистров накопления в базе данных для платформы 1С:Предприятие 8.x. Первая часть в серии публикаций.

16.05.2019    62516    YPermitin    31    

HTML-клиент у конфигурации 1С

WEB v8 Бесплатно (free)

Приветствую. В этой публикации опишу свой опыт создания html-клиента для конфигурации 1С с помощью http-сервисов. HTML-клиент в этом случае - это frontend (html + css+ js), который генерирует и выдает пользователю конфигурация + backend, который тоже реализован в этой же конфигурации.

17.04.2019    21724    Smaylukk    122    

О расширениях замолвите слово...

Практика программирования Разработка v8 Бесплатно (free)

О чём стоит задуматься при принятии решения о создании расширения конфигурации…

07.04.2019    42259    ellavs    131    

Git-репозитории для 1С-кода (опыт использования при небольших проектах)

Практика программирования v8 Бесплатно (free)

Инструкции по взаимодействию с Git-репозиторием, которые писались для тех наших программистов, которые вообще никогда не работали с Git (руководства в духе "Как получить код из git-репозитория?", "Как отправить код в git-репозиторий")...

28.03.2019    31793    ellavs    90    

Трюки с внешними источниками данных

Практика программирования Разработка v8 1cv8.cf Бесплатно (free)

Некоторые трюки для преодоления ограничений внешних источников данных.

14.03.2019    40844    YPermitin    53