Спуск на уровень СУБД

Введение.

В одной из компаний где я когда-то работал, имелась собственная разработка на 1С 8.2 платформе.
Однажды мы пришли к понимаю что наша система работает не очень быстро. Оставалось понять в каком направлении двигаться, что бы оптимизировать работу системы. После долгих исследований и экспериментов, мы решили в серьез взяться за перенос некоторых операций на плечи СУБД, а именно на плечи MS SQL с помощью выполнения прямых запросов на стороне SQL Server, в обход сервера приложений 1С.

Тот случай был единственным где подобное решение было рациональным. Но те навыки что я получил в тот момент, с легкостью можно использовать для интеграций системы 1С с другими информационными системами.

Cтруктура базы данных 1С на уровне СУБД выглядит не совсем внятно.
Постараюсь описать что же из себя представляет эта структура. Описание будет не полное. Постараюсь описать лишь самое интересное и важное, из того что нужно понимать спускаясь на уровень СУБД.

Рассматриваем структуру хранения данных.

Каждый объект метаданных имеет определенный вид наименования таблиц. Например РегистрСведений начинается с "_InfoRg...", далее идет номер (идентификатор/индекс) регистра. А вот таблички начинающиеся с _InfoRgChng это таблицы содержащие в себе регистрацию изменений в регистре. Перечислять в данной статье все префиксы я не буду. Это можно сделать с помощью средсв 1С. По мере необходимости.

Гораздо интереснее рассказать о других особенностях.
Например о том что в каждой таблице есть внутренний уникальный идентификатор. Индексированное поле. В РегистреСведений это поле _SimpleKey. Его тип данных — binary(16), но фактически в нем хранится значение GUID, зашифрованное в binary. У документов таким полем является поле _Document#N_IDRRef, где N - это индекс документа. У перечисления _IDRRef. И так далее. Это помимо тех идентификаторов которые мы привыкли видеть в 1С. Хотя в самой платформе мы можем получить значение УУИД — это и будет наш GUID.

Ещё интереснее у нас хранятся данные составных полей. Точнее те поля, которые могут примнимать разнотипные значения.
Допустим у нас есть поле. И оно может хранить в себе Строку, Дату, Число, ссылку на справочник клиентов, и ссылку на справочник сотрудников. В 1С мы видим одно единственное поле. На деле же такое поле в базе данных будет иметь ряд полей. Давайте рассмотрим этот пример. Предположим что индекс нашего поля - 8818.

Если с простыми типами данных все ясно, то тип ссылки не так прост.

Наверняка вы зададите вопрос: Как можно определить тип ссылки? То есть, что означает индекс хранящийся в поле _Fld8818_RTRef?
Если мы переведем этот индекс из шестнадцатеричной системы счисления в десятичную, и затем посмотрим на список таблиц базы данных, то обязательно найдем таблицу, в имени которой содержится данный индекс. То есть мы можем по этому индексу получить таблицу, в которой содержится элемент, на который ссылается ссылка в нашем поле.

Зная индекс, мы можем найти необходимую таблицу простым запросом:

Select [TABLE_NAME] 
From INFORMATION_SCHEMA.TABLES
where TABLE_NAME like '%[A-Z,a-z]1950'

Где 1950 — искомый индекс.

Получаем структуру хранения средствами платформы 1С.

Остается вопрос, как нам определить, как некоторая таблица в конфигурации 1С, именуется на уровне СУБД, а так же, соответствие полей на уровне СУБД и конфигурации?
В этом нам поможет встроенная функция поставляемая вместе с платформой:

ПолучитьСтруктуруХраненияБазыДанных()

Данная функция возвращает структуру в которой мы можем по имени объекта в МетаДанных, получить имя объекта в базе данных. Точно так же в структуре содержаться и все поля объектов, и их наименования в базе данных. Но здесь уже начинаются подводные грабли. Которых вроде как и нет, и в тоже время они есть.

Важный момент. При вызове метода, обязательно нужно передать во второй параметр значение «Истина». Что это означает? Этот параметр означает будет ли структура отображать данные в формате 1С: Предприятие, либо в формате СУБД. В чем же разница?

Допустим мы отображаем данные в формате 1С: Предприятие.
Например, если мы попытаемся с помощью этой структуры узнать как называется в базе данных поле «Клиент», то получим к примеру такое имя «Fld1234». Вроде бы все хорошо. Но если мы попытаемся написать запрос к MS SQL:

Select Fld1234 From _InfoReg

Мы в 80% случаев — получим ошибку. Почему? А потому что это лишь общий вид наименования поля. Но стоит знать о том что во первых любое имя поля начинается с нижнего подчеркивания. Казалось бы прибавим к наименованию поля символ "_" и делов то! Но нет. Далее ещё интересней. В зависимости от содержимого поля и его типа, поле имеет определенный постфикс в наименовании. Например RRef — это значит что в поле содержится ссылка. А если просто значение то этого постфикса нет. А помните составные типы данных? Там вообще может быть куча различных постфиксов, при этом полей начинающихся на "_Fld1234" будет гораздо больше чем одно. И как же нам обойти это?
Легко. Те кто знает MS SQL, сразу догадались что на помощь придет системное представление INFORMATION_SCHEMA.COLUMNS
С помощью этого представления мы можем отобрать информацию по наименованию таблицы, и по тому ключевому наименованию поля.
Пример запроса:

Select COLUMN_NAME 
From INFORMATION_SCHEMA.COLUMNS 
where TABLE_NAME like 'ИмяОбъекта(Таблицы)' 
and COLUMN_NAME like 'ПервичноеИмяПоля%'

Данный запрос выдаст нам ряд полей, имена которых начинаются на "_Fld1234". Нам же останется эти данные обработать в нашей программе для использования в запросах к базе.

Но какие минусы у этого метода? Во первых для того что бы обратиться к базе, нам необходимо настроенное подключение к БД, через 1С. То есть дополнительные настройки. Но они нам в любом случае пригодятся, но представьте, у вас большой запрос. Нужно получить имена 20 полей. И каждый раз при этом обращаться к базе и искать там имена полей? Получать и использовать подключение? Это не очень оптимально. Плюс к тому полученные из базы данные, придется ещё как-то обрабатывать. Дополнительные действия. Да и словом - изобретение велосипеда.

Вот тут то нам и приходит на помощь функция

ПолучитьСтруктуруХраненияБазыДанных(,Истина)

Когда значение параметра ИменаБазыДанных = Истина, то функция в результирующую структуру сразу передает всю необходимую информацию по объектам. Включая все физические поля Базы данных. Если поле составное, то в структуре будут видны все физические поля составного поля. Это значительно облегчает нашу работу.

Использование прямых запросов. Отборы. Соединения и обращения через точку.

Как же нам использовать отбор в прямых запросах? Как отобрать данные по конкретному документу? Или по конкретному значению?

Все довольно просто, но снова есть нюансы.

Поля формата Дата. По умолчанию при использовании MS SQL сервера, дата 1С в базу помещается с прибавлением к году 2000. То есть дата в системе 1С «01.01.2013» будет выглядеть как «01.01.4013». Но и это ещё не все. Для того что бы в запросе произвести сравнение даты и оно прошло корректно, нам необходимо дату конвертировать в определенный формат.
По умолчанию в базе данных MSSQL используется формат ymd. Это означает что в дате сперва указан год, месяц и затем число. А выглядит дата следующим образом: 4013-01-01. Для использования в условиях сравнения или для прочих манипуляций нам эту дату нужно обрамлять в опострофы, так же как и строки.

Для преобразования даты в формат SQL я написал для себя такую простенькую функцию:

Функция ДатаВSQL(ЗнДата, Время = Ложь) Экспорт
	Год = Год(ЗнДата);
	Год = Год + 2000;
	Год = Строка(Год);
	Год = СтрЗаменить(Год,Символ(160),"");
	Месяц = Строка(Месяц(ЗнДата));
	День = Строка(День(ЗнДата));
	Месяц = ДобавитьНуль(Месяц, 2);
	День = ДобавитьНуль(День, 2);
	Если Время Тогда
		ЧЧ = ДобавитьНуль(Час(ЗнДата),2);
		ММ = ДобавитьНуль(Минута(ЗнДата),2);
		СС = "00";
		Возврат "'"+Год+"-"+Месяц+"-"+День+" "+ЧЧ+":"+ММ+":"+СС+"'";
	Иначе
		Возврат "'"+Год+"-"+Месяц+"-"+День+"'";
	КонецЕсли;
КонецФункции

Данная функция возвращает готовую дату, в нужном формате в виде строки, остается только подставить в текст запроса. Если у вас в MS SQL по каким то причинам установлен иной формат даты, можно на момент исполнения запроса его поменять. Делается это так:

set dateformat ymd

Либо надо будет переделать представление даты в своем запросе.

Теперь нам нужно отобрать записи по определенному элементу справочника. Как это сделать?
Изначально, когда я не знал о существовании функции ЗначениеВСтрокуВнутр(), для своих нужно я написал пару функций, для получения ссылок на справочники и на документы. Выглядят они так:

Функция ПолучитьВнутрСсылкуПоНомеру(Номер,Объект) Экспорт
    БуфЗапрос = "Select master.dbo.fn_varbintohexstr([_IDRRef]) From _"+ПолучитьНаименованиеОбъектаБД(Объект)+" Where _Number like '"+Строка(Номер)+"'";
    Возврат ПолучитьЗначениеИзБазы(БуфЗапрос);
КонецФункции

Функция ПолучитьВнутрСсылкуПоКоду(Код,Объект) Экспорт
    БуфЗапрос = "Select master.dbo.fn_varbintohexstr([_IDRRef]) From _"+ПолучитьНаименованиеОбъектаБД(Объект)+" Where _Code like '"+Строка(Код)+"'";
    Возврат ПолучитьЗначениеИзБазы(БуфЗапрос);
КонецФункции

Как видно в коде, мы строим простой запрос, и получаем из базы значение ID, которое храниться в базе данных. Объект — это у нас наименование справочника либо документа, а код — код элемента справочника или документа.
Функция master.dbo.fn_varbintohexstr() — позволяет преобразовать значение формата binary в строку.
Но использовать эту функцию — не обазательно.

Полученный ID имеет примерно такой вид: 0xa8ed00221591466911e17da9fd549878
В запросе мы его можем сравнивать как строку

where master.dbo.fn_varbintohexstr(_fld1234RRef) = '0xa8ed00221591466911e17da9fd549878'

Но в таком случае запрос будет отрабатывать дольше. Так как на преобразование в строку тоже нужно время.
Поэтому лучше сравнение делать таким образом:

where _fld1234RRef = 0xa8ed00221591466911e17da9fd549878

Предыдущий вариант использовать можно, но на самом деле, имеется более универсальный и оптимальный способ получить ссылку. Он приведен в функции что показана ниже:

Функция ПолучитьВнутрСсылку(лСсылка) Экспорт
	Если лСсылка = Неопределено Тогда
		Возврат "";
	КонецЕсли;
	Зн = ЗначениеВСтрокуВнутр(лСсылка); //Тот самый метод, о котором я писал выше.
	Зн = "0x" + Лев(Прав(Зн, 33), 32);
	Возврат Зн;
КонецФункции

А давайте представим что нам нужно в запросе сделать внутреннее соединение. И сравнение должно происходить с полем через точку?
То есть, для сравнения нам необходимо проверять одно условие, что дата в основной таблице, равна дате, которая содержится в документе, ссылка на который содержится в присоединяемой таблице.
В 1С это будет выглядеть примерно так

...
ВНУТРЕННЕЕ СОЕДИНЕНИЕ РегистрСведений.СписокДействующих КАК Регистр
По Регистр.Регистратор.Дата = Док.Дата
...

Как же описать это с помощью MS SQL? В том месте запроса, где описываются соединения, компилятор запросов ещё не знает о том что в таблице регистра есть ссылка на регистратор, и что это в свою очередь есть документ, а у этого документа есть дата. Описать ещё одно соединение? Не поможет. Словом я пытался это сделать всяко. Но в итоге решение свелось к вложенному запросу. (если кто-то найдет реальную альтернативу, буду рад узнать ваш способ).

Выше приведенный фрагмент на чистом SQL будет выглядить так:

...
INNER JOIN РегистрСведений.СписокДействующих Register
ON ((select _Date_Time from НашДокумент DocPlan where Register.Источник = DocPlan._IDRRef) = НашаТаблица.DocDate)
...

В запросе мы видим, что во вложенном запросе делаем выборку из таблицы документа, где ID документа равен ID который записан в поле нашей таблицы «Источник», и далее полученное значение _Date_Time сравниваем с датой из нашей таблицы. Все логично и просто. Думаю теперь мы понимаем, во что превращаются наши обращения к полям и объектам через точку, в запросах 1С, когда они транслируются на SQL запрос. И теперь становится понятно почему такие обращения затормаживают работу запросов.

Очень рекомендую вам поэксперементировать с различными запросами, используя инструмент SQL Server Profiler. С его помощью вы сможете увидеть, во что превращаются ваши запросы написанные на языке запросов 1С, пройдя трансляцию на сервере приложений 1С. Особенно интересно вам будет посмотреть что из себя представляют такие виртуальные таблицы как "СрезПоследних".

Тот пример который я описал выше, с внутренним соединеним, 1С сервер скорее всего реализует немного по другому. Но у него свои методы, с использованием переменных, значения которых заполняются серверов приложений перед выполнением запроса.
Ниже я приведу один пример.

Допустим у нас есть запрос в формате 1С:

ВЫБРАТЬ ПЕРВЫЕ 10
	Сроки.Регистратор.ДатаНачала,
	Док.ДатаНачала
ИЗ 
	РегистрСведений.СрокиДоговора КАК Сроки
	ЛЕВОЕ СОЕДИНЕНИЕ Документ.esc_ДСП КАК Док
		ПО Сроки.Регистратор = Док.Ссылка
			И Сроки.Регистратор.ДатаНачала = Док.ДатаНачала

Как мы видим, ситуация аналогичная, как я приводил выше, только соединение не внутреннее, а левое. Как же 1С Сервер приложений траслирует такой запрос?

С помощью SQL Server Profiler мы сможем это увидеть. На картинке выше, показан запрос сервера приложений. Как я и писал выше, мы видим что сервер приложений использует переменные, в которые заранее пишет соответствующие ID. Но нам при использовании прямых запросов, проще было использовать именно вложенный запрос, для нас это универсальное решение, так как не придется подставлять значения переменным.

Будет замечательно если вы самостоятельно изучите различные запросы в таком виде. Возможно это поможет вам оптимизировать ваши запросы.

Для решения каких задач нам могут понадобиться прямые запросы к базе данных?

Думаю данная возможность понадобиться при активной разработки своих собственных решений, либо при реструктуризации готовых решений. В тех случаях, когда в отладочных целях, либо ещё по каким-то причинам, нам придётся переносить большие объемы данных с одной таблицы в другую, либо разбивать данные на несколько таблиц.
Для интеграции 1С с другими, сторонними разработками. Например вывод данных из 1С в какую-нибудь стороннюю программу анализа продаж или что-то похожее.
Оптимизация массивных обработок данных. Когда нам необходимо обработать большое количество данных, при этом внося какие-то изменения, корректировки и т.п. Например копирование записей регистра сведений с изменением какого-либо поля средствами 1С, займет куда больше времени, чем выполнение операции T-SQL Update

Учимся получать доступ к СУБД из 1С.

Для работы с СУБД на прямую, в обход сервера приложений 1С, нам потребуется использовать COM объекты - ADO.
Первым делом нам понадобится строка подключения к базе данных. У нас даже есть возможность формировать эту строку через стандартный интерфейс Windows. Это значительно облегчает процесс подключения к БД.

Интерфейс настройки подключения к базе данных.

Давайте рассмотрим пример работы с ADO.

В данном фрагменте кода, мы создаем объект подключения к базе данных. А так же с помощью объекта DataLinks, получаем строку подключения к базе данных используя пользовательский интерфейс настройки этого самого подключения.

Соединение = Новый COMОбъект("ADODB.Connection");
ДатаЛ = Новый COMОбъект("DataLinks");
Соединение.ConnectionString = "Provider=SQLOLEDB.1;Integrated Security=SSPI;"; // Зададим первоначальные настройки, что бы не выбирать руками вид СУБД.
ДатаЛ.PromptEdit(Соединение); // Отобразим диалог настройки подключения к базе (см. рис. 1)
ConnectionString = Соединение.ConnectionString; // Полученную строку присвоим к глобальной переменной, для дальнейшей работы с ней. 
Соединение = Неопределено;

После того как мы получим строку подключения, нам скорее всего захочется отдельные её части разместить на форме, для того что бы пользователь мог исправлять отдельно взятые опции подключения. Следовательно строку необходимо распарсить. Я пока (на момент написания статьи) нашел лишь один способ это сделать, и привожу его ниже. Если кто-то подскажет более элегантный способ парсинга строк, будет здорово.

//Данная функция парсит строку подключения и извлекает необходимое значение
Функция ЗначениеИзСтрокиПодключения(СтрокаПодключения,Значение)
    Результат = "";
    ПозицияСтарта = Найти(СтрокаПодключения,Значение+"=");
    Если ПозицияСтарта > 0 Тогда
        ПозицияСтарта = ПозицияСтарта + СтрДлина(Значение)+1;
    Иначе 
        Возврат Результат;
    КонецЕсли;
    К = ПозицияСтарта;
    Дл = СтрДлина(СтрокаПодключения);
    Пока (Сред(СтрокаПодключения,К,1) <> ";") И (К

Теперь мы сохранили параметры подключения базы данных на форме, при желании можем их сохранить в базу данных. 

Далее надо предусмотреть вариант, когда пользователь (чаще всего мы сами), изменит наименование базы данных или тайм аут прямо в форме обработки, минуя форму редактирования строки подключения. На такой случай создадим такую функцию, которая будет формировать строку подключения собирая данные из визуальных контролов формы. Выглядит она примерно так:

Функция ПолучитьСтрокуПодключения()
    Строка = "Provider=SQLOLEDB.1;";
    Если ЭлементыФормы.флВинАутентификация.Значение Тогда
        Строка = Строка + "Integrated Security=SSPI;"
    Иначе
        Строка = Строка + "Password="+ЭлементыФормы.Пароль.Значение+";";
        Строка = Строка + "Persist Security Info=True;";
        Строка = Строка + "User ID="+ЭлементыФормы.Пользователь.Значение+";";
    КонецЕсли;
    Строка = Строка + "Initial Catalog="+ИмяБазыДанных+";Data Source="+Сервер1С;
    
    Возврат Строка;
КонецФункции

Теперь когда все (или почти все) вопросы со строкой подключения решены, давайте попытаемся воспользоваться ею, для обращения к базе данных.
В первую очередь, думаю нам понадобится функция для проверки подключения. Опишем её таким образом:

// Параметр "CS" - это строка подключения которую мы можем передать для проверки. Если не передаем, 
// то строка собирается из визуальных контролов
Функция ПроверкаПодключения(CS = "")
    
    Соединение = Новый COMОбъект("ADODB.Connection"); //Создаем подключение
    Если CS = "" Тогда 
        СтрокаКоннекта = ПолучитьСтрокуПодключения();
    Иначе
        СтрокаКоннекта = CS;
    КонецЕсли;
    Соединение.ConnectionTimeOut = 6; //Жестко зададим минимальный TimeOut что бы не ждать долго при неудачной попытке.
    Попытка
        Соединение.Open(СтрокаКоннекта);
    Исключение
        Сообщить(ОписаниеОшибки());
        Возврат Ложь;
    КонецПопытки;
    Возврат Истина;
    
КонецФункции

После выполнения данной функции нам станет ясно, можно ли работать дальше, или соединение с базой установить не удалось, и следовательно дальше что-либо делать с подключением — бесполезно. Кстати, для оптимизации функцию получения объекта ADODB.Connection можно разместить в общем модуле, в настройках которого выставлено «Повторное использование». Это позволит не создавать каждый раз новый объект подключения, а будет использоваться уже созданный объект. В теории это позволит сократить время вызова соединения, а так же совсем чуть-чуть сэкономит ресурсы системы.

Если тест подключения к базе проходит нормально, мы можем смело открывать подключение и используя его, обращаться к базе данных. Для того что бы выполнить запрос, нам понадобится объект ADODB.Command. Если наш запрос подразумевает возврат набора записей, или одного значения, в таком случае, нам так же понадобится объект ADODB.RecordSet. Каким образом мы можем работать с этими объектами в 1С? Давайте рассмотрим пример.
Первым делом нам необходимо создать и открыть подключение к базе данных. Делаем это так как показано в примере ниже.

    Соединение = Новый COMОбъект("ADODB.Connection");
    СтрокаКоннекта = ПолучитьСтрокуПодключения();
    Соединение.ConnectionTimeOut = Число(ЭлементыФормы.ТаймАут.Значение);
    Попытка
        Соединение.Open(СтрокаКоннекта);
    Исключение
        Сообщить(ОписаниеОшибки(),СтатусСообщения.ОченьВажное);
        Возврат Неопределено;
    КонецПопытки;

Следующим шагом нам необходимо используя данное подключение, выполнить T-SQL запрос. Следовательно необходимо создать объект ADODB.Command.

ЗапросАДО = Новый COMОбъект("ADODB.Command");
ЗапросАДО.CommandText = "Select * From SomeTable";
ЗапросАДО.ActiveConnection = Соединение;

Причем заметьте, что свойству ActiveConnection мы присваиваем ранее созданное подключение к базе. Теперь когда объект у нас создан, нам остается лишь воспользоваться им. Если нам необходимо просто выполнить запрос, который не вернет никаких результатов, то будет достаточно одной простой команды, которая показана ниже.

ЗапросАДО.Execute();

После выполнения этой команды, в MS SQL будет выполнен T-SQL скрипт, который мы задали в свойстве CommandText у объекта ADODB.Command.
Если же нам необходимо получить какие-то данные из базы, в таком случае нам придется задействовать ещё один компонент: ADODB.RecordSet. Как понятно из названия — это набор записей. И результат выборки нам необходимо поместить именно туда, прежде чем мы сможем этот набор как-то обрабатывать.
Пример использования набора записей приведен ниже.

    Попытка
        НаборЗаписей = Новый COMОбъект("ADODB.ReсordSеt");
        НаборЗаписей = ЗапросАДО.Execute();
    Исключение
        Сообщить(ОписаниеОшибки(),СтатусСообщения.ОченьВажное);
        Возврат Неопределено;
    Конецпопытки;

    Попытка
        НаборЗаписей.MoveFirst();
    Исключение //нет записей в рекордсете
        Сообщить(ОписаниеОшибки(),СтатусСообщения.ОченьВажное);
        Возврат Неопределено;
    КонецПопытки;

    Пока НаборЗаписей.EOF() = 0 Цикл
        Сообщить(Строка(НаборЗаписей.Fields(0).Value));
        НаборЗаписей.MoveNext();
    КонецЦикла;
    
    Соединение.Close();
    ЗапросАДО = Неопределено;
    Соединение = Неопределено;

Как видно в примере, мы выполняем все туже команду ЗапросАДО.Execute(), только на этот раз результат этой команды присваивается объекту НаборЗаписей , который собственно и представляет из себя набор записей ADODB.RecordSet. Когда набор записей получает результат выборки, мы можем этот результат обрабатывать. Но первым делом нам надо сдвинуть курсор с места. Для этого мы выполняем первую команду НаборЗаписей.MoveFirst(). Мы оборачиваем её обработкой исключения потому что если набор записей не будет содержать ни одной строки, то данная команда приведет к ошибке. Поэтому мы намерено отлавливаем данное исключение и в случае если оно происходит, сообщаем об этом пользователю в корректном виде.
Если же записи имеются, то мы открываем цикл, который будет выполняться до тех пор, пока не встретиться конец набора записей. В цикле же мы описываем обработку данных. В своем примере я указал вывод через сообщение(), значения нулевого поля запроса. Но при необходимости мы так же можем присваивать значения в таблицы значений, структуры, массивы и списки значений.