Распаковка хранилища значений средствами MS SQL Server

Публикация № 1125887

Разработка - Практика программирования

ХранилищеЗначения хранимые процедуры функции скалярные SQL C#

Способ извлечения данных из 1С-ного "ХранилищеЗначений" в MS SQL Server с помощью самописной скалярной функции (без использования платформы 1С).

В своей предыдущей публикации я продемонстрировал возможность создавать хранимые процедуры на языке C# для расширения возможностей MS SQL Server.

Сегодня я покажу, как можно подобным образом распаковать 1С-ное хранилище значений, используя только хранимые функции в SQL.

В приложении к данной публикации находится сборка (HZ.dll), которая содержит в себе алгоритм по распаковке бинарных данных с помощью своей скалярной функции MS SQL Server, получаемых в результате помещения данных в ХранилищеЗначения с помощью платформы 1С.


Настройка:

Создадим на скуле объект сборки в разделе "Программирование":

CREATE ASSEMBLY HZ FROM '<PATH_TO_ASSEMBLY>\HZ.dll'
WITH PERMISSION_SET=EXTERNAL_ACCESS
GO

Затем создадим нашу скалярную функцию:

CREATE FUNCTION UnpackVS(@binData varbinary(max)) RETURNS nvarchar(max)
AS EXTERNAL NAME HZ.ValueStorage.UnpackVS;
GO

Должно получиться подобно этому:


Подготовка тестовых данных:

Создадим в базе 1С, например, новый регистр сведений с одним измерением типа УникальныйИдентификатор и одним ресурсом типа ХранилищеЗначения:

Заполним его тестовой записью:


Проверка:

Найдем в SQL базе таблицу, соответствующую созданному регистру сведений и сделаем запрос:

Полный вид данных, полученных из хранилища значения:


P.S.1:

Алгоритм распаковки вытаскивает из хранилища значений только основной набор данных. После основных данных могут идти еще и бинарные данные, например, картинки, вставленные в табличный документ, который запаковывается в ХранилищеЗначения. Но пока не разобрался со структурой данного формата.


P.S.2:

Не используйте данную функцию к тысячам записей, т. к. это будет не быстро. Также SQL не сможет отобразить большие по размеру распакованные данные, для этого применяйте разбиение строки на подстроки с дальнейшей склейкой результатов на фронт-энде:

,SUBSTRING(dbo.UnpackVS(T.[_Fld9739]),     0, 40000) as HZ_part1
,SUBSTRING(dbo.UnpackVS(T.[_Fld9739]), 40000, 40000) as HZ_part2

Таким простым способом можно использовать самописные функции в SQL, расширяя его возможности.

Скачать файлы

Наименование Файл Версия Размер
Сборка

.dll 18,50Kb
23.09.19
1
.dll 1.0.0.0 18,50Kb 1 Скачать

Специальные предложения

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. DrZombi 173 24.09.19 09:47 Сейчас в теме
где исходники?
вы с большей вероятностью могли вложить вирус в свою поделку... сир
2. SerVer1C 267 24.09.19 10:31 Сейчас в теме
(1)
могли вложить вирус в свою поделку
Не для этого пишу здесь )))
Вам и в платформе вирус могут подсунуть. Используйте средства защиты )
https://www.virustotal.com/gui/file/942da1ec360cee0a62df85fafc86f17fa340ccf9880d12e­617e88adc2c0453ba/detection
YaroslavHolovatiy; +1 3 Ответить
3. Darklight 24 24.09.19 16:31 Сейчас в теме
(2)(1)Согалсен, такие наработки лучше в исходниках выкладывать. Вряд ли у Вас там технологиченская тайна на миллион, хотя бы рублей. Да и, вовсе, не продаёте Вы данный инструмент. Зачем скрывать исходник? Он настолько объёмен и уникален, что Вам жалко им делиться?
5. SerVer1C 267 25.09.19 09:17 Сейчас в теме
(3) Кому очень нужно - тот свой алгоритм разработает. Для остальных - есть готовый продукт. Как посчитаю нужным выложить сорцы, так обязательно это сделаю.
4. Darklight 24 24.09.19 16:43 Сейчас в теме
А в чём смысл распаковывания именно на SQL хранилища значений? Алгоритмам (вне 1С), которым это надо проще распаковать их уже после получения из СУБД. Разве нет? Уж очень специфическая область применения распаковки на SQL - выходит. Тем более что в таком строковом представлении значения в формате сериализации в строку внутр 1С - тоже не особо кому интересно. На SQL более менее интересной может быть только распаковка значений, которые можно будет представить их в виде таблиц. Даже структуру можно было бы далее распаковать в датасет - конечно тут что-то нужно с вложенностью придумывать - но простейший случай - это распаковать в развёрнутом виде - где вложенные уровни хранятся в той же таблице - в других строках - а доступ к ним - классический - по ключу и левому соединению с самим собой.
Но структура внутри может содержать не только значения типа "Структура" - тут сразу нужно делать универсальное решение распаковки в таблицу для объектов (в т.ч. вложенных): "ТаблицаЗначений","ДеревоЗначений", "СписокЗначений", "Структура"(в т.ч. фиксированная), "Соответствие", "Массив". Примитивные типы (а так же УникальныйИдентификатор) тоже можно распаковать, и ссылочные типы -обязательно тоже надо распаковать - остальное - можно пока оставить как есть - вот тогда будет польза в SQL распаковке - тогда к такому датасету можно будет делать SQL запросы, в т.ч. соединять его с таблицами БД.
6. SerVer1C 267 25.09.19 09:19 Сейчас в теме
(4) Данный пример имеет больше академическую ценность, чем практическую. В статье уклон идет больше в сторону создания самописных функций в SQL.
7. Darklight 24 25.09.19 12:00 Сейчас в теме
(6)Вот лучше бы сделали что-то более практическое (и как раз более сложное) - чтобы как раз можно было бы именно использовать на практике, а не для изучения без исходников
8. SerVer1C 267 25.09.19 16:48 Сейчас в теме
(7) Следите за моими публикациями...
9. GreenDragon 01.10.19 15:50 Сейчас в теме
Сперва плюсанул, а потом глянул что автор ответил на вопрос про исходники. Нет уж, спасибо. И это на фоне некоей "академической ценности" публикации, как заверяет автор.
10. SerVer1C 267 01.10.19 19:52 Сейчас в теме
(9) Я знаю другие "площадки", где можно распространять вирусы на очень широкую публику. Здесь ради 5-10 потенциальных скачиваний вообще не вижу смысла терять репутацию и никаких "плюшек" я от этого точно не получу.
11. GreenDragon 01.10.19 19:55 Сейчас в теме
(10) Так много букв, вместо обычного репозитория на github или bitbucket. В общем, удачи. Когда "посчитаете нужным выложить сорцы", они никому уже и даром не нужны будут.
Оставьте свое сообщение

См. также

Вам нравятся запросы в 1С? Промо

Практика программирования Разработка v8 v8::Запросы 1cv8.cf Абонемент ($m)

Речь не только о том, что простейший запрос с "легальным" оформлением растянется на пол-экрана, речь еще обо всем, что нужно написать "в нагрузку" к тексту запроса. Все эти "Новый Запрос", "УстановитьПараметр" и последующие пляски с обработкой результата... Пора с этим заканчивать!

1 стартмани

03.07.2019    20463    4    m-rv    86    

Загрузка файлов на сервер с использованием HTTP-сервиса 1С (multipart/form-data).

Практика программирования WEB Абонемент ($m)

Вариант загрузки файлов в составных данных методом POST (multipart/form-data) на примере демонстрационной базы.

1 стартмани

12.08.2020    2527    6    ltfriend    4    

Конвертация PDF в 1С

Практика программирования Разработка внешних компонент Абонемент ($m)

COM-компонента для работы с PDF.

4 стартмани

31.03.2020    6778    13    SerVer1C    31    

Расширяем возможности MS SQL Server с помощью хранимых процедур CLR

Практика программирования Разработка Абонемент ($m)

Не хватает какого-то функционала на скуле для обработки данных? Тогда он (новый функционал) идет к вам.

1 стартмани

02.09.2019    8298    0    SerVer1C    9    

ВСТАВИТЬ В Справочник.Номенклатура (Код, Наименование) ЗНАЧЕНИЯ ("001", "Новый товар") Промо

Практика программирования v8 v8::Запросы 1cv8.cf Абонемент ($m)

Вас не обманывают ваши глаза, это запрос на изменение данных! И это работает без прямого доступа к БД, регистрации и смс.

1 стартмани

01.06.2018    30358    86    m-rv    57    

Перфолента, первое знакомство. Новый язык программирования

Практика программирования Инструментарий разработчика Абонемент ($m)

Первое знакомство с новым языком программирования Перфолента. В статье описано назначение языка, причины его появления, основные характеристики и возможные варианты использования.

22.07.2019    20361    21    Perfolenta    165    

Настраиваемое мобильное приложение для сканирования штрихкодов

Практика программирования Сканер штрих-кода Мобильная разработка Абонемент ($m)

Обзор приложения для сканирования штрихкодов с возможностью обработки результата сканирования произвольным кодом для совместного использования с Android приложениями через Intent и взаимодействие с 1С конфигурациями через web-сервис.

1 стартмани

14.01.2019    8744    4    inord777    9    

Работа с публикациями "Инфостарт"

Практика программирования О сообществе WEB v8 УУ Абонемент ($m)

Работа с рублевыми публикациями на сайте "Инфостарт": ведение клиентов, заказов, обновление файлов публикации, рассылка обновлений.

1 стартмани

13.09.2018    21679    13    RocKeR_13    16    

Заполняем по шаблону (по умолчанию) Промо

Практика программирования v8 v8::УФ 1cv8.cf Абонемент ($m)

Простой в подключении, универсальный и достаточно удобный механизм заполнения реквизитов произвольных документов/справочников значениями по умолчанию. Реализован в расширении, но может быть и непосредственно включен практически в любую конфигурацию на управляемых формах простым копированием одной формы и двух команд. Весь код в статье.

1 стартмани

08.02.2018    28200    19    mvxyz    17    

Создаем объекты для модуля Bootstarp на Русском Фоксе

Практика программирования Россия Абонемент ($m)

Создавайте свой модуль с объектами для модуля Bootstrap, пакуйте их fxp-файлы и создавайте сайты из этих кубиков. Разберем, как это делать. Все гениальное должно быть простым, как теория относительности.

1 стартмани

19.08.2018    6512    0    andreosh    3    

РусскийФокс и BootStrap

Практика программирования Россия Абонемент ($m)

РусскийФокс вносит новый технологический подход в сайтостроение. Теперь вы можете ограничиться знанием Русского Фокса и не иметь знаний по HTML, CSS, JavaScript, PHP, чтоб создавать сайты.

1 стартмани

16.08.2018    6859    1    andreosh    18    

Позиционирование в помещении с помощью нейросети по сигналу Wi-Fi. Интерактивная карта склада в 1С с показом позиции

Инструментарий разработчика Практика программирования v8 Абонемент ($m)

Данная публикация содержит в себе редактор и интерактивную карту склада или иного помещения, на которой в реальном времени отображается позиция устройства, координаты которого вычисляются по уровням сигнала нескольких роутеров Wi-Fi. В статье и приложенным к ней разработкам предлагаются инструменты и методика для реализации вычисления точной геопозиции внутри помещений с помощью нейронной сети. Конфигурация написана на релизе 1С:Предприятие 8.3.12.1412, клиентское приложение имеет минимальный уровень совместимости SDK -16.

5 стартмани

09.08.2018    28042    26    informa1555    26    

Нечеткий поиск одним запросом Промо

Практика программирования v8 1cv8.cf Абонемент ($m)

Использование механизма полнотекстового поиска в 1С не всегда оправдано, т.к. построение индекса и поддержание его в актуальном состоянии может значительно нагружать систему. Предлагаемая реализация нечеткого поиска методом N-грамм выполняется одним запросом, что позволяет производить поиск в любой таблице и не требует предварительного построения индекса.

1 стартмани

28.12.2015    27667    70    vasvl123    9    

РусскийФокс. Изменение DBF-файла и назначение командных клавиш

Практика программирования Файловые протоколы обмена, FTP Россия Абонемент ($m)

- Шарапов, ты Русского Фокса знаешь ? - Конечно, Глеб. Я же программирую на Русском Фоксе. РусскийФокс (1C-подобный язык программирования) создает DBF-файлы и выгружает данные из DBF в XML.

1 стартмани

01.08.2018    6413    0    andreosh    2    

РусскийФокс. Создание DBF-файла, выгрузка в XML.

Практика программирования Россия Абонемент ($m)

Новый объектно-ориентированный русскоязычный 1С-подобный язык программирования РусскийФокс. . РусскийФокс создает DBF-файлы и выгружает данные из DBF в XML. Голосуйте за доклад о РусскийФокс на Инфостарт.

1 стартмани

28.07.2018    6277    2    andreosh    0    

РусскийФокс и ClickerMann заносят данные в 1С

Сервисные утилиты Практика программирования Россия Абонемент ($m)

Новый объектно-ориентированный русскоязычный 1С-подобный язык программирования РусскийФокс. . РусскийФокс создает сценарии для Clickermann. Сценарий заполняет справочник в 1С.

1 стартмани

21.07.2018    11100    1    andreosh    20    

1С: Предприятие + корпоративный чат, как наладить оперативные уведомления за 10 минут Промо

Практика программирования v8 Абонемент ($m)

Как сделать автоматические уведомления о разных событиях из 1С в корпоративный чат MyChat для сотрудников компании

1 стартмани

14.08.2016    48055    36    Demanoidos    60    

Работа с данными выбора

Практика программирования Работа с интерфейсом v8 Россия Абонемент ($m)

В управляемом интерфейсе заложена мощная возможность описывать связи реквизитов формы через параметры. Установка параметров связей позволяет ограничить выбор данных так, чтобы целостность данных была обеспечена на этапе ввода. Однако без дополнительного программирования задать можно только самые простые связи. Такие условия связи, как зависимость от реквизита через точку или зависимость через дополнительное отношение, заданное в регистре сведений - уже задать без программирования не получится.

1 стартмани

17.07.2018    47165    17    kalyaka    16    

РусскийФокс и OpenOffice, а также исследование объектов

Практика программирования Россия Абонемент ($m)

Новый объектно-ориентированный русскоязычный 1С-подобный язык программирования РусскийФокс. . Взаимодействие с OpenOffice. GitHub https://github.com/UfaScript/RusFox

1 стартмани

12.07.2018    6699    1    andreosh    2    

РусскийФокс — 1С-подобный язык программирования

Практика программирования Математика и алгоритмы Россия Абонемент ($m)

Новый объектно-ориентированный русскоязычный 1С-подобный язык программирования РусскийФокс. Знакомство.

1 стартмани

03.07.2018    10381    1    andreosh    50    

Быстрое определение интервалов в запросе Промо

Практика программирования v8 Абонемент ($m)

В статье описывается новый метод определения интервалов между данными различных записей в запросе. В отличие от общеизвестного метода, время работы предлагаемого метода зависит от объема данных ЛИНЕЙНО. Это обеспечивает ему значительный выигрыш по быстродействию на больших объемах данных. В качестве иллюстрации возможностей метода приведен отчет, показывающий гистограмму распределения времени между продажами.

1 стартмани

01.10.2015    51390    35    ildarovich    41    

Длинная арифметика (Bignum arithmetic) c COM-интерфейсом (ActiveX) на библиотеках MPIR

Инструментарий разработчика Практика программирования Россия Абонемент ($m)

Расчеты любой точности в вашем программном продукте, поддерживающем стандарт COM. Размер/точность длинного числа зависит только от вашей оперативной памяти. Проект основан на исходниках библиотеки MPIR, Edition 3.0.0. Полностью написан на С/С++ (COM.DLL).

1 стартмани

12.04.2018    6827    1    bedvit    4    

Веб-разработка на 1С (1Script)

Практика программирования Абонемент ($m)

Дорогие коллеги, под новый год хочется сделать небольшой сюрприз. Я уже два года обещаю сделать движок веб-разработки для 1С-ников, и вот, наконец, есть что показать. Этим новогодним постом я открываю сериал "Веб-разработка для 1С-ников". Все, кто знаком с проектом OneScript – добро пожаловать! Остальные, тоже не стесняйтесь!

1 стартмани

28.12.2017    29439    22    Evil Beaver    81    

Печатная форма, сделанная как расширение конфигурации для БП 3.0. Новые возможности БСП

Практика программирования Универсальные печатные формы v8 БП3.0 Абонемент ($m)

Печатные формы на внешних обработках скоро канут в лету. На смену им приходят ПФ, реализованные в виде расширений конфигурации. Не нашел на сайте примеров таких расширений. Привожу пример подобного расширения для БП 3.0.

1 стартмани

06.12.2017    26993    53    kwazi    6    

Программа для изменения осей движения мыши - IMouse

Практика программирования Россия Абонемент ($m)

Программа предназначена для изменения движения курсора мыши.

1 стартмани

10.08.2017    12521    3    GubinDenis    17    

Расширения конфигураций 1С: учимся перехватывать методы

Практика программирования v8 v8::УФ 1cv8.cf Абонемент ($m)

В этой статье я на примерах разберу некоторые механизмы расширений конфигураций 1С. А именно «перехваты» методов модуля объекта и «перехваты» событий формы и элементов формы. Данная статья написана с учебными целями, чтобы показать, как при помощи расширений конфигурации можно делать такие доработки, ради которых раньше приходилось снимать конфигурацию с поддержки.

1 стартмани

30.05.2017    128950    13    signum2009    48    

СКД. Использование встроенного макета, разделителя страниц

Практика программирования v8::СКД 1cv8.cf Абонемент ($m)

Пример работы с макетом СКД для начинающих программистов. За основу взят справочник подразделений, который есть в большинстве конфигураций. Показано, как вывести заголовок, детальные записи, подвал группировки и общий подвал. Приведен пример вставки разделителя страниц. Отчет можно использовать в любой конфигурации 1С: 8.

1 стартмани

31.03.2017    15195    18    Vin_Tik    0    

Программа "Назад в прошлое"

Практика программирования Абонемент ($m)

На панельке винды появляется человечек, которым можно управлять: бегать туда-сюда, прыгать, стрелять.

1 стартмани

24.06.2016    11626    3    fierylions    1    

Хранение файлов в томах на диске (для УПП 1.3)

Практика программирования v8 УПП1 Абонемент ($m)

Доработка типовой УПП 1.3 в плане хранения присоединенных файлов вне базы данных

2 стартмани

05.06.2016    57243    10    wowik    32    

Остатки на каждый день в запросе

Практика программирования Учет ТМЦ Учет ТМЦ v8 1cv8.cf УУ Абонемент ($m)

Запрос формирует остатки товаров на каждый день в пределах выбранного периода.

1 стартмани

26.04.2016    58325    19    arakelyan    18    

Выполнение JavaScript кода из 1С в объекте Поле HTML Документа (HTML 5) и вызов события в 1С ПриНажатии

Практика программирования v8 1cv8.cf Россия Абонемент ($m)

Пример выполнения JS кода из 1С в Поле HTML Документа под управляемыми формами, с удобным получением результата в 1С(С помощью вызова привязанного события ПриНажатии к элементу ПолеHTMLДокумента)

1 стартмани

22.03.2016    80799    158    igo1    54    

Количество дней недели (понедельников/вторников/...) в заданном диапазоне одним запросом

Практика программирования v8 Абонемент ($m)

При реализации периодического авто-заполнения маршрутных листов по графику (недельному) необходимо было просчитать стоимость всего периода, с условием выездов только по определенным дням. Заморачиваться с обходом результата не хотелось. Пришлось написать "Небольшой" запрос.

1 стартмани

03.03.2016    18229    1    Alexander.Shvets    5    

Групповое изменение изображений (размер, ориентация и переименование)

Практика программирования Абонемент ($m)

Программа для группового изменения размера, ориентации изображений

1 стартмани

24.02.2016    8147    4    infoprograms    2    

Edit Pictures - Программа для поворота картинок на определенный угол (с параметрами запуска)

Практика программирования Абонемент ($m)

Программа для поворота картинок под определенный угол.

1 стартмани

23.02.2016    10453    8    fierylions    1    

Простые радости жизни программиста 1С: выбор типа значения

Работа с интерфейсом Практика программирования v8 1cv8.cf Абонемент ($m)

Предлагаемая в работе обработка включает обычную и управляемую формы, которые максимально точно реализуют функциональность системного диалога выбора типа в толстом клиенте обычное приложение (включая оформление диалога). Эти формы имеют дополнительные интерфейсные удобства и могут быть использованы в качестве альтернативных диалогов выбора типа.

1 стартмани

17.02.2016    49806    50    yuraos    17    

Яндекс.Деньги "Благотворительность"

Инструментарий разработчика Практика программирования v8 1cv8.cf Абонемент ($m)

Яндекс.Деньги теперь в 1С. Форма для приема благотворительных взносов. Форму легко сделать и вставить на любую страницу сайта или блога. Платежи будут приходить на ваш кошелек. На форме есть три способа платежа: из кошелька, с банковской карты, с баланса мобильного.

1 стартмани

16.02.2016    23224    8    Tatitutu    5    

Удобная база знаний для программиста 1С. "Шаблоны текста" в WEB-е

Практика программирования Инструментарий разработчика Абонемент ($m)

Справочник для программиста 1С. (WEB) Легко и быстро вести "дневник" программиста. Одним кликом редактировать статьи, примеры кода. Сохранять обработки и добавлять к ним описания.

1 стартмани

28.01.2016    15707    26    Farzar    15    

Мастер рассылки e-mail 2.2 для управляемых форм

Практика программирования Email v8 v8::УФ ERP2 БП3.0 УТ11 Абонемент ($m)

Для пользователей: переделанный из старый разработки под 8.2 с использованием библиотеки Мастер рассылки e-mail 2.2 (ERP, УТ, БП) (Только управляемые формы), который теперь может запускаться под любой версией платформы с разрешенными или запрещенными модальными/синхронными вызовами в конфигурации. Также удобный выбор e-mail и их владельцев с помощью отбора динамического списка по любым критериям и галочки исключения.

1 стартмани

29.12.2015    36999    20    milkers    4    

Передача больших пакетов через веб-сервисы

Практика программирования Администрирование данных 1С Внешние источники данных v8 Абонемент ($m)

Реализация механизма передачи больших пакетов через веб-сервисы. С его помощью передать файл размером в несколько гигабайт не составит проблем.

1 стартмани

06.12.2015    56741    48    YPermitin    19    

Как получить номер и дату договора из наименования справочника договоров?

Обработка справочников Практика программирования v7.7 1cv7.md Абонемент ($m)

В типовых конфигурациях платформы "1С:Предприятие 7.7" часто номер и дата договора указаны в самом наименовании договора. Что создает сложности в тех случаях, когда эти реквизиты надо знать, например, при конвертации данных в конфигурации платформы "1С:Предприятие 8", где номер и дата договора - отдельные реквизиты.

1 стартмани

24.09.2015    21103    2    SiAl    7