Всем даров!
Реальная задача: файлы хранятся в регистре сведений в ресурсе с типом "ХранилищеЗначения". Необходимо вынести их во внешнюю базу и сделать это быстро, т.к. размер РС ~1 Тб. Если обрабатывать кодом на 1С, то придется доставать каждый файл из хранилища значений, писать его в файловую систему, паковать в zip (т.к. движок чтения из внешней базы подразумевает хранение файлов в сжатом виде), и отправлять во внешнюю БД. И так с каждым файлом последовательно. Такой подход работает очень медленно, поэтому было принято решение обрабатывать данные на SQL сервере. При решении задачи столкнулся с небольшими тонкостями: как на SQL сделать распаковку из ХЗ, и как на SQL сжать файл в zip. Но нет ничего невозможного.
Начиная с версии MS SQL 2016 (13.x) появились встроенные функции COMPRESS и DECOMPRESS, которые помогут с запаковкой и распаковкой. Немного покурив спецификацию ZIP-формата, понял, что можно собрать zip-файл с помощью склейки байт в правильной последовательности. Но понадобятся ещё некоторые алгоритмы: для расчета контрольных сумм, для формирования DOS даты и времени, для конвертации между двоичной и десятичной системами счисления.
В итоге набросал немного объектов:
Теперь можно скопом конвертировать:
DECLARE @crc32Table AS TableCRC32
DECLARE @Offset INT
INSERT INTO @crc32Table
SELECT * FROM dbo.crc32Table()
SET @Offset = (SELECT TOP 1 Offset FROM dbo._YearOffset)
SELECT
Файл, dbo.GetArchFromVS(Файл, Наименование, DATEADD(YEAR, -@Offset, ДатаФайла), @crc32Table) as ZIP
FROM
РегистрСведений_ХранилищеФайлов
На выходе функции создается корректный zip-файл, который успешно проходит тестирование и открывается в любых программах.
Полный скрипт для создания хранимых функций и типов в файлах для скачивания [1].
[проверено на MS SQL 2016]
Ну а как же быть тем, у кого древний скуль? Не проблема. Сделал сборку на управляемом коде (vs2zip.dll), которую можно подгрузить в скуль, начиная с версии 2005 (9.x) и смапить её метод на хранимую функцию в скуле.
В результате также просто сможем выполнять конвертацию (даже быстрее, чем на чистом SQL, т.к. обработка будет идти внутри CLR):
DECLARE @Offset INT
SET @Offset = (SELECT TOP 1 Offset FROM dbo._YearOffset)
SELECT
Файл, dbo.VS2ZIP(Файл, Наименование, DATEADD(YEAR, -@Offset, ДатаФайла)) as ZIP
FROM
РегистрСведений_ХранилищеФайлов
С версии MS SQL 2005 (9.x) подключить сборку очень просто, с версии MS SQL 2014 (12.x) чуть сложнее из-за секьюрности.
Для MS SQL Server 2005, 2008 и 2008R2 нужна сбока под CLR 2.0 (vs2zip_20.dll), для более новых серверов нужна сборка под CLR 4.0 (vs2zip_40.dll)
.NET сборка, полные скрипты для её подключения для всех версий MS SQL, скрипты создания хранимой функции в файлах для скачивания [2].
[проверено на MS SQL 2016]
Ну а как же быть тем, у кого слоник Postgres? Тоже не проблема. Сделал хранимую функцию с аналогичным функционалом на питоне, т.к. постгрес позволяет писать расширяемые функции на разных языках. Только для такой возможности придется подключить движок питона для постгреса, установив "plpython3". Также нужно будет активировать подключенный язык.
И простым запросом выполняем конвертацию:
select
_Fld4222 as vs
, _Fld4221 as fn
, _Fld4225 as dt
, vs2zip(_Fld4222, _Fld4221, _Fld4225) as zip
from _InfoRg4219
Скрипты для подключения языка и создания расширяемой функции в файлах для скачивания [3].
[проверено на Postgres Pro 1c 12.13]
Пользуйтесь с удовольствием с ускорением. Задавайте вопросы в комментах. Помогу чем смогу.
Для создания данной статьи были использованы наработки из предыдущих моих публикаций:
Сжатие/Распаковка данных по алгоритму Deflate встроенными (!) средствами платформы 1С
Расширяем возможности MS SQL Server с помощью хранимых процедур CLR
Распаковка хранилища значений средствами MS SQL Server
upd. 29.12.2022 : Добавлена .NET сборка для старых серверов MS SQL, которые сопоставимы с CLR версией 2.0
Вступайте в нашу телеграмм-группу Инфостарт