Хранилище значений в ZIP на чистом SQL

29.12.22

Интеграция - Файловый обмен (TXT, XML, DBF), FTP

Кусочек ненормального программирования по извлечению файла из эсного хранилища значений и запаковка его в zip-архив на чистом SQL.

Скачать файлы

Наименование Файл Версия Размер
[1] Native_MS_SQL
.zip 2,16Kb
4
.zip 1.0 2,16Kb 4 Скачать
[2] CLR_MS_SQL
.zip 8,60Kb
3
.zip 1.1 8,60Kb 3 Скачать
[3] Postgresql_Python
.zip 1,24Kb
2
.zip 1.0 1,24Kb 2 Скачать

Всем даров!

Реальная задача: файлы хранятся в регистре сведений в ресурсе с типом "ХранилищеЗначения". Необходимо вынести их во внешнюю базу и сделать это быстро, т.к. размер РС  ~1 Тб. Если обрабатывать кодом на 1С, то придется доставать каждый файл из хранилища значений, писать его в файловую систему, паковать в zip (т.к. движок чтения из внешней базы подразумевает хранение файлов в сжатом виде), и отправлять во внешнюю БД. И так с каждым файлом последовательно. Такой подход работает очень медленно, поэтому было принято решение обрабатывать данные на SQL сервере. При решении задачи столкнулся с небольшими тонкостями: как на SQL сделать распаковку из ХЗ, и как на SQL сжать файл в zip. Но нет ничего невозможного.

Начиная с версии MS SQL 2016 (13.x) появились встроенные функции COMPRESS и DECOMPRESS, которые помогут с запаковкой и распаковкой. Немного покурив спецификацию ZIP-формата, понял, что можно собрать zip-файл  с помощью склейки байт в правильной последовательности. Но понадобятся ещё некоторые алгоритмы: для расчета контрольных сумм, для формирования DOS даты и времени, для конвертации между двоичной и десятичной системами счисления.

В итоге набросал немного объектов:

 

 

Теперь можно скопом конвертировать:

DECLARE @crc32Table AS TableCRC32
DECLARE @Offset INT

INSERT INTO @crc32Table
SELECT * FROM dbo.crc32Table()

SET @Offset = (SELECT TOP 1 Offset FROM dbo._YearOffset)

SELECT
  Файл, dbo.GetArchFromVS(Файл, Наименование, DATEADD(YEAR, -@Offset, ДатаФайла), @crc32Table) as ZIP
FROM
  РегистрСведений_ХранилищеФайлов

На выходе функции создается корректный zip-файл, который успешно проходит тестирование и открывается в любых программах.

Полный скрипт для создания хранимых функций и типов в файлах для скачивания [1].

[проверено на MS SQL 2016]


Ну а как же быть тем, у кого древний скуль? Не проблема. Сделал сборку на управляемом коде (vs2zip.dll), которую можно подгрузить в скуль, начиная с версии 2005 (9.x) и смапить её метод на хранимую функцию в скуле.

 

 

В результате также просто сможем выполнять конвертацию (даже быстрее, чем на чистом SQL, т.к. обработка будет идти внутри CLR):

DECLARE @Offset INT

SET @Offset = (SELECT TOP 1 Offset FROM dbo._YearOffset)

SELECT
  Файл, dbo.VS2ZIP(Файл, Наименование, DATEADD(YEAR, -@Offset, ДатаФайла)) as ZIP
FROM
  РегистрСведений_ХранилищеФайлов

С версии MS SQL 2005 (9.x) подключить сборку очень просто, с версии MS SQL 2014 (12.x) чуть сложнее из-за секьюрности.

Для MS SQL Server 2005, 2008 и 2008R2 нужна сбока под CLR 2.0 (vs2zip_20.dll), для более новых серверов нужна сборка под CLR 4.0 (vs2zip_40.dll)

.NET сборка, полные скрипты для её подключения для всех версий MS SQL, скрипты создания хранимой функции в файлах для скачивания [2].

[проверено на MS SQL 2016]


Ну а как же быть тем, у кого слоник Postgres? Тоже не проблема. Сделал хранимую функцию с аналогичным функционалом на питоне, т.к. постгрес позволяет писать расширяемые функции на разных языках. Только для такой возможности придется подключить движок питона для постгреса, установив "plpython3". Также нужно будет активировать подключенный язык.

 

 

И простым запросом выполняем конвертацию:

select 
	_Fld4222 as vs
	, _Fld4221 as fn
	, _Fld4225 as dt
	, vs2zip(_Fld4222, _Fld4221, _Fld4225) as zip
from _InfoRg4219

Скрипты для подключения языка и создания расширяемой функции в файлах для скачивания [3].

[проверено на Postgres Pro 1c 12.13]

 

Пользуйтесь с удовольствием с ускорением. Задавайте вопросы в комментах. Помогу чем смогу.

 

Для создания данной статьи были использованы наработки из предыдущих моих публикаций:

Сжатие/Распаковка данных по алгоритму Deflate встроенными (!) средствами платформы 1С

Расширяем возможности MS SQL Server с помощью хранимых процедур CLR

Распаковка хранилища значений средствами MS SQL Server

 

upd. 29.12.2022 : Добавлена .NET сборка для старых серверов MS SQL, которые сопоставимы с CLR версией 2.0

Хранилище значения хранимые процедуры SQL скуль zip ненормальное программирование Postgres Postgresql Постгрес функции конвертация python питон

См. также

SALE! 15%

[ED3] Обмен для ERP 2.5, КА 2.5, УТ 11.5 БП 3.0, Розница, УНФ и других с EnterpriseData (универсальный формат обмена), правила обмена

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Россия Платные (руб)

Правила в универсальном формате обмена для ERP 2.5, КА 2.5, УТ 11.5, БП 3.0, Розница, УНФ, для последних версий конфигураций. Ссылки на другие конфигурации в описании публикации. Правила совместимы со всеми другими версиями конфигураций новыми и старыми, поддерживающими обмен в формате EnterpriseData. Не требуется синхронного обновления правил после обновления другой конфигурации, участвующей в обмене. Типовой обмен через планы обмена кнопкой Синхронизация вручную или автоматически по расписанию, или вручную обработкой.

25080 22572 руб.

12.06.2017    134976    721    291    

388

SALE! 20%

Перенос данных из ERP 2 / КА 2 / УТ 11 в БП 3.0. Переносятся документы, начальные остатки и справочники

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос данных из ERP в БП 3 | из КА 2 в БП 3 | из УТ 11 в БП 3 | из ЕРП в БП 3 | В продаже с 2019г. | Воспользовались более 176 предприятий! | Сэкономьте время - используйте готовое решение для перехода! | Перенос разработан в формате КД 2 (правила конвертации данных) | Переносятся все возможные виды документов, начальных остатков и нормативно-справочная информация| Можно опционально выгружать каждую пару "номенклатура+характеристика" как отдельную номенклатуру | Есть выгрузка настроек счетов учета и зарплатных данных из ERP / КА 2 | Можно проверить на вашем сервере перед покупкой, обращайтесь!

34650 27720 руб.

15.04.2019    68445    180    138    

111

SALE! 20%

Перенос данных из ERP 2 / КА 2 в ЗУП 3. Переносятся остатки, документы и справочники

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из ERP в ЗУП 3 | из КА 2 в ЗУП | Воспользовались более 79 предприятий! | Предлагаем приобрести готовые правила конвертации данных (КД 2) для переноса остатков, документов с движениями и справочной информации 3 | В продаже с 2020г. | Оперативно обновляем правила до актуальных релизов 1С | Есть перенос начальной задолженности по зарплате и начальной штатной расстановки на выбранную дату | Обороты за прошлые годы (данные для расчета среднего) переносятся свернуто в документ "Перенос данных" | Есть фильтр по организациям | Документы за текущий период переносятся сразу с движениями, поэтому не потребуется делать перерасчеты | Перенос можно проверить перед покупкой, обращайтесь!

43450 34760 руб.

03.12.2020    34180    80    58    

78

SALE! 10%

Перенос данных из УТ 10.3 в УТ 11.5. Переносятся документы (обороты за период), справочная информация и остатки

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 10 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

Перенос данных из 1С:Управление торговлей 10.3 в 1С:Управление торговлей 11.5 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УТ 10.3 (10.3.87.x) и УТ 11.5 (11.5.16.x).

28000 25200 руб.

23.07.2020    46322    196    64    

158

Перенос данных из Парус 10 в ЗГУ ред.3

Внешние источники данных Кадровый учет Файловый обмен (TXT, XML, DBF), FTP Обмен между базами 1C Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бухгалтерский учет Бюджетный учет Платные (руб)

Обработка позволяет перенести кадровую информацию и данные по заработной плате, фактических удержаниях, НДФЛ, вычетах, страховых взносах из базы Парус 10 учреждений в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (ЗГУ) и начать с ней работать с любого месяца года.

60000 руб.

05.10.2022    9217    9    8    

10

SALE! 10%

Перенос данных из УПП 1.3 в БП 3.0. Переносятся документы (обороты за период), справочная информация и остатки

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УПП 1.3 (1.3.223.x) и БП 3.0 (3.0.149.x). Правила подходят для версии ПРОФ и КОРП.

28000 25200 руб.

15.12.2021    20266    132    38    

90

SALE! 10%

Перенос данных из БП 3.0 в УНФ 3.0 / УНФ 1.6. Переносятся остатки, документы и справочная информация

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

В продаже с 2018г. | Воспользовались более 41 предприятия! | Правила конвертации (КД 2) для переноса данных из БП 3 в УНФ | Переносятся все виды документов, начальные остатки и вся возможная справочная информация | Есть фильтр по организациям | Оперативно обновляем на новые релизы | Оказываем техподдержку | В комплект файлов входит инструкция, авторская версия обработки "Универсальный обмен...", актуальные правила переноса данных и архив старых версий переноса | Учет в БП 3 должен быть корректным, некорректные данные не переносятся | Можно бесплатно проверить на вашем сервере до покупки!

50722 45650 руб.

10.07.2018    67459    41    122    

46

Загрузка номенклатуры c картинками (несколько потоков одновременно) и сопутствующими данными в базу и любые документы из yml, xls, xlsx, xlsm, ods, ots, csv для УТ 10.3, УТ 11 (все), БП 3, КА 2, ERP 2, УНФ 1.6/3.0, Розница 2

Загрузка и выгрузка в Excel Логистика, склад и ТМЦ Ценообразование, анализ цен Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Платные (руб)

Эволюция не стоит на месте - новая удобная версия функциональной обработки для Вашего бизнеса! Что же Вы получаете? Удобный и интуитивно понятный интерфейс с 3-мя этапами работы. 2 режима - автоматический и ручной. Чтение XLSX, XLSM, CSV, XML/YML форматов без офиса, на любом сервере! Визуальное связывание колонок файла и реквизитов простым перетаскиванием колонок. Создание или обновление номенклатуры с иерархией, характеристик, доп. реквизитов, упаковок, загрузка практически неограниченного количества картинок на одну номенклатуру (с возможностью загрузки в несколько потоков одновременно), с хранением в томах или в базе. Загрузка номенклатуры поставщиков или поиск по их данным номенклатуры. Загрузка доп. реквизитов в характеристики. Загрузка штрихкодов с генерацией новых. Создание элементов справочников и ПВХ "на лету" для выбранных реквизитов. (Обновление от 11.12.2023, версия 9.5 - 9.9)

13200 руб.

20.11.2015    150754    365    375    

501
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. logos 209 22.12.22 16:02 Сейчас в теме
Это, конечно, скучно, но у хранилища значения есть возможность сжимать хранимые данные. Используется алгоритм inflate (по сути тот же zip):
ХранилищеЗначения (ValueStorage)
На основании значения
Синтаксис:
Новый ХранилищеЗначения(<Значение>, <АлгоритмСжатияДанных>)
Параметры:
<Значение> (обязательный)
Тип: Произвольный.
Значение, которое должно быть помещено в хранилище.
<АлгоритмСжатияДанных> (необязательный)
Тип: СжатиеДанных.
Задает степень сжатия данных.
Если параметр не установлен, сжатие не используется.

В этом случае двоичные данные можно было перенести в другую таблицу просто с помощью insert into.
Ну или я задачу, которую нужно решить, не до конца понимаю
2. SerVer1C 749 22.12.22 16:13 Сейчас в теме
(1) Не поняли )
Да, ХЗ сжато, но помимо самого файла там есть дополнительные данные, поэтому если вы сохраните значение поля ХЗ в файловую систему, то не сможете его открыть программой-архиватором. В моем случае для получения файла из внешней базы выполнялся запрос через ADO, а потом полученные данные разархивировались с помощью ЧтениеZIP.
3. logos 209 22.12.22 16:46 Сейчас в теме
Дефакто что в "платформенном" сценарии получается blob из бд, к которому применяется deflate, что в Вашем. Понимаю, это ненормальное программирование, но профит просматриваю с трудом.
4. SerVer1C 749 22.12.22 16:51 Сейчас в теме
(3) Проверьте сами: перенесите blob'ы через "ins ert in to" во внешнюю БД, а потом попытайтесь их открыть - вот и увидите профит.
Оставьте свое сообщение