Подключение функционала БСП "Присоединенные файлы" к функционалу Диадок

Постановка задачи

После завершения основного этапа внедрения модуля Диадок в корпоративную систему принялись за оптимизацию модулей, в частности, вынести хранение файлов Диадок из СУБД в файловое хранилище, с использованием возможностей БСП.
Так же нам требовалось внедриться максимально аккуратно, чтобы иметь возможность максимально просто устанавливать обновления поставляемого модуля без риска поломать наш функционал.

Первым делом изучили штатный функционал. В обработке Диадока (на момент добавления функционала версия 4.10.6) есть настройка для хранения файлов документов и подписей на диске:

Но данная реализация нас не устроила т.к. нужно было вводить ещё один адрес хранения на сетевом ресурсе, осуществлять передачу нового ресурса системным администраторам для поддержки, организовать мероприятия, необходимые для корректной работы системы.

В своей работе уже используем функционал присоединенных файлов (версия БСП 2.3.3.66):

1. установлена настройка «хранить файлы в томах на диске»;

2. настроена работа с томом на сетевом диске: проверка на вирусы;

3. включен мониторинг объема занимаемых присоединённых файлов и контроль свободного места на диске;

4. штатный механизм очистки файлов для старых документов;

5. со временем планируется даже миграция файлов в облако (что БСПшным функционалом будет реализовать гораздо проще.

Реализация

За основу реализации задачи был взят механизм Диадок «Хранить файлы документов и подписей на диске» с небольшими дополнениями.

Можно выделить следующие доработки:

1. Подключение подсистемы хранения вложенных файлов БСП
2. Добавление настроек на форму НастройкиУправляемая;
3. Сохранение значение настройки для использования в модулях;
4. Изменение функций записи файлов на сетевой том;
5. Изменение функция чтения файлов из сетевого тома;

Добавили механизм БСП «Присоединенные файлы» для справочника Диадок_Документы. Как это сделать подробно написано на сайте ИТС (инструкция для БСП версии 2.3).

Добавление опции хранения в присоединенных файлах

Далее уже правили обработку «КонтурЭДО». Тексты процедур и функций штатной обработки публиковать не буду, а только тот код, который сами добавляли.

Добавили настройку, которая переключает хранение файлов по нашему алгоритму. Для этого в обработке Диадок на форму «НастройкиУправляемая» добавили новый реквизит формы ХранитьДокументыВПрикрепленныхФайлах тип Булево.

И вынесли на форму рядом со штатной настройкой:

В обработчике события «При изменении» сохраняем значение нашего реквизита в настройках Диадок (был скопирован штатный код с небольшими правками):

&НаКлиенте
Процедура ХранитьДокументыВПрикрепленныхФайлахПриИзменении(Элемент)
	КатегорияМетрики	= Метрика_НазваниеКатегории();
	ДействиеМетрики	= "Прикреплять файлы документов и подписей к документу";
	Модуль_ЯдроНаКлиенте().Метрика_ДобавитьПоведение_НажатиеКнопки(Метрика_НазваниеФормы(), КатегорияМетрики, ДействиеМетрики);
	Переменные = Новый Соответствие;
	Переменные.Вставить("Значение", ХранитьДокументыВПрикрепленныхФайлах);
   	Модуль_ЯдроНаКлиенте().Метрика_ДобавитьСтатистику_ПоКонтексту(КатегорияМетрики, ДействиеМетрики, , Переменные);
	УстановитьВидимостьЭлементовФормы();
	Модифицированность = Истина;
КонецПроцедуры

Далее написали функционал для обработки настройки. Для этого выгрузили макеты «Ядро_epf» и «ХранениеДанных_epf» из обработки в файлы «Ядро.epf» и «ХранениеДанных.epf».

В модуле объекта обработки «Ядро.epf» в функцию Контракт_ОбщиеНастройки() добавили к стандартным настройкам нашу настройку:

Результат.Вставить("ХранитьДокументыВПрикрепленныхФайлах", Ложь);

В функцию ОбщиеНастройки_ОбработанныеЗначенияПередЗаписью(СтруктураНастроек) добавили проверку на нашу переменную:

Если НЕ (СтруктураНастроек.ХранитьДокументыНаДиске ИЛИ СтруктураНастроек.ХранитьДокументыВПрикрепленныхФайлах) Тогда
	СтруктураНастроек.УдалятьСодержимоеУстаревшихДокументов = Ложь;	
КонецЕсли;

На этом изменения в «Ядро.epf» готовы. Импортировали обработку обратно в макет обработки «КонтурЭДО».

Запись файлов документов и подписей в присоединенные файлы.

Настала очередь «ХранениеДанных.epf».

Для установки настройки по умолчанию, не заданной в предыдущем релизе модуля в процедуру Настройки_ОбщиеНастройки() прописали условие:

Если Результат.Свойство("ХранитьДокументыВПрикрепленныхФайлах") И ТипЗнч(Результат.ХранитьДокументыВПрикрепленныхФайлах) <> Тип("Булево") Тогда
	Результат.ХранитьДокументыВПрикрепленныхФайлах = Ложь;
КонецЕсли;

Для добавления файлов в присоединенные в процедуре  Документы_ЗаписатьДанныеХранилища_Диадок(ДанныеХранения, ИмяХранилища, ДокументЭДО) добавили обработку переменной:

Если Данные <> Неопределено Тогда
...
 ИначеЕсли Настройки_ОбщиеНастройки().ХранитьДокументыВПрикрепленныхФайлах Тогда
  Документы_ЗаписатьДанныеХранилища_ПрикрепленныеФайлы(Данные, ДокументЭДО, ИмяХранилища);
...
КонецЕсли;

Если ЗашифрованныеДанные <> Неопределено Тогда
…
 ИначеЕсли Настройки_ОбщиеНастройки().ХранитьДокументыВПрикрепленныхФайлах Тогда
  Документы_ЗаписатьДанныеХранилища_ПрикрепленныеФайлы(ЗашифрованныеДанные, ДокументЭДО, ИмяХранилища, Истина);
…
КонецЕсли;

Процедура из условия:

Процедура Документы_ЗаписатьДанныеХранилища_ПрикрепленныеФайлы(ДвоичныеДанные, ДокументЭДО, ИмяХранилища, ЭтоЗашифрованныеДанные = Ложь, НомерПодписи = Неопределено)
	
	Если ЗначениеЗаполнено(ДвоичныеДанные) Тогда
		
		Идентификаторы = Новый Структура;
		Идентификаторы.Вставить("ДокументЭДО", ДокументЭДО);
		
		Выборка = Документы_ВыборкаДанныхХранилищаИзБазы(Идентификаторы, ИмяХранилища);
		
		Если Выборка.Следующий() Тогда
			
			ПолноеИмяФайла = Выборка.ИмяФайла;
			
			АдресВременногоХранилищаФайла = ПоместитьВоВременноеХранилище(ДвоичныеДанные);
			
			Расширение = ?(ЭтоЗашифрованныеДанные, "enc", "") + ?(НомерПодписи <> Неопределено, "sgn", "");
			
			ПараметрыФайла = Новый Структура(
				"Автор,
				|ВладелецФайлов,
				|ИмяБезРасширения,
				|РасширениеБезТочки,
				|ВремяИзменения,
				|ВремяИзмененияУниверсальное");
			
			ПараметрыФайла.ВладелецФайлов = ДокументЭДО;
			
			ПараметрыФайла.ИмяБезРасширения = ИмяХранилища;
			
			ПараметрыФайла.РасширениеБезТочки = Расширение;
			ПараметрыФайла.ВремяИзменения = ТекущаяДатаСеанса();
			ПараметрыФайла.ВремяИзмененияУниверсальное = ТекущаяУниверсальнаяДата();
			
			ПрисоединенныйФайл = ПрисоединенныеФайлы.ДобавитьПрисоединенныйФайл(ПараметрыФайла, АдресВременногоХранилищаФайла, "", ПолноеИмяФайла);
				
		КонецЕсли; //выборка	
	КонецЕсли;
	
КонецПроцедуры

Получение файлов подписей и документов из присоединенных файлов.

Для получения данных из присоединенных файлов добавили изменения в функцию Документы_КонтрактДанныхХранилищаПоВыборке_Диадок(Выборка, ИмяХранилища) условие:

Если Настройки_ОбщиеНастройки().ХранитьДокументыНаДиске Тогда	
…
 ИначеЕсли Настройки_ОбщиеНастройки().ХранитьДокументыВПрикрепленныхФайлах Тогда	
  УстановитьПривилегированныйРежим(Истина);
  СтруктураДанных = Документы_ДвоичныеДанныеХранилища_ПрикрепленныеФайлы(Результат, Выборка.КодПакета, Выборка.КодДокумента, ИмяХранилища);
  ЗаполнитьЗначенияСвойств(Результат, СтруктураДанных, "Данные, ЗашифрованныеДанные");

Функция из условия:

Функция Документы_ДвоичныеДанныеХранилища_ПрикрепленныеФайлы(ДанныеХранения, КодПакета, КодДокумента, ИмяХранилища)
	
	Результат = Новый Структура;
	Результат.Вставить("Данные",				Неопределено);
	Результат.Вставить("ЗашифрованныеДанные",	Неопределено);
	
	Запрос = Новый Запрос;
	Запрос.Текст = 
		"ВЫБРАТЬ РАЗРЕШЕННЫЕ
		|	Диадок_ДокументыПрисоединенныеФайлы.Ссылка КАК Ссылка,
		|	Диадок_ДокументыПрисоединенныеФайлы.Расширение КАК Расширение
		|ИЗ
		|	Справочник.Диадок_ДокументыПрисоединенныеФайлы КАК Диадок_ДокументыПрисоединенныеФайлы
		|ГДЕ
		|	Диадок_ДокументыПрисоединенныеФайлы.ВладелецФайла.Код = &Код
		|	И Диадок_ДокументыПрисоединенныеФайлы.Наименование = &Наименование
		|	И Диадок_ДокументыПрисоединенныеФайлы.Расширение В(&Расширение)";
	
	Запрос.УстановитьПараметр("Код", КодДокумента);
	Запрос.УстановитьПараметр("Наименование", ИмяХранилища);
	мРасширение = Новый Массив;
	мРасширение.Добавить("");
	мРасширение.Добавить("enc");
	Запрос.УстановитьПараметр("Расширение", мРасширение);
	
	РезультатЗапроса = Запрос.Выполнить();
	
	Выборка = РезультатЗапроса.Выбрать();
	
	Пока Выборка.Следующий() Цикл
		Если Выборка.Расширение = "" Тогда
			Данные	= ПрисоединенныеФайлы.ПолучитьДвоичныеДанныеФайлаБезИсключения(Выборка.Ссылка);
			Результат.Вставить("Данные", Данные);
		ИначеЕсли Выборка.Расширение = "enc" Тогда
			ЗашифрованныеДанные	= ПрисоединенныеФайлы.ПолучитьДвоичныеДанныеФайлаБезИсключения(Выборка.Ссылка);
			Результат.Вставить("ЗашифрованныеДанные", ЗашифрованныеДанные);
		КонецЕсли;
	КонецЦикла;
	
	Возврат Результат;
	
КонецФункции

Для получения данных подписи нужно добавить в функцию Документы_КонтрактПодписиПоВыборке_Диадок ветку условия:

Если Настройки_ОбщиеНастройки().ХранитьДокументыНаДиске Тогда
…
 ИначеЕсли Настройки_ОбщиеНастройки().ХранитьДокументыВПрикрепленныхФайлах Тогда
  ДанныеПодписи = Документы_ДвоичныеДанныеПодписи_ПрикрепленныеФайлы(Выборка.КодПакета, Выборка.КодДокумента, ИмяХранилища);
  Результат.ДанныеПодписи = ДанныеПодписи;

И сама функция:

Функция Документы_ДвоичныеДанныеПодписи_ПрикрепленныеФайлы(КодПакета, КодДокумента, ИмяХранилища)
	
	Результат = Неопределено;
	
	Запрос = Новый Запрос();
	Запрос.Текст = "ВЫБРАТЬ РАЗРЕШЕННЫЕ
	               |	Диадок_ДокументыПрисоединенныеФайлы.Ссылка КАК Ссылка
	               |ИЗ
	               |	Справочник.Диадок_ДокументыПрисоединенныеФайлы КАК Диадок_ДокументыПрисоединенныеФайлы
	               |ГДЕ
	               |	Диадок_ДокументыПрисоединенныеФайлы.ВладелецФайла.Код = &НомерДокумента
	               |	И Диадок_ДокументыПрисоединенныеФайлы.Наименование = &Наименование
	               |	И Диадок_ДокументыПрисоединенныеФайлы.Расширение = &Расширение";
	
	Запрос.УстановитьПараметр("НомерДокумента", КодДокумента);
	Запрос.УстановитьПараметр("Наименование", ИмяХранилища);
	Запрос.УстановитьПараметр("Расширение", "sgn");
	
	Выборка = Запрос.Выполнить().Выбрать();
		
	Если Выборка.Следующий() Тогда
		Результат = ПрисоединенныеФайлы.ПолучитьДвоичныеДанныеФайлаБезИсключения(Выборка.Ссылка);;
	КонецЕсли;
	
	Возврат Результат;
	
КонецФункции

На этом сохранили «ХранениеДанных.epf» и импортировали в макет обработки «КонтурЭДО».

Результат

Для справочника «Диадок: Документы» подключен функционал БСП «Присоединенные файлы»

Для документов Диадок список присоединенных файлов

Проблемы, которые возникли в процессе

1. Исторические данные. После установки настройки, все документы, которые получили до установки параметра, перестали подписываться. Поэтому в процедуре Документы_КонтрактДанныхХранилищаПоВыборке_Диадок добавили проверку на тот случай если присоединенного файла нет, то данные брать из базы.
   Позже написали обработку, которая для старых документов перекладывала файлы из базы в присоединенные файлы.

2. При переносе исторических данных стала возникать ошибка: «Ошибка при добавлении файла в том: Access is denied».
   В ходе анализа выяснили, что БСП при сохранении файла, проверяет наличие в этой папке файла с таким же именем. Если файл уже есть в папке, то создается вложенная папка со случайными именем A, B, ... Z,  A1, B1, .. Z1, ..  A2, B2, …, Z99 и в неё сохраняется файл.
   Наименование файлов для всех документов Диадок постоянны (ХранилищеКонтента, ПодписьПокупателя, ОтказВПодписанииДокумента и т.д.), поэтому при сохранении файла средствами БСП в сетевую папку возникли проблемы: БСП не могла создать новую папку т.к. закончился лимит на наименование папки и вызывала исключение.
   У нас стоит версия БСП 2.3.3.66 и функция (ФайловыеФункцииСлужебныйКлиентСервер.ПолучитьУникальноеИмяСПутем), которая определяет путь для сохранения файлов, может сгенерировать всего 2600 папок с различными именами. Если за день придёт документов ЭДО свыше 2600 шт, то БСП уже не сможет сохранить присоединенный файл.
   Проблему решили просто, обновили процедуру из новых версий БСП. В новых версиях переписали алгоритм и теперь количество папок для присоединенных файлов может быть 26 в степени 5. Такое количество нас устраивает и ошибок больше не возникало.
   Но даже для старых версий БСП можно было бы избежать ошибки. В процедуре Документы_ЗаписатьДанныеХранилища_ПрикрепленныеФайлы при формировании структуры ПараметрыФайла для ключа ИмяБезРасширения добавлять значение по маске «номер пакета»-«номер документа»-«Имя файла без расширения». В таком виде файлы были бы уникальны и хранились бы все в папке с наименованием равной текущей дате.

3. Обновление обработки «КонтурЭДО». Теперь нужно помнить, что у нас есть изменения в макетах. Поэтому это нужно учитывать при переходе на новую версию обработки КонтурЭДО. Для каждой новой версии обработки нужно добавлять изменения в макеты «Ядро_epf» и «ХранениеДанных_epf». Для упрощения обновления макетов используем Git. Более подробно как это реализовали расскажу в другой статье.

Заключение

После доработки системы хранения входящих файлов ЭДО удалось сократить размер базы примерно на 6% (30.4 Гб) и получили единый сетевой ресурс для хранения всех файлов в 1С.

После доработки системы хранения входящих файлов ЭДО удалось сократить размер базы примерно на 6% (30.4 Гб) и получили единый сетевой ресурс для хранения всех файлов в 1С.