gifts2017

Хранение файлов в томах на диске (для УПП 1.3)

Опубликовал Vladimir A (wowik) в раздел Программирование - Практика программирования

Доработка типовой УПП 1.3 в плане хранения присоединенных файлов вне базы данных

Часто возникает необходимость хранить присоединенные файлы где-нибудь на сетевом диске, чтобы как-то сократить рост размера базы.
К большому сожалению, приходится изобретать велосипед, т.к. в УПП 1.3 (заметьте, версия продается и поддерживается) НЕТ! хранения файлов вне базы.
Да, эта возможность уже реализована в УПП 1.3 для электронных документов, а все остальное по-прежнему хранится в базе.

"Допилок" этой функциональности много, есть и платные. Предлагаю свой варинат велосипеда. Версия рабочая, проверялась на УПП 1.3.72.3.

 

Побежали!

Включим хранение файлов в томах на диске

 

Добавим в справочник "ХранилищеДополнительнойИнформации" два реквизита:

ИмяФайлаВТоме (тип "Строка(50)")

НомерВерсии (тип "Число(10)")

 

 

 

В модуле объекта справочника "ХранилищеДополнительнойИнформации" пишем код (реквизит "Хранилище" очистим, а данные сохраним на диск). Использована типовая процедура "ФайловыеФункции.ДобавитьНаДиск", которая позволит также контролировать размер файла и запишет в имя файла на диске версию:

Процедура ПередЗаписью(Отказ)
	
	//+wowik
	Если ФайловыеФункции.ПолучитьТипХраненияФайлов() <> Перечисления.ТипыХраненияФайлов.ВИнформационнойБазе Тогда
		Если Хранилище.Получить() <> Неопределено Тогда // когда помечается элемент на удаление, то хранилище пустое
			Если не ЗначениеЗаполнено(ИмяФайлаВТоме) Тогда
				ИмяФайлаВТоме = Строка(Новый УникальныйИдентификатор);
				НомерВерсии = 1;
			Иначе			
				НомерВерсии = НомерВерсии + 1; //будем сохранять версии файлов на всякий случай
			КонецЕсли;
			
			Если Этотобъект.ВидДанных = Перечисления.ВидыДополнительнойИнформацииОбъектов.Файл Тогда
				РасширениеФайла = СтрЗаменить(Прав(ИмяФайла,4),".","");
				ДвоичныеДанныеФайла = Хранилище.Получить();
			Иначе			
				РасширениеФайла = "bmp";
				ВременныйФайл = ПолучитьИмяВременногоФайла(РасширениеФайла);
				Картинка = Хранилище.Получить();
				Картинка.Записать(ВременныйФайл); 
				ДвоичныеДанныеФайла = Новый ДвоичныеДанные(ВременныйФайл);
			КонецЕсли;
			
			ПутьКФайлуВТоме = ИмяФайлаВТоме+"."+РасширениеФайла;
			
			РазмерФайла = ДвоичныеДанныеФайла.Размер(); 
			
			ФайловыеФункции.ДобавитьНаДиск(
			ДвоичныеДанныеФайла,
			ПутьКФайлуВТоме,
			"", //ссылка на том, все равно она обнуляется в процедуре ДобавитьНаДиск
			1,
			НомерВерсии,
			ИмяФайлаВТоме,
			РасширениеФайла,
			РазмерФайла,
			Ложь,
			ТекущаяДата()
			);
			
			//хранилище элемента очищаем 
			Хранилище = Неопределено;  
		КонецЕсли;
	КонецЕсли;
	//-wowik
	
КонецПроцедуры

Далее в каком-либо общем модуле (в моем случае общий модуль "wowikОбщийМодуль") добавляем функцию:

Функция ПолучитьДвоичныеДанныеФайлаВХранилище(ХранилищеДополнительнойИнформацииСсылка, ВернутьХранилищеЗначения = Ложь) Экспорт
	
	Если ФайловыеФункции.ПолучитьТипХраненияФайлов() = Перечисления.ТипыХраненияФайлов.ВИнформационнойБазе Тогда
		Если ВернутьХранилищеЗначения Тогда
			Возврат ХранилищеДополнительнойИнформацииСсылка.Хранилище;
		Иначе
			Возврат ХранилищеДополнительнойИнформацииСсылка.Хранилище.Получить();
		КонецЕсли;
	Иначе
		Запрос = Новый Запрос;
		Запрос.Текст = 
		"ВЫБРАТЬ
		|	ТомаХраненияФайлов.Ссылка
		|ИЗ
		|	Справочник.ТомаХраненияФайлов КАК ТомаХраненияФайлов
		|ГДЕ
		|	ТомаХраненияФайлов.ПометкаУдаления = &ПометкаУдаления
		|
		|УПОРЯДОЧИТЬ ПО
		|	ТомаХраненияФайлов.ПорядокЗаполнения";
		
		Запрос.УстановитьПараметр("ПометкаУдаления", Ложь);
		Выборка = Запрос.Выполнить().Выбрать();
		
		Если Выборка.Количество() = 0 Тогда
			ВызватьИсключение(НСтр("ru = 'Нет ни одного тома для размещения файла.'"));
		КонецЕсли;
		
		Пока Выборка.Следующий() Цикл 			
			СсылкаНаТом = Выборка.Ссылка;			
			ПутьКТому = ФайловыеФункции.ПолныйПутьТома(СсылкаНаТом);
			ИмяФайлаВТоме = ХранилищеДополнительнойИнформацииСсылка.ИмяФайлаВТоме;
			Если ЗначениеЗаполнено(ИмяФайлаВТоме) Тогда
				НайденныеФайлы = НайтиФайлы(ПутьКТому,"*"+ИмяФайлаВТоме+"*",Истина);
				Если НайденныеФайлы.Количество() > 0 Тогда
					//получить последнюю версию файла. Предполагается что файлы беспорядочно отсортированы
					ПолучитьФайлСНомером = 1;
					ИндексНайденногоФайла = 0;
					Для Каждого НайденныйФайл из НайденныеФайлы Цикл
						 НомерВерсии = Число(СтрЗаменить(Прав(НайденныйФайл.ИмяБезРасширения,2),".",""));						 
						 Если НомерВерсии >= ПолучитьФайлСНомером Тогда
							 ПолучитьФайлСНомером = НомерВерсии;
							 ФайлВТоме = НайденныйФайл;
						 КонецЕсли; 						 
					КонецЦикла;
					     
					ПутьКФайлуЛокальный = ПолучитьИмяВременногоФайла(ФайлВТоме.Расширение);
					КопироватьФайл(ФайлВТоме.ПолноеИмя, ПутьКФайлуЛокальный); //открыть картинку из локального диска быстрее получится, чем по сети открыть				
					Если ВернутьХранилищеЗначения Тогда
						Возврат Новый ХранилищеЗначения(Новый ДвоичныеДанные(ПутьКФайлуЛокальный));
					Иначе
						Возврат Новый Картинка(ПутьКФайлуЛокальный);
					КонецЕсли;
				КонецЕсли;
			Иначе
				Если ВернутьХранилищеЗначения Тогда
					Возврат Новый ХранилищеЗначения(Неопределено);
				Иначе
					Возврат Новый Картинка;
				КонецЕсли;
			КонецЕсли;
		КонецЦикла;		
	КонецЕсли;
	
КонецФункции

Далее ищем глобальным поиском выражение "Хранилище.Получить()":

в большинстве случаев замена проста:

...

                //мТекущееОсновноеИзображение = ОсновноеИзображение.Хранилище.Получить(); //wowik
                мТекущееОсновноеИзображение = wowikОбщийМодуль.ПолучитьДвоичныеДанныеФайлаВХранилище(ОсновноеИзображение); //wowik

...

            //ЭлементКартинки.Картинка = ОсновноеИзображение.Хранилище.Получить(); //wowik
            ЭлементКартинки.Картинка = wowikОбщийМодуль.ПолучитьДвоичныеДанныеФайлаВХранилище(ОсновноеИзображение); //wowik

...

Но в некоторых случаях сложнее, например в процедуре "ОтображениеИзображения()" формы "ФормаИзображения" справочника "ХранилищеДополнительнойИнформации":

Процедура ОтображениеИзображения()

	//+wowik
	Если Хранилище.Получить() = Неопределено Тогда
 		Если ФайловыеФункции.ПолучитьТипХраненияФайлов() = Перечисления.ТипыХраненияФайлов.ВИнформационнойБазе Тогда
			ЭлементыФормы.ПолеИзображения.Картинка = Новый Картинка();
		Иначе
			Если НЕ ЗначениеЗаполнено(ИмяФайлаВТоме) Тогда 
				ЭлементыФормы.ПолеИзображения.Картинка = Новый Картинка();
			Иначе
				КартинкаВТоме = wowikОбщийМодуль.ПолучитьДвоичныеДанныеФайлаВХранилище(Ссылка);
				ЭлементыФормы.ПолеИзображения.Картинка = КартинкаВТоме;
				Хранилище = Новый ХранилищеЗначения(КартинкаВТоме);
			КонецЕсли;
		КонецЕсли;
		Возврат;
	КонецЕсли;

	Если ВидДанных = Перечисления.ВидыДополнительнойИнформацииОбъектов.Изображение Тогда
		ЭлементыФормы.ПолеИзображения.Картинка = Хранилище.Получить();
	Иначе
		ЭлементыФормы.ПолеИзображения.Картинка = Новый Картинка();
	КонецЕсли; 
	 //-wowik
	 
КонецПроцедуры

 

Отображение картинок поправили, теперь переходим к сохранению и открытию внешних файлов:

 

в общем модуле "РаботаСФайлами" исправляем:

...

//СохранитьФайл(СтруктураПараметров, СсылкаФайл.ИмяФайла, СсылкаФайл.Хранилище, СпособПерезаписи); //wowik            
СохранитьФайл(СтруктураПараметров, СсылкаФайл.ИмяФайла, wowikОбщийМодуль.ПолучитьДвоичныеДанныеФайлаВХранилище(СсылкаФайл,Истина), СпособПерезаписи); //wowik
...

//ДанныеФайла = СсылкаФайл.Хранилище; //wowik
ДанныеФайла = wowikОбщийМодуль.ПолучитьДвоичныеДанныеФайлаВХранилище(СсылкаФайл,Истина);//wowik

...

в общем модуле "ФайловыеФункции" ставим "попытку":  

Попытка //wowik
 // Установим время изменения файла таким, как оно стоит в текущей версии
ФайлНаДиске = Новый Файл(ПолноеИмяФайлаСПутем);
ФайлНаДиске.УстановитьВремяИзменения(ВремяИзменения);
ФайлНаДиске.УстановитьТолькоЧтение(Истина);
Исключение
КонецПопытки;

Возможно, еще где-то придется что-то закомментировать. Далее все решается отладкой уже в конфигурации.

И все.  Спасибо. Удачного внедрения!

См. также

Подписаться Добавить вознаграждение

Комментарии

1. Ийон Тихий (cool.vlad4) 05.06.16 15:33
а в вашей версии УПП есть модули ПрисоединенныеФайлы, ПрисоединенныеФайлыКлиент?(скорее всего есть) Имхо через него все проще можно было сделать. там уже готовые функции все есть.(т.е. через БСП это сделать)
2. Vladimir A (wowik) 05.06.16 22:05
(1) cool.vlad4, сделайте, опубликуйте свой вариант, чё пальцы гнуть)
3. Ийон Тихий (cool.vlad4) 05.06.16 22:10
(2) wowik, а я где-то пальцы гнул?
CSiER; Рамзес; waol; sulfur17; +4 1 Ответить
4. Ivon (Ivon) 08.06.16 12:26
Механизм интересен, но хранение в файловых шарах имеет свои минусы, порой очень существенные. Я бы делал хранение в отдельной БД - и бекапить проще и безопасность данных выше.
5. Илья Вышинский (thelans) 08.06.16 14:05
На сколько я знаю в MS SQL есть возможность хранить файлы, сохранённые в поле BLOB, на диске. В 1С дорабатывать при этом ничего не надо, а выставить соответствующие настройки СУБД.
6. Xer shi (Xershi) 08.06.16 19:49
(5) thelans, что то новенькое. Где про это почитать подробнее?
7. Роман Ложкин (webester) 09.06.16 06:00
(5)(6)Угу очень интересно, как это работает.
8. Иван Иванов (kosmo0) 09.06.16 08:58
В подобных случаях у меня зачастую возникает вопрос - неужели люди не создают тестовые базы для всяких безобразий? (причем чтобы и пользователи могли изменения и/или новинки потестить).

К чему весь разговор. Тестовые базы зачастую это загруженная сохраненка рабочей БД. И в этом случае тестовая база может легко и непринужденно что-нибудь сотворить с сохраненными файлами рабочей БД. Так что не помешало бы сделать маленький механизм контроля какой БД с файлами можно работать, а какой - нет (либо только смотреть, но не менять).
Krio2; ph33l; NazarovV; +3 Ответить 1
9. Дмитрий К (SuhoffGV) 09.06.16 17:06
(5) thelans, Только выгрузка в DT и бэкап средствами СУБД быстрее от этого не станут. А если хранить файлы в ФС то выгрузка в dt будет намного быстрее.
10. Дмитрий К (SuhoffGV) 09.06.16 17:11
(8) kosmo0, Создают. У меня в базе есть константа "СтрокаСоединенияСРабочейБазой". И процедура общего модуля "ЭтоРабочаяБаза()" которая проверяет совпадает ли строка соединения текущей базы с значением константы. Если совпадает, то база считается рабочей и критичный функционал работает нормально.

Но к сожалению хранение файлов во внешних каталогах пока не написали, но уже назрело. Бэкап средствами СУБД идет 80 минут. Только из-за файлов в базе.
11. Xer shi (Xershi) 09.06.16 17:14
(10) SuhoffGV, а каков их объем? У нас 40 гигов на ссд за 130 сек бекапит.
12. Виктор Шишов (vshish) 10.06.16 03:12
Все хорошо и вроде бы правильно, но. Как писал в [1] да есть Присоединенные файлы, и есть еще некоторые подводные камни.
Я о них знаю потому, что сам делал такую доработку. Вот она http://infostart.ru/public/411416/
и вообще этот метод работает и на КА 1.1 и на УТ 10.3 и на УПП 1.3 правда с релиза как появился механизм электронного обмена документами.
13. Артём Андриянов (CSiER) 14.06.16 07:21
(6) Xershi, рискну предположить, что речь идет про filestream - но структурой бд "рулит" 1С (как в этом случае быть при реструктуризациях, триггерах и прочих мелочах с данными - тоже интересно).
14. Ийон Тихий (cool.vlad4) 15.06.16 01:06
(6) Xershi, c 2008 sql server filestream как верно выше заметили и с 2012 filetables появились, котороые позволяют делать таблицы, связывать их с папкой, где можно будет работь уже с файлами привычными операциями. технология крутая, но как ее связать с 1С (какой профит от этого получить) , я не знаю. в принципе хранения в томах из БСП имхо достаточно для 1С, может ошибаюсь, поправьте.
15. Дмитрий К (SuhoffGV) 21.06.16 17:13
(11) Xershi, 40Гб только дамп сжатый а gzip занимает. База в postgresql на 300Gb SAS дисках. Размер самой базы по данным pg_admin - 65Gb. Из них чуть более 32,2Гб в виде файлов в базе.
16. Мих Кор (qapex) 23.06.16 09:45
добрый день, сервер 1с на linux, с правами на linux настроили, файлы записывает на шару, а при открытии выдает ошибку. По коду получилось, что ПолучитьФайлы() возвращает пустой массив и дальше код не отрабатывает. Получается, что ПолучитьФайлы() работает от клиента (и пути, и права), а запись файлов через сервер (и пути, и права под которыми сервер 1с запущен). А путь предполагается использовать один и тот же?
17. Vladimir A (wowik) 23.06.16 21:29
(16) qapex, ПолучитьФайлы() - что за процедура?
18. Мих Кор (qapex) 24.06.16 06:58
19. Vladimir A (wowik) 24.06.16 20:34
(18) qapex, ну вообще должно работать, если папка открыта для сети и обращаетесь через "\\". Не знаю в чем дело.
20. Илья Бубнов (Himikuda) 22.07.16 07:56
Всё работает класс) Огромное спасибо! хоть база пухнуть не будет. Только есть нюанс, имена файлов не корректно отображаются (набор символов) зато читаются., может кто то подскажет как это возможно поправить?
21. Vladimir Matveev (vovan_matveev) 15.09.16 01:53
Спасибо, wowik!
Статья очень помогла.

Я ограничился только тем что храню только присоединенные файлы (которые добавляются и отображаются через формы справочника Хранилище дополнительной информации)
таким образом я ограничился только первой частью статьи (доработка справочника Хранилище дополнительной информации и общий модуль), последней чстью (сохранение и открытие внешних файлов).

А вместо объемной средней части (где подмена функций во всех ссылках на "Хранилище.Получить()" я ограничился изменением одной функции модуля формы в справочнике Хранилище дополнительной информации.

В моем случае в базе уже были картинки хранящиеся внутри базы. поэтому мне было важно отображать и старый файлы и новые файлы из тома.

// Процедура показывает картинку текущей строки таблицы Изображения
//
// Параметры: 
//  Элемент - элемент формы, Изображения
//
// Возвращаемое значение:
//  Нет.
//
Процедура ПоказатьКартинкуТекущейСтроки(Элемент)

	Если Элемент.ТекущиеДанные = Неопределено Тогда
		ЭлементыФормы.ПолеИзображения.Картинка = Новый Картинка();
		Возврат;
	КонецЕсли;

	//Проверка на новую строку, если новая то не обновляем изображение.
	Если НЕ Элемент.ТекущаяСтрока.Пустая() Тогда
		//Изменения на основе wowik
		ТекущаяКартинка = Элемент.ТекущиеДанные.Ссылка.Хранилище.Получить();
		Если  ТекущаяКартинка = Неопределено Тогда
			ТекущаяКартинка = ОбщийМодульРМ.ПолучитьДвоичныеДанныеФайлаВХранилище(Элемент.ТекущиеДанные.Ссылка);
		КонецЕсли;
		//--Изменения на основе wowik
		ЭлементыФормы.ПолеИзображения.Картинка = ?(ТекущаяКартинка <> Неопределено, ТекущаяКартинка, Новый Картинка());
	КонецЕсли;
	
	ОбновитьКнопкиОсновногоИзображения(ЭлементыФормы.Изображения.ТекущаяСтрока);

КонецПроцедуры
...Показать Скрыть
Для написания сообщения необходимо авторизоваться
Прикрепить файл
Дополнительные параметры ответа