Разноуровневое хранение присоединенных файлов

23.04.21

База данных - Инструменты администратора БД

20 мая 2021 года в онлайн формате пройдет Форум пользователей 1С:Документооборота. Когда, как не сейчас, намекнуть разработчикам на возможные улучшения в конфигурациях (если по-честному, просто совпало). Всем известно, что хранить файлы на диске, не лучшая с точки зрения скорости, надежности и безопасности затея. Но если хранить файлы в базе 1С, то база увеличивается на порядок. Хотелось бы всего и сразу, но в типовых конфигурациях это не реализовано. Данная разработка исправляет это упущение. Интересующихся прошу под кат...

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование По подписке [?] Купить один файл
Разноуровневое хранение присоединенных файлов (расширение конфигурации 1С Предприятие 8.3 подойдет для любых типовых конфигураций):
.zip 133,61Kb ver:1.0.0.1
4
4 Скачать (5 SM) Купить за 3 050 руб.

Эпиграф:

Всё, что есть прекрасного в этой жизни,
либо аморально, либо незаконно,
либо приводит к ожирению.

© Оскар Уайльд

Понятно, что впихнуть невпихуемое не получится. Но вполне возможно вынести присоединенные файлы из базы 1С не на файловые тома хранения, а в СУБД. Это снизит скорость доступа, но вернет  надежность и безопасность.
Примерно раз в год, на Инфостарте и/или на сайтах франчайзи появляются разработки, осуществляющие перенос файлов в СУБД.
Чего в них не хватает? Они (те которые я видел) переносят либо все, либо ничего. Хотя весь мир заодинэсья давно уже знает, что такое разноуровневое хранение.
Когда "горячие" данные (к которым идет постоянное обращение) остаются на быстром СХД, а "холодные" уходят на более медленное, зато более дешевое по накладным расходам хранения.
Данная разработка как раз и реализует подобный подход.
Запись присоединенных файлов всегда происходит типовыми механизмами в базу 1С, это обеспечивает скорость и надежность.
Далее, вручную или регламентным заданием по произвольному отбору эти данные могут быть в нерабочее время перемещены в ADODB совместимую СУБД и оттуда уже читаются может быть вообще никогда.

Для того, чтобы понять, какие файлы переносить, в расширении предусмотрено ведение статистики обращения к файлам.
С нее и рекомендуется начать работу.

Что получается в результате работы разработки:
Часть присоединенных файлов хранится в базе 1С, часть во внешнем хранилище. 
Все это происходит прозрачно для пользователя.

Безопасность и надежность внешнего хранения обеспечивается обезличенным хранением, вычислением хеш-функции как в момент переноса файла (в этот же момент происходит контрольное считывание файла и сверка CRC), так и средствами СУБД.

Кроме того реализованы возможности сверки CRC в любой момент по всему объему хранения и при считывании файла из СУБД по запросу 1С.

При этом полностью соблюдается лицензионное соглашение 1С о неизменности структуры хранения базы данных 1С.

Внимание!

В виде расширения под типовые конфигурации разработка в рабочих базах не проверялась, поэтому вы должны осознавать и принимать ответственность за свои данные.
В частности обязательно сделать/делать бекапы базы 1С и СУБД.


Возможности разработки можно посмотреть на видео:

Что нужно знать и уметь делать самостоятельно для корректного использования обработки:

1. Уметь пользоваться и знать что такое ADO/ODBC.

2. Уметь пользоваться и иметь настроенную базу 1С (типовой или близкой к типовой конфигурации, список проверенных ниже по тексту), уметь подключать внешние обработки

3. Знать, что такое двоичные данные

4. Знать, что такое присоединенные файлы 1С

5. Уметь делать бэкапы и восстанавливаться из них

6. Обработка проверена на редакциях:
 для России:

  1. Документооборот 8 КОРП, редакция 2.1 (2.1.28.12)

Требований к хранилищу СУБД нет,  главное чтобы оно поддерживало ADODB.
Полностью проверены:

  • Microsoft Access
  • Microsoft SQL

Установка и использование обработки:

  1. Обработка выполнена с использованием управляемых форм, соответственно, для конфигураций с обычным интерфейсом требует для работы включения в конфигурацию либо запуска в управляемом интерфейсе.
  2. Может использоваться платформа  8.3.12.х и старше

7. Код открыт и может быть доработан вами самостоятельно.

8. Принтскрины и видео могут быть для конфигурации не совпадающей с вашей, и могут отличаться по внешнему виду, но пункты меню и названия разделов для их открытия будут одинаковыми для всех типовых конфигураций.

 

Обработка продолжает серию публикаций.
Ошибки и предупреждения журнала регистрации. Для любой типовой конфигурации 1С: Предприятие 8.3

Постановка задачи:

Необходима реализация в 1С разноуровневого хранения присоединенных файлов.

Решение:

Расширение конфигурации, внешняя обработка 1С, которые реализуют этот функционал. 
Внимание! 
Предполагается для начала аккуратное заполнение всех необходимых файлов в 1С.
Файлы нулевой длины не переносятся.

Порядок работы:
Не забываем про бэкап!

Подключаем расширение конфигурации и убираем флажок безопасного режима.

Подключаем обработку и отчет в 1С как внешние - рекомендуемый вариант действий.

После этого начнет собираться статистика использования файлов, ее можно увидеть отчетом.


По этой статистике можно построить запрос переноса файлов во внешнее хранилище.
Например все старше 1 года и не открывавшиеся в течении этого года.

Перенос файлов осуществляется внешней обработкой, ее можно для безопаасности не подключать в базу 1С.



Демо-настройки позволяют проверить основные моменты на файловых базах и 1 файле

Что в поставке публикации:

  • обработки 1С
  • скрипт создания БД Microsoft SQL
  • текстовый файл с настройками на всякий случай

Пример хранения файлов в СУБД

Пример информации о хранении файлов - регистр сведений 1С

Небольшая статистика

Документооборот 8 КОРП, редакция 2.1 (2.1.28.12) 476 файлов размером 25 Мб

  ПолучитьНавигационнуюСсылку ВоВременномХранилище Все файлы в 1С ПолучитьНавигационнуюСсылку ВоВременномХранилище  Все файлы в хранилище Длительность переноса файлов во внешнее хранилище Длительность возврата файлов в базу 1С
Microsoft Access Driver={Microsoft Access Driver (*.mdb, *.accdb)} 2 270 630 318
SQL EXPRESS Driver={ODBC Driver 17 for SQL Server} 2 238 511 252
SQL EXPRESS Driver={SQL Server} 2 235 531 253
MS SQL  Driver={SQL Server} 2 76 196 114
SQL EXPRESS Driver={SQL Server}
ADODB.Stream
2 12 31 15
         
         

 

UPD 26.04.2021 : Перешел на ADODB.Stream вместо потоков 1С при работе с двоичными данными и получил прирост скорости кратно

Расширение в поставке заменено.

Требования к запуску расширения:

Расширение предназначено для использования с актуальными типовыми конфигурациями, или нетиповыми, но включающими в себя библиотеку стандартных подсистем.

 

Установка и использование расширения:

  1. Расширение выполнено с использованием управляемых форм.
  2. Может использоваться платформа  8.3.16.х и старше

 

         Поддержка отчета, лицензирование:

  1. Расширение не имеет ограничений по периоду действия, количеству организаций и информационных баз.
  2. Не верю, что кто то этого может не знать, но специально для ИТ партнеров ОЗОН. Разработка защищена авторским правом! То, что вы его скачали, не означает, что вы можете его бесплатно распространять на сайте ОЗОН и где бы то ни было.

См. также

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Программист Руководитель проекта Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP и т.д.). Поддерживаются серверные и файловые базы, управляемые и обычные формы. Может выполнять свертку сразу нескольких баз данных и выполнять их автоматически без непосредственного участия пользователя. Решение в Реестре отечественного ПО

8400 руб.

20.08.2024    15025    109    46    

108

Инструменты администратора БД Инструментарий разработчика Роли и права Программист Платформа 1С v8.3 1C:Бухгалтерия Россия Платные (руб)

Расширение позволяет без изменения кода конфигурации выполнять проверки при вводе данных, скрывать от пользователя недоступные ему данные, выполнять код в обработчиках. Не изменяет данные конфигурации, легко устанавливается практически на любую конфигурацию на управляемых формах.

15000 руб.

10.11.2023    12041    45    33    

67

Инструменты администратора БД Роли и права Системный администратор Программист Пользователь 8.3.14 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Документооборот 1С:Зарплата и кадры государственного учреждения 3 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Роли… Вы тратите много времени и сил на подбор ролей среди около 2400 в ERP или 1500 в Рознице 2, пытаясь понять какими правами они обладают? Вы все время смотрите права в конфигураторе или отчетах чтоб создать нормальные профили доступа? Вы хотите наглядно видеть какие права дает профиль и редактировать все в простом виде? А может хотите просто указать подсистему и дать права на просмотр и добавление на объекты и не лезть в дебри прав и чтоб обработка сама подобрала нужные роли? Все это теперь стало возможно! Обновление от 18.09.2024, версия 1.2

18000 руб.

06.12.2023    10894    47    8    

78

SALE! %

Инструментарий разработчика Инструменты администратора БД Системный администратор Программист Платформа 1С v8.3 Управляемые формы 1C:Бухгалтерия Россия Платные (руб)

Универсальный инструмент программиста для администрирования конфигураций. Сборник наиболее часто используемых обработок под единым интерфейсом.

4800 3840 руб.

14.01.2013    191566    1153    0    

920

Закрытие периода Инструменты администратора БД Корректировка данных Бухгалтер Пользователь Бухгалтерский учет 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Платные (руб)

Расширение «Оперативное проведение» в 4 раза уменьшает время проведения документов и закрытия месяца. Является комплексным решением проблем 62 и 60 счетов. Оптимизирует проведение при включенной функциональной опции «Раздельный учет НДС». Используется в более 10 организациях уже 2 года. Совместимо с конфигурацией Бухгалтерия 3.0 (+КОРП).

14400 руб.

29.04.2020    33930    108    152    

75

Инструменты администратора БД Системный администратор Программист Платформа 1С v8.3 1C:Бухгалтерия Платные (руб)

Брандмауэр для сервера 1С включает в себя управление возможностью начала и возобновления сеансов пользователей по различным условиям, ограничение общего числа возможных сеансов для работы с информационной базой, резервирование возможности работы с информационной базой определенных польззователей, запрет запуска нескольких сеансов для пользователя, журнализация событий начала (возобновления) и завершения (гибернации) сеансов, ведение списка активных сеансов для информационных баз кластера серверов

3600 руб.

06.02.2017    32727    145    18    

51

Архивирование (backup) Инструменты администратора БД Платформа 1С v8.3 Управляемые формы 1C:Бухгалтерия 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Управление торговлей 11 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Данная разработка позволит решить вопрос с резервным копированием Ваших баз в автоматическом режиме, расположенных на сервере 1С. Система умеет ставить блокировки на вход, блокировать фоновые задания, принудительно отключать сеансы пользователей. И все это система делает в автоматически при создании бэкапа (или через команду). Выгрузка происходит в родной формат 1С - .dt. Так же система умеет архивировать данные выгрузки с установкой пароля. Умеет менять расширение файла zip или dt на любое указанное вами, что позволит сохранить выгрузки от шифровальщика. Может удалять старые копии выгрузок, оставляя указанное количество резервных копий, начиная с самой поздней. Только для WINDOWS!

6000 руб.

06.11.2012    73837    629    45    

88

Инструменты администратора БД Пользователь Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Многие сталкиваются с проблемой когда изображения, находящиеся в базе разные по объему и размерам. Менеджеры могут добавить файлы в очень высоком разрешении, объемом свыше 20 Мегабайт. База данных становится слишком большой, выгрузка на сайт идёт медленно и требуется много место на хостинге. Как сжать картинки и уменьшить размер базы 1С? Это можно сделать с помощью данной обработки. Существует возможность выбрать различные варианты для того чтобы уменьшить картинки: в разы, в процентах от первоначального объема, а также сделать картинки одинаковой ширины. В результате размер базы 1С значительно сократится (в зависимости от количества и размера картинок), а изображения станут небольшого объема, равными по ширине, почти без потери качества. Работает на управляемых формах для УТ 11, КА, ERP.

3000 руб.

21.07.2022    10213    10    4    

18
Вознаграждение за ответ
Показать полностью
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. vandalsvq 1593 30.04.21 16:22 Сейчас в теме
А с каких пор хранение файлов в файловой системе не самый лучший вариант? Спорный вопрос
2. capitan 2582 30.04.21 18:38 Сейчас в теме
(1)с момента его появления )
EliasShy; +1 Ответить
3. RALIN123 43 08.08.22 08:58 Сейчас в теме
4. azhilichev 214 17.08.22 10:15 Сейчас в теме
Это приемлемо работает, когда суммарный объем файлов небольшой. Когда объем файлов начинает измеряться в гигабайтах, хранение их в БД начинает влиять на время создания бэкапов БД.
5. capitan 2582 18.08.22 09:58 Сейчас в теме
(4)
(4)
Это приемлемо работает
что именно приемлемо работает?
6. azhilichev 214 19.08.22 02:25 Сейчас в теме
(5) Моя ошибка, неправильно понял суть статьи. Вы предлагаете хранить файлы в отдельной БД SQL. Я посчитал, что в базе 1С. Прошу прощения.
7. Silenser 613 14.09.22 09:21 Сейчас в теме
Приятно, когда предложенная 12 лет назад идея живет и здравствует https://infostart.ru/public/74821/
В качестве предложения: всегда будут случая нарушения консистентности данных, так что этот случай нужно будет выявлять и как то обрабатывать. Нужен отчет, который позволит находить отличия в хранимых ID в базе 1С и внешнем хранилище. Далее либо удалять то, что образовалось лишнее во внешнем источнике, либо сообщать пользователю о необходимости повторной загрузки файла.
8. capitan 2582 14.09.22 12:04 Сейчас в теме
(7)
всегда будут случая нарушения консистентности данных

c чего бы они появились?
9. Silenser 613 14.09.22 19:28 Сейчас в теме
1. Сбой транзации при помещении данных во внешнее хранилище, когда справочник в систему записался, а во внешнюю базу - нет.
2. Кто-то удалил запись из внешней базы, а справочник с ID остался.
10. capitan 2582 14.09.22 21:13 Сейчас в теме
1. У меня так невозможно
2. Аналогично
11. leonvlas 05.10.22 13:44 Сейчас в теме
Вроде 1с уже смотрит в эту сторону. - такой же подход.
Хранить файлы на диске это круто, до того момента пока не получишь сообщение, что файла уже нет
и кто его удалил отдельная тема и что теперь делась - сказка.
poiskadm; +1 Ответить
12. capitan 2582 05.10.22 21:04 Сейчас в теме
(11)Пока не слышал о таком
Оставьте свое сообщение