Этап 1. Стандартная выгрузка данных с помощью помощника перехода.
Внимание. Статья написана для алгоритма выгрузки картинок отдельно. Это важно. Когда вы не устанавливаете галочку "Переносить картинки номенклатуры", они все равно выгружаются и записываются в единый файл "СправочнаяИнформация". И выгружаются все присоединяемые файлы. В моем случае картинок очень много, и файл распухает до 6-7 Гб. Если у вас мало картинок, хорошие мощности, не заморачивайтесь. Отключаем галочку выгрузки картинок отдельно и радуемся жизни.
Прочитал статью на ИТС. Запустил помощник. С хорошим настроением принялся выгружать данные. Все довольно просто. Настроил, выгрузил и думаю, все. Файлы создались.
По инструкции пошел в новую базу, выбрал загрузку из Розница 2.3. Жму загрузить. Ошибка.
Стоит запомнить данную проблему. Долго рассказывать не буду, но по заветам старой школы, решил грузить все отдельно. Обработка выгрузки создает несколько файлов:
- СправочнаяИнформация.xml
- Остатки.xml
- И множество файлов КартинкиНоменклатуры_*УникальныйИдентификатор*.xml
В указанном выше порядке и решил загружать данные (скопировав файлы в отдельные папки, для каждого этапа была своя папка). Сначала справочную информацию, потом остатки и уже после картинки.
Почему такой упор на картинки? Все просто, розница у нас связана с интернет магазином и все фото хранятся в 1С. Как и дополнительные реквизиты (которые кстати тоже, не переносятся).
Справочная информация и остатки загрузились без проблем. Но с картинками меня ждала "Непредвиденная ошибка" (см. выше на скриншоте).
Думал долго. Менял платформы, менял варианты работы (файловый, клиент-серверный). Толку ноль. Ошибка, ошибка и снова ошибка.
В итоге решил разобраться, что за файлы создаются при выгрузке картинок. Как уже писал выше, для каждой позиции номенклатуры создается файл (пример: КартинкиНоменклатуры_0a04a861-38a0-11ec-aa37-5cf3fc3dd048.xml).
Структура файла примерно такая:
Внутри указан владелец файла (в моем случае номенклатура). И сам файлик в виде двоичных данных.
Мозг отрицал, что проблема в количестве файлов. По сути бери файл, грузи => потом следующий и т.д. Откуда ошибка?
Этап 2. Решение проблемы загрузки картинок. Доработка обработки загрузки из Розница 2.3
Нашел я решение довольно простым методом. Скопировал пять файлов xml с картинками в отдельную папку. Указал папку. Вуаля, картинки загрузились. Ошибки нет. Теперь я понял, что проблема в количестве файлов, у меня их 5589.
Теперь я понял, куда копать. Быстро пришло решение, разделить файлы в папки по 5-10 штук. Но делать это руками глупо, больно и долго. Старый добрый интернет дал решение.
Нам нужен Total Commander.
Заходим в нужную папку в TC. Выделаем все файлы с нашими картинками Ctrl+A. Нажимаем Ctrl+M и вводим команду (в поле Маска для: имени файла):
[C+1/5]\[N] где 5 - это количество файлов в папке.
Нажимаем Выполнить.
Можно и по 10 разделить и по 20. На ваш вкус, но тут я подумал, что 1С может опять уйти в ошибку и решил сделать поменьше.
Получаем множество папок с 1-Х. В моем случаем получилось 1-1118. В каждой папке по пять файлов.
Теперь осталось поменять загрузку. Идея в том, чтобы аккуратно перебрать все папки и загрузить данные. Из коробки, обработка так не умеет. Нужно научить :)
Сразу скажу, решение сделано в стиле минимализма. На коленочке. аккуратно и минимальными затратами. Чтобы отработало и выполнило задачу. Если у Вас есть идеи и свои решения => пишите в комментарии.
Сделал довольно просто. На форму кинул 2 реквизита числового типа (целые, неотрицательные).
- НачальныйНомерПапки
- КонечныйНомерПапки
Плюс добавил свою команду "ЗагрузитьПоПапкам" (процедура на клиенте, переработал стандартную):
Счетчик = НачальныйНомерПапки;
Пока Счетчик <> КонечныйНомерПапки+1 Цикл
КаталогЗагрузкиДанныхИЗМ = КаталогЗагрузкиДанных+"\"+Формат(Счетчик,"ЧГ=");
ИдентификаторЗадания = Неопределено;
Если ЗначениеЗаполнено(КаталогЗагрузкиДанныхИЗМ) Тогда
КаталогЗагрузкиДанныхИЗМ = ОбщегоНазначенияКлиентСервер.ДобавитьКонечныйРазделительПути(КаталогЗагрузкиДанныхИЗМ);
Оповещение = Новый ОписаниеОповещения("ПослеОкончанияПоискаФайлов", ЭтотОбъект);
НачатьПоискФайлов(Оповещение, КаталогЗагрузкиДанныхИЗМ, "*.xml");
КонецЕсли;
Счетчик = Счетчик + 1;
КонецЦикла;
Стандартная процедура:
ИдентификаторЗадания = Неопределено;
Если ЗначениеЗаполнено(КаталогЗагрузкиДанных) Тогда
КаталогЗагрузкиДанных = ОбщегоНазначенияКлиентСервер.ДобавитьКонечныйРазделительПути(КаталогЗагрузкиДанных);
Оповещение = Новый ОписаниеОповещения("ПослеОкончанияПоискаФайлов", ЭтотОбъект);
НачатьПоискФайлов(Оповещение, КаталогЗагрузкиДанных, "*.xml");
КонецЕсли;
Оставил стандартный механизм загрузки и добавил дополнительно свой для картинок с перебором папок. Нужно указать корневой каталог, где лежит наше множество папок и начальный номер папки с конечным.
В нашем случае это 1 и 1118.
Запускается стандартный алгоритм загрузки последовательно для каждой папки.
На этом доработка загрузки завершена. Картинки загрузились в базу. Радуемся, но не долго.
Этап 3. Выгружается только главная картинка номенклатуры (дополнительные файлы не выгружаются). Дорабатываем правила обмена и обработку выгрузки из Розница 2.3
В механизме переноса картинок (отдельно) из Розницы 2.3 в Розницу 3.0, программисты решили выгружать только главную картинку номенклатуры (ту картинку, которая лежит в реквизите "ФайлКартинки", ниже объясню). Увидел я это, пройдя путь выше. Картинки загрузились, но по одной на позицию. Дополнительные картинки остались в старой базе :).
Долго объяснять не буду, как я страдал и пытался понять логику. Но в итоге нашел следующее:
- Обработка "ПомощникПереходаВУНФ"
При выгрузке передается вот такой интересный параметр (модуль менеджера, Функция ВыгрузитьДанные).
ПараметрыКонвертации.Вставить("ВыгружаемаяКартинкаНоменклатуры", СтруктураПараметров.ВыгружаемаяКартинкаНоменклатуры);
Заполняется параметр вот таким образом:
&НаСервере
Функция ПолучитьКартинкуНоменклатуры()
ФайлОтсутствует = Ложь;
Запрос = Новый Запрос;
Запрос.Текст =
"ВЫБРАТЬ ПЕРВЫЕ 1
| КартинкиНоменклатуры.Ссылка КАК Ссылка
|ИЗ
| Справочник.НоменклатураПрисоединенныеФайлы КАК КартинкиНоменклатуры
| ВНУТРЕННЕЕ СОЕДИНЕНИЕ Справочник.Номенклатура КАК Номенклатура
| ПО (КартинкиНоменклатуры.Ссылка = Номенклатура.ФайлКартинки)
|ГДЕ
| КартинкиНоменклатуры.Ссылка > &ПоследняяСсылка
|
|УПОРЯДОЧИТЬ ПО
| Ссылка";
Запрос.УстановитьПараметр("ПоследняяСсылка", ВыгружаемаяКартинкаНоменклатуры);
РезультатЗапроса = Запрос.Выполнить();
Если НЕ РезультатЗапроса.Пустой() Тогда
Выборка = РезультатЗапроса.Выбрать();
Выборка.Следующий();
ВыгружаемаяКартинкаНоменклатуры = Выборка.Ссылка;
ДвоичныеДанные = РаботаСФайлами.ДвоичныеДанныеФайла(ВыгружаемаяКартинкаНоменклатуры, Ложь);
ФайлОтсутствует = ДвоичныеДанные = Неопределено ИЛИ ДвоичныеДанные.Размер() = 0;
Если ФайлОтсутствует Тогда
ПолучитьКартинкуНоменклатуры();
Иначе
Возврат Истина;
КонецЕсли;
КонецЕсли;
Возврат Ложь;
КонецФункции
- Модуль "МенеджерОбменаЧерезУниверсальныйФормат" (ПОД_Справочник_НоменклатураКартинки_Отправка_ВыборкаДанных)
Тут уже фильтруется выборка по переданной картинке.
Функция ПОД_Справочник_НоменклатураКартинки_Отправка_ВыборкаДанных(КомпонентыОбмена)
МассивВыборки = Новый Массив;
ВыгружаемаяКартинкаНоменклатуры = Неопределено;
ПараметрыКонвертации = КомпонентыОбмена.ПараметрыКонвертации;
Если ПараметрыКонвертации.Свойство("ВыгружаемаяКартинкаНоменклатуры", ВыгружаемаяКартинкаНоменклатуры)
И ЗначениеЗаполнено(ВыгружаемаяКартинкаНоменклатуры) Тогда
МассивВыборки.Добавить(ВыгружаемаяКартинкаНоменклатуры);
КонецЕсли;
Возврат МассивВыборки;
КонецФункции
Теперь понятно. Алгоритм перебирает главные картинки, что видно из запроса. Заполняет реквизит "ВыгружаемаяКартинкаНоменклатуры" и отправляет параметр в выборку данных "ПОД_Справочник_НоменклатураКартинки_Отправка_ВыборкаДанных".
По итогу выгружается главная картинка.
Данный алгоритм мне не подошел. Нужны все файлы номенклатуры.
Косяк моей доработки только в одном. Нет привязанной главной картинки, не выгрузится вообще ни чего. В моем случае у нас жесткий регламент на наличие главной картинки, поэтому данный вопрос я решать не стал.
Сама доработка выглядит следующим образом:
- В обработке "ПомощникПереходаВУНФ"
Добавляем реквизит формы "ВладелецКартинки" (тип СправочникСсылка.Номенклатура). Теперь нужно заполнить этот реквизит. Меняем функцию "ПолучитьКартинкуНоменклатуры":
&НаСервере
Функция ПолучитьКартинкуНоменклатуры()
ФайлОтсутствует = Ложь;
Запрос = Новый Запрос;
Запрос.Текст =
"ВЫБРАТЬ ПЕРВЫЕ 1
| КартинкиНоменклатуры.Ссылка КАК Ссылка
|ИЗ
| Справочник.НоменклатураПрисоединенныеФайлы КАК КартинкиНоменклатуры
| ВНУТРЕННЕЕ СОЕДИНЕНИЕ Справочник.Номенклатура КАК Номенклатура
| ПО (КартинкиНоменклатуры.Ссылка = Номенклатура.ФайлКартинки)
|ГДЕ
| КартинкиНоменклатуры.Ссылка > &ПоследняяСсылка
|
|УПОРЯДОЧИТЬ ПО
| Ссылка";
Запрос.УстановитьПараметр("ПоследняяСсылка", ВыгружаемаяКартинкаНоменклатуры);
РезультатЗапроса = Запрос.Выполнить();
Если НЕ РезультатЗапроса.Пустой() Тогда
Выборка = РезультатЗапроса.Выбрать();
Выборка.Следующий();
ВыгружаемаяКартинкаНоменклатуры = Выборка.Ссылка;
//получаем владельца
ВладелецКартинки = Выборка.Ссылка.ВладелецФайла;
ДвоичныеДанные = РаботаСФайлами.ДвоичныеДанныеФайла(ВыгружаемаяКартинкаНоменклатуры, Ложь);
ФайлОтсутствует = ДвоичныеДанные = Неопределено ИЛИ ДвоичныеДанные.Размер() = 0;
Если ФайлОтсутствует Тогда
ПолучитьКартинкуНоменклатуры();
Иначе
Возврат Истина;
КонецЕсли;
КонецЕсли;
Возврат Ложь;
КонецФункции
Теперь мы знаем владельца главной картинки. Осталось его передать в выборку и сделать выборку всех файлов владельца. Погнали:
Модуль формы обработки "ПомощникПереходаВУНФ", добавляем код передачи параметра "ВладелецКартинки":
&НаСервере
Функция ЗапуститьВыгрузкуДанныхНаСервере(Этап)
СтруктураПараметров = Новый Структура;
СтруктураПараметров.Вставить("ДатаОстатков", ДатаОстатков);
СтруктураПараметров.Вставить("ВыгружатьСклады", ?(РежимОстатков = "ПоМагазинам", Ложь, Истина));
СтруктураПараметров.Вставить("ТолькоЦеныПравилЦенообразованияМагазинов", ТолькоЦеныПравилЦенообразованияМагазинов);
СтруктураПараметров.Вставить("ВыгружатьКартинкиОтдельно", ЭтапПереноситьКартинкиНоменклатуры);
СтруктураПараметров.Вставить("ВыгружаемаяКартинкаНоменклатуры", ВыгружаемаяКартинкаНоменклатуры);
//Передаем владельца картинки
СтруктураПараметров.Вставить("ВладелецКартинки", ВладелецКартинки);
ПараметрыВыполнения = ДлительныеОперации.ПараметрыВыполненияФункции(УникальныйИдентификатор);
Возврат ДлительныеОперации.ВыполнитьФункцию(ПараметрыВыполнения, "Обработки.ПомощникПереходаВУНФ.ВыгрузитьДанные",
СпособПерехода, Этап, Организации.ВыгрузитьЗначения(), СтруктураПараметров);
КонецФункции
После идем в модуль менеджера обработки "ПомощникПереходаВУНФ", в функцию "ВыгрузитьДанные" добавляем:
ПараметрыКонвертации.Вставить("ВладелецКартинки", СтруктураПараметров.ВладелецКартинки);
Теперь осталось поменять логику выборки данных. Делаем это в модуле "МенеджерОбменаЧерезУниверсальныйФормат":
Функция ПОД_Справочник_НоменклатураКартинки_Отправка_ВыборкаДанных(КомпонентыОбмена)
МассивВыборки = Новый Массив;
ВладелецКартинки = Неопределено;
Если КомпонентыОбмена.ПараметрыКонвертации.Свойство("ВладелецКартинки",ВладелецКартинки) И ЗначениеЗаполнено(ВладелецКартинки) Тогда
Запрос = Новый Запрос;
Запрос.Текст = "ВЫБРАТЬ
| НоменклатураПрисоединенныеФайлы.Ссылка КАК ФайлКартинки
|ИЗ
| Справочник.НоменклатураПрисоединенныеФайлы КАК НоменклатураПрисоединенныеФайлы
|ГДЕ
| НоменклатураПрисоединенныеФайлы.ВладелецФайла = &ВладелецФайла";
Запрос.УстановитьПараметр("ВладелецФайла",ВладелецКартинки);
Результат = Запрос.Выполнить();
Выборка = Результат.Выбрать();
Пока Выборка.Следующий() Цикл
МассивВыборки.Добавить(Выборка.ФайлКартинки);
КонецЦикла;
КонецЕсли;
Возврат МассивВыборки;
КонецФункции
Готово. Картинки выгружаются все (при условии, если установлена главная картинка). Загрузку сделал, как описывал выше. Все прошло успешно. Теперь займусь переносом дополнительных реквизитов и их значений :)
Не выкладываю файлы, т.к. решение конкретно под мою задачу. Просто делюсь опытом. Жду конструктивной критики, идей и вашего опыта в комментариях. Без негатива. Всем добра и приятной работы.
Плюсуйте если помог, понравилось или просто хотите добавить мотивации в мою копилку. Спасибо.
