Структура обработки загрузки цен и остатков поставщика с примерами и комментариями

Вводные

1. Конфигурация Управление торговлей 11
2. Состыкованный каталог номенклатуры с каталогом поставщика
3. Нужно автоматически обновлять цены и остатки номенклатуры по данным поставщика
4. Нужно организовать мониторинг автоматической загрузке

Порядок обработки

1. Получение данных
2. Декодирование
3. Состыковка
4. Запись
5. Постобработка

Получение данных

В качестве примера рассмотрю получение данных от

• sima-land (сайт, документация API), HTTP API c поддержкой JSON. Использовать буду v3 без аутентификации, v5 с аутентификацией.
• samson(сайт, документация API), HTTP API c поддержкой JSON, доступ по токену.
• steam-toys (сайт), HTTP файл XLS, доступ по basic аутентификации. Есть YML и CSV, но по полноте данных и компактности в данном случае XLS лучше.

В случае sima-land запросом можно получить информацию по списку id, список 50 элементов, при небольшом количестве товаров оптимально использовать этот подход. При большем объеме возможен вариант использования фильтра по группе товаров.

Минусом конкретной реализации API является то что получаем всю карточку товара, хотя нам нужны только остатки.

Процедура ЗагрузитьЦеныОстатки()
	Сч = 0;
	Для каждого СтрН Из ТЗНоменклатура Цикл
		
		Попытка
			ч = Число(СтрН.Артикул);
			
			Если Сч = 0 Тогда
				СтрокаЗапрос = СтрН.Артикул;	
			Иначе
				СтрокаЗапрос = СтрокаЗапрос + "," + СтрН.Артикул;	
			КонецЕсли;
			
			Сч = Сч + 1;
		Исключение
			//ОписаниеОшибки()
		КонецПопытки;
		
		
		Если Сч > 49 Тогда
			ПолучитьДанныеЗаполнитьТаблицу(ТЗНоменклатура, СтрокаЗапрос);
			Сч = 0;
		КонецЕсли;
		
	КонецЦикла;
	
	Если Сч > 0 Тогда
		ПолучитьДанныеЗаполнитьТаблицу(ТЗНоменклатура, СтрокаЗапрос);
	КонецЕсли;
КонецПроцедуры


Процедура ПолучитьДанныеЗаполнитьТаблицу(ТЗНоменклатура, СтрокаЗапрос)
	
	Ответ = GET("https://www.sima-land.ru/api/v3/item/?id=" + СтрокаЗапрос);	 	
	
	Если Ответ.КодСостояния = 200 Тогда
		
		СтрокаОтвет = Ответ.ПолучитьТелоКакСтроку();
		
		СоответствиеОтвет = ИЗ_JSON(СтрокаОтвет);
		
		ЗаполнитьТаблицуПоОтвету(ТЗНоменклатура, СоответствиеОтвет.Получить("items"));
		
	Иначе
		Возврат;
		
	КонецЕсли;
	
	
КонецПроцедуры

У samson остатки/цены получить можно только все, ответ разбит на страницы.

Для Страница = 1 По 1000 Цикл
	
	Ответ = GET(ПолучитьБазовыйАдрес() + "/sku/price/" + ПолучитьПараметрыЗапроса(Страница));
	
	Если Ответ.КодСостояния = 200 Тогда
		СтрокаОтвет = Ответ.ПолучитьТелоКакСтроку();
		СоответствиеОтвет = ИЗ_JSON(СтрокаОтвет);
		
		Попытка
			МассивДанные = СоответствиеОтвет.Получить("data");	
		Исключение
			СообщитьОбОшибке(СтрокаОтвет);
			Прервать;
		КонецПопытки;
		
		Если МассивДанные.Количество() = 0 Тогда
			Прервать;
		КонецЕсли;
		
		ДополнитьДокументПоМассивуЦен(обДокументЦен, ТЗ_НоменклатураПоставщика, МассивДанные);
		
	Иначе
		Прервать;
	КонецЕсли;
	
КонецЦикла;

У steam-toys один файл

Ответ = GET(АдресСайта);

Если Ответ.КодСостояния = 200 Тогда
		
	ИмяФайла = ПолучитьИмяВременногоФайла("xlsx");
	
	ДвоичныеДанные = Ответ.ПолучитьТелоКакДвоичныеДанные();
	ДвоичныеДанные.Записать(ИмяФайла);

	ДвоичныеДанные = "";
	Ответ = "";
		
КонецЕсли;

Декодирование

В результате декодирования нужно получить массив с данными, минимум:

Для остатков

• id товара
• склад
• количество

Для цен

• id товара
• вид цены
• цена

Для остатков информация может быть дополнена остатками "всего" и "в пути".

Для цен информация может быть дополнена валютой (в минимуме все в руб) и курсом.

Перед распределением по документам можно формировать временную скомпонованную таблицу, можно просто перебирать декодированный массив и писать в документы

Функция ИЗ_JSON(Строка_JSON, Отказ = Ложь) Экспорт
	
	Попытка
		
		ЧтениеJSON = Новый ЧтениеJSON;
		ЧтениеJSON.УстановитьСтроку(Строка_JSON);
		
		Возврат ПрочитатьJSON(ЧтениеJSON, Истина);
		
	Исключение
		Отказ = Истина;
		Сообщить(ОписаниеОшибки());
		
		Возврат Неопределено;
		
	КонецПопытки;
	
	
КонецФункции

Условием нормального декодирования  XLS является наличие в первой строке заголовков соответствующим требованиям именования колонок таблицы значений. Прайс листы с группировками, картинками раскрасками и подобным нужны для удобства ручной обработки (формирования заказа в том же файле), вопрос формирования прайс листа технического формата можно решить административно.

ТабличныйДокумент = Новый ТабличныйДокумент;
ТабличныйДокумент.Прочитать(ИмяФайла);

Для Колонка = 1 По ТабличныйДокумент.ШиринаТаблицы Цикл
	Ячейка = ТабличныйДокумент.Область(1,Колонка);
	
	ИмяКолонки = Ячейка.Текст;
	ИмяКолонки = СтрЗаменить(ИмяКолонки, " ", "_");
	ИмяКолонки = СтрЗаменить(ИмяКолонки, "(", "");
	ИмяКолонки = СтрЗаменить(ИмяКолонки, ")", "");
	
	Ячейка.Текст = ИмяКолонки;
	
КонецЦикла;
	
ПЗ = Новый ПостроительЗапроса;
ПЗ.ИсточникДанных = Новый ОписаниеИсточникаДанных(ТабличныйДокумент.Область());
ПЗ.ДобавлениеПредставлений = ТипДобавленияПредставлений.НеДобавлять;
ПЗ.ЗаполнитьНастройки();
ПЗ.Выполнить();
ТаблицаЗначений = ПЗ.Результат.Выгрузить();

УдалитьФайлы(ИмяФайла);

Состыковка

Состыковку делаю по артикулу номенклатуры поставщика, при наличии идентификаторов со стороны поставщика это оптимальный вариант.

Перед состыковкой получаю таблицу значений и индексирую её по колонке "Артикул". Рассматриваю вариант без характеристик.

Функция ПолучитьТаблицаНоменклатураПоставщика(Поставщик)
	
	Запрос = Новый Запрос;
	Запрос.Текст = "ВЫБРАТЬ
	|	НоменклатураПоставщиков.Ссылка КАК Ссылка,
	|	НоменклатураПоставщиков.Наименование КАК Наименование,
	|	НоменклатураПоставщиков.Номенклатура КАК Номенклатура,
	|	НоменклатураПоставщиков.Артикул КАК Артикул
	|ИЗ
	|	Справочник.НоменклатураПоставщиков КАК НоменклатураПоставщиков
	|ГДЕ
	|	НоменклатураПоставщиков.Владелец = &Владелец";
	Запрос.УстановитьПараметр("Владелец", Поставщик);
	РезультатЗапроса = Запрос.Выполнить();
	
	Таблица = РезультатЗапроса.Выгрузить();
	Таблица.Индексы.Добавить("Артикул");
	
	Возврат Таблица;
		
КонецФункции

Процедура ДополнитьДокументПоМассивуОстатков(обДокументОстатков, ТЗ_НоменклатураПоставщика, МассивДанные)

...

	ПараметрыОтбора = Новый Структура;
	ПараметрыОтбора.Вставить("Артикул", Формат(СтрМ.Получить("sku"), "ЧГ="));
	
	нСтроки = ТЗ_НоменклатураПоставщика.НайтиСтроки(ПараметрыОтбора);
	
	Если нСтроки.Количество() > 0 Тогда
	
		// заполняет ТЗ или документ
	
	КонецЕсли;
	
КонецПроцедуры;

Запись

Записи результата загрузки несколько, оптимальный выбирается из ситуации в базе и требований заказчика

Остатки

• Документом оприходование излишков товаров товаров
  • оприходуется на "виртуальный склад", видно в подборе заказа поставщику при использовании группы складов
  • по складу может стоять ордерная схема для оприходования и при проведении только этого документа остаток не будет виден в подборе
  • удобно выгружать типовыми обработками на сайт (как правило берут данные из РН "Свободные остатки")
• Документом заказ поставщику
  • ставится "к поступлению" на основной склад, в подборе видно при "простом" варианте отображения подбора
  • можно указать плановую дату поступления на склад, что лучше чем просто остаток
  • для выгрузки на сайт добавляется запрос к РС "ДоступныеОстаткиПланируемыхПоступлений", в типовом обмене 
• Документом корректировка регистров в РН "Свободные остатки"
  • из преимуществ перед записью документами то что меньше времени на обработку
  • основной минус в "поломке" баланса учета
• При использовании Мегапрайс (помощник закупок) записать данные в его регистр напрямую.

Цены

• Документом Установка цен номенклатуры
  • Цены продажи
  • Базовые цены для расчета цен продажи
  • В упрощенном варианте в том числе закупочные если поставщик один
• Документом Установка цен номенклатуры поставщика
  • Цены закупки
• Документом заказ поставщику, совместно с регистрацией цен. Для отсутствия остатков по РН "Расчеты с поставщиками" можно выбрать хоз операцию "Прием на хранение с правом продажи", в строках ТЧ "Товары" указать вид цен поставщика.
• При использовании Мегапрайс (расчет цен) записать данные в его регистр напрямую

При фиксации записи данных нужно определится фиксируете только последнее состояние или историю. При фиксации истории уточните какой период и с какой точностью.

Результат упущения данного вопроса база в 50+ГБ 90 процентов которой были изменения по свободным остаткам через корректировку регистра. По отзывам клиентов в последних релизах вендор поправил алгоритм.

Постобработка

После загрузки цен как правило рассчитывают цены продажи. основная проблема в том что механизм расчета цен применяемый в документе Установка цен номенклатуры жестко завязан за форму документа, которую нельзя получить в серверном контексте, решением является эмулирование формы через структуру, решение вопроса в статье //infostart.ru/public/1257236/.

При сложном варианте расчета, для которого функционала типовой УТ не хватает имеет смысл найти/разработать свой механизм и запускать его после успешной загрузке.

После загрузки остатков запускают обновление остатков/статусов товаров. Типового по этому поводу в УТ 11 не встречал.

Мониторинг

Варианты

• От ошибки
  • при ошибке загрузки отправлять уведомление на почту или в мессенджер
  • при ошибке писать в журнал регистрации, отдельно запускать обработку анализа журнала регистрации и отправлять уведомления об ошибках
• От отсутствия успешного выполнения (если система не получает пинг в ожидаемое время, он посылает вам предупреждение)
  • Использовать https://healthchecks.io/
  • Использовать Zabbix и настроить в нем параметр мониторинга

Варианты реализации

• Внешняя подключаемая обработка, проста в подключении и настройки расписания.
• Расширение конфигурации, нужен блок с подключением расписания, который использует механизм внешних обработок,удобно переиспользовать код по формированию документов.
• Доработка конфигурации, удорожание дальнейшей поддержки конфигурации.

Итог

Реализовать механизм загрузки не сложно. Проблемы возникают при некорректном формате данных и "сложной" постобработке.

Благодарю за внимание.