Обмен большими данными между клиентом и сервером

Публикация № 1111349

Разработка - Системная интеграция - Внешние источники данных

Загрузка выгрузка datatransfer javascript xhr

65
В статье рассматривается вопрос передачи больших объемов данных, превышающих теоретический лимит сеансовых данных (4Гб за вызов) (они же временное хранилище) как с клиента на сервер, так и в обратном направлении.
  1. Проблематика.

Стандартный метод обмена данными между клиентом и сервером - временное хранилище. На одной стороне мы выполняем вызов "ПоместитьВоВременноеХранилище", получаем адрес, передаем его на другую сторону, там выполняем "ПолучитьИзВременногоХранилища". Есть пара неприятных нюансов.

А именно: 

  • За один вызов невозможно поместить во временное хранилище больше 4 Гб данных.
  • В процессе помещения данных в ВХ (здесь и далее временное хранилище) активно используются временные файлы. Точных данных нет, но в процессе помещения в темпах занимается временными файлами четырёхкратный объём помещаемого файла. Помещаете 4 Гб - потребуется ещё 16 Гб на разделе, где размещен temp. С нескромными аппетитами можно бы смириться (всё таки дисковое пространство - не самый дорогой ресурс в наши дни), если говорить об исключительности ситуаций, когда требуется обмен большими объеми данных. Если же эта операция выполняется регулярно, большим количеством пользователей, то велик шанс, что одновременно потребуется место для 10-100-Х (подставьте любое большое число загрузок, которое вам нравится) одновременных закачек, которые могут израсходовать всё свободное место на диске.
  • Из второй проблемы вытекает ещё и третья. Скорость записи на жесткий диск (в том числе во временные файлы) не бесконечна, хоть и ожидается выше скорости обмена по сети. А значит, запись пятикратного объема данных (сами данные и четырёхкратный темп для них) займёт пропорционально в 5 раз больше времени, чем если бы данные записывались ровно 1 раз.
  1. Пути решения проблемы.

  • Не передавать столько данных. Всерьёз такой способ рассматривать не будем.
  • Использовать сторонние ресурсы. Тут уже вы ограничены только собственной фантазией (ftp, webdav, облачные хранилища от различных поставщиков). Все эти способы имеют один общий недостаток. Количество операций ввода-вывода увеличивается вдвое. Один раз данные помещаются в условное облако, и только второй раз по назначению (в зависимости от направления передачи данных). Этот способ в статье рассматриваться не будет
  • Разделять файл на более мелкие части, передавать каждую часть последовательно. Вариант предполагает использование временного хранилища, а значит решает только одну из двух проблем - ограничение в 4 Гб. 
  • Использовать альтернативный транспорт, соединяющий напрямую сервер с клиентом (с некоторыми оговорками). Если не уходить в дебри с использованием внешних библиотек, позволяющих открывать TCP сокеты, платформа позволяет нам использовать как довольно гибкий транспорт http соединение с помощью объекта конфигурации http-сервис. А разработчики библиотек компании 1С даже реализовали на основе механизма http-сервисов служебную библиотеку "ПередачаДанных", которая позволяет обмениваться данными серверу 1С Предприятие с различными клиентами (не только родными). На этом способе хотелось бы остановиться более подробно. На тестах по передаче данных объемом до 20Гб средняя скорость получалась примерно в 3 раза выше, чем при передаче через временное хранилище, поддерживалась докачка прерванных загрузок, была теоретическая возможность организовать загрузку в несколько потоков. Описание библиотеки можно найти на сайте ИТС по ссылке. Отдельным пакетом передачу данных не публикуют. Библиотека входит в состав как БСП, так и БТС (из чего следует, что она присутствует во всех типовых, адаптированных для публикации во фреше), которые доступны всем желающим (с подпиской ИТС) на релизах. Библиотека выделена в отдельную подсистему "Передача данных".
  1. Как это устроено. Общее описание ландшафта.

Для простоты считаем, что существует сервер предприятия на хосте srv1c, на котором размещена информационная база base1. В базе внедрена библиотека ПередачаДанных. Информационная база и http-сервисы на веб-сервере Apache2.4, опубликованном на хосте srvweb со следующими endpoint-ами:

Адреса методов "ПередачаДанных"

Endpoint Наименование Метод Описание Роли Способ публикации
/base1 сама база   Позволяет открыть базу в вебклиенте, в тонком клиенте по WS-ссылке Зависит от конфигурации  
/base1/hs/dt/storage/{Storage}/{ID} ХранилищеИИдентификатор   Операции с файлами в логическом хранилище по идентификатору.    
    get Запрос получает токен на скачивание файла из логического хранилища Полные права, удаленный доступ Публикация без явного указания учетных данных. Требует аутентификации
    post Запрос получает токен на загрузку файла в логическое хранилище Полные права, удаленный доступ Публикация без явного указания учетных данных. Требует аутентификации
/base1/hs/dt/volume/{VolumeID}/* ТомИПутьКФайлу        
    get Запрос получает токен на скачивание файла из тома Полные права, удаленный доступ Публикация без явного указания учетных данных. Требует аутентификации
    post Запрос получает токен на загрузка файла в том Полные права, удаленный доступ Публикация без явного указания учетных данных. Требует аутентификации
/base1/hs/dt/download/{ID} Получить get По предварительно полученному токену отдает клиенту данные Полные права, передача данных (анонимный доступ) Публикация под учетной записью служебного пользователя, которому назначена только роль "Передача данных (анонимный доступ)"
/base1/hs/dt/upload/{ID} Отправить put По предварительно полученному токену загружает данные от клиента на сервер Полные права, передача данных (анонимный доступ) Публикация под учетной записью служебного пользователя, которому назначена только роль "Передача данных (анонимный доступ)"

Схема работы:

1. Формируем запрос. Он может быть сформирован как через вызовы методов http-сервиса ХранилищеИИдентификатор и ТомИПутьКФайлу (в этом случае необходимо указать свои учетные данные для аутентификации), так и с помощью серверного вызова: "РегистрСведений.ВременныеИдентификаторыЗапросов.ЗарегистрироватьЗапрос". В этом случае дополнительная аутентификация не нужна, использутся учетные данные текущего сеанса.

2. Ответ на запрос содержит токен. В дальнейшем этот токен используется для анонимного доступа к сервисам "передачи данных". Токен может быть использован только для той операции, которая была запрошена в запросе. Нельзя запросить скачивание файла А, а вместо этого загрузить на сервер файл Б. Токен действителен в течение 10 минут после регистрации запроса. После каждого обращения по токену время его жизни продляется на 10 минут.

3. Запрос может отправлять и получать как данные целиком, так и какую-то порцию. Это поведение регулируется http заголовком Content-Range.

  1. Пример реализации загрузки данных на сервер в тонком клиенте

Рассмотрим последовательность действий, которые необходимо совершить для отправки данных из тонкого клиента на сервер. Предполагаем, что http-сервис настроен и опубликован. Считаем, что файл доступен через диалог выбора файла и выбираем его:

АдресВХранилище = "";
ДополнительныеПараметры = Новый Структура;
ОписаниеОповещения = Новый ОписаниеОповещения("ВыборФайлаОповещение", ЭтотОбъект, ДополнительныеПараметры);
Диалог = Новый ДиалогВыбораФайла(РежимДиалогаВыбораФайла.Открытие);
Диалог.Заголовок = "Выберите файл";
Диалог.ПолноеИмяФайла = "";
Диалог.МножественныйВыбор = Ложь;
Диалог.Показать(ОписаниеОповещения);

 

далее следует неудобная для листинга цепочка якобы асинхронных вызовов, получение размера файла итд. Этот этап пропустим, переходим сразу к загрузке.

&НаКлиенте
Процедура ПоместитьФайлНаСерверПослеОпределенияРазмера(Размер, ДополнительныеПараметры) Экспорт
	
	Попытка
		
		Если Цел(Размер / ДополнительныеПараметры.РазмерЧасти) = (Размер / ДополнительныеПараметры.РазмерЧасти) Тогда
			ВсегоЧастей = Цел(Размер / ДополнительныеПараметры.РазмерЧасти);
		Иначе
			ВсегоЧастей = Цел(Размер / ДополнительныеПараметры.РазмерЧасти) + 1;
		КонецЕсли;
				
		СтруктураПубликации = Неопределено;
		ИдентификаторЗапроса = Неопределено;
		ЗаполнениеПараметровПубликацииНаСервере(ИдентификаторЗапроса, ДополнительныеПараметры, Размер, СтруктураПубликации);
				
		Соединение = Новый HTTPСоединение(СтруктураПубликации.Хост, , , , , , 
			?(СтруктураПубликации.Схема = "https", Новый ЗащищенноеСоединениеOpenSSL, Неопределено), Ложь);
		Если НЕ СтрЗаканчиваетсяНа(СтруктураПубликации.ПутьНаСервере, "/") Тогда
		
			СтруктураПубликации.ПутьНаСервере = СтруктураПубликации.ПутьНаСервере + "/";
			
		КонецЕсли;
		url = СтрШаблон("%1upload/%2",СтруктураПубликации.ПутьНаСервере, ИдентификаторЗапроса);
		Запрос = Новый HTTPЗапрос(url);
		Файл = Новый Файл(ДополнительныеПараметры.ИмяФайлаНаКлиенте);
		Размер = Файл.Размер();
		Порция = ДополнительныеПараметры.РазмерЧасти;
		Обработано = 0;
		Если Размер <= Порция Тогда
			Количество = Размер;
		Иначе
			Количество = Порция;
		КонецЕсли;
		
		ФайловыйПоток = ФайловыеПотоки.ОткрытьДляЧтения(ДополнительныеПараметры.ИмяФайлаНаКлиенте);
		ОбработаноЧастей = 0;		
		Пока Размер > Обработано Цикл
			ТекстСостояния = НСтр("ru='Идет загрузка файла на сервер (%1 из %2)...'");
			ТекстСостояния = СтроковыеФункцииКлиентСервер.ПодставитьПараметрыВСтроку(ТекстСостояния, ОбработаноЧастей, ВсегоЧастей);
			ПроцентВыполнения = Окр(ОбработаноЧастей * 100 / ВсегоЧастей, 3);
			
			Состояние(ТекстСостояния, ПроцентВыполнения);
			Количество = Мин(Размер - Обработано, Порция);
			Буфер = Новый БуферДвоичныхДанных(Количество);
			ФайловыйПоток.Прочитать(Буфер, 0, Количество);
			ИнтервалТекст = "bytes "+Формат(Обработано, "ЧН=0; ЧГ=0");
			Обработано = Обработано + Количество;
			ИнтервалТекст = ИнтервалТекст+"-"+Формат(Мин(Размер-1,Обработано-1), "ЧН=0; ЧГ=0")+"/"+Формат(Размер, "ЧН=0; ЧГ=0");
			Запрос.Заголовки.Вставить("Content-Range", ИнтервалТекст);
			Запрос.УстановитьТелоИзДвоичныхДанных(ПолучитьДвоичныеДанныеИзБуфераДвоичныхДанных(Буфер));
			Ответ	 = Соединение.Записать(Запрос);
			Если Ответ.КодСостояния >= 200 И Ответ.КодСостояния < 300 Тогда
				ОбработаноЧастей = ОбработаноЧастей + 1;
			Иначе
				ТекстСообщения = НСтр("ru = 'При загрузке файла произошла ошибка: %1'");
				ВызватьИсключение СтрШаблон(ТекстСообщения, Ответ.ПолучитьТелоКакСтроку());
				Прервать;
			КонецЕсли;
		КонецЦикла;
		ОтветJSON = Ответ.ПолучитьТелоКакСтроку();
#Если НЕ Вебклиент Тогда
		ЧтениеJSON = Новый ЧтениеJSON;
    	ЧтениеJSON.УстановитьСтроку(ОтветJSON);
		ОтветСтруктура = ПрочитатьJSON(ЧтениеJSON); 
		ИдФайлаВыгрузки = Новый УникальныйИдентификатор(ОтветСтруктура["id"]);
#КонецЕсли
		Исключение // По каким-то причинам файл разделить не удалось.
		
		ОписаниеОшибки = ОписаниеОшибки();
		Сообщить(ОписаниеОшибки);
		
	КонецПопытки;
				
КонецПроцедуры

Вызов "ЗаполнениеПараметровПубликацииНаСервере" регистрирует запрос на сервере от имени текущего пользователя, что в дальнейшем позволит анонимно отправлять http запросы без аутентификации. Образец работы с библиотечными вызовами будет приложен в файлах. Далее инициализируются http соединение, запрос уже на анонимный http сервис upload. Открывается файловый поток на чтение и последовательно вычитывается в буфер указанное в настройках количество байт. Запрос дополняется заголовком "Content-Range", используемым на сервере для "склейки" фрагментов передаваемого файла, и отправляется на сервер. Эта процедура циклически повторяется, пока все данные из файла не будут переданы. Последний ответ сервера содержит идентификатор файла в логическом хранилище (для его дальнейшего использования).

  1. Пример реализации скачивания данных с сервера в тонком клиенте

Тут всё просто:

  • как то находим наш идентификатор
  • формируем запрос на скачивание, как в предыдущем пункте
  • формируем полный URL загружаемого файла
  • делаем гиперссылку с этим URL на форме

На самом деле немного сложнее, но об этом в последнем разделе

  1. Пример реализации загрузки данных на сервер в веб-клиенте

В веб клиенте всё сильно сложнее. На момент разработки веб клиент позволял либо  выбрать файл и поместить его сразу во временное хранилище (метод "НачатьПомещениеФайла" до платформы версии 8.3.13 не позволял отказаться от помещения файла в ВХ), либо требовал установки расширения для работы с файлами, чтобы показать диалог выбора файла. А после ещё и дополнительно запрашивал разрешения на чтение файла ещё раз. И это даже не самое страшное... Веб клиент не позволяет создавать http запросы в коде.

 

А вот java script позволяет. Поэтому было принято решение для веб клиента экспроприировать диалог выбора файла прямо из браузера со всеми стилями и использовать его в своих корыстных целях. HTML форма диалога выбора файла позволяет перетаскивать файл(ы) drag'drop-ом, сразу несколько (хотя это и запрещено в примере), показывает полосу прогресса (чего в 8.3.15 так и не сделали), ну и конечно же работает с библиотекой "Передача данных". Более подробно смотрите внешнюю обработку в приложениях к статье.

  1. Концепт скачивания данных с сервера в веб-клиенте

Тут нужен небольшой экскурс в непростую историю развития браузеров и стандартов html5 в частности. Для предыдущего пункта использовался достаточно удобный, всеми принятый стандарт FileReader API. А вот для аналогичных операций при скачивании файлов нужен противоположный процесс - запись. А вот с этим из соображений безопасности у браузеров очень туго. File Writer так и не вышел из статуса черновика, был с горем пополам в какой то момент реализован Мозиллой, можно сказать, что его не существует. Однако файл загружать хочется. 

Можно это делать тем же способом, как предложено в п.5. Однако тут начинаются неприятные неожиданности на этапе открытия ссылки для скачивания. Браузер непонятно чем занимается, крутит колесико минуту-несколько, потом, возможно показывает диалог скачивания файла, а нередко ошибку 504. Что бы это значило, задумался я?

Проанализировав активность на сервере (дисковую в первую очередь) было выяснено, что файл после запроса начинает бродить по темпам. Сначала его копирует сервер предприятия, потом веб-сервер, потом (в моём случае на внешний мир смотрел ещё 1 слой из nginx в роли reverse proxy) ещё раз это делает nginx. И вот, пока идёт копирование файла во временные, колёсико крутится и мы ждём. Если файл не успевает скопироваться за настроенное время ожидания - привет 504 (Gateway timeout). 

На просторах интернета было найдено решение по рекомендации "лучших собаководов". Оно достаточно зависит от используемого веб-сервера.

Методика называется "контролируемая загрузка", состоит в следующем. Клиент запрашивает какой то ресурс. В нашем случае: https://host/ib/hs/dt/download/queryid. Вебсервер передает этот запрос на backend (на сервер предприятия), который добавляет в ответ специальные заголовки, которые говорят вебсерверу, какой файл отдавать. Примеры (правда для php) можно посмотреть в этой статье на хабре. Здесь приведу пример для nginx в режиме reverse proxy. 

1. В конфиге нашего сервера объявляем дополнительный "internal" location. Это важно. Доступ к файловой системе, указанной в этом location будет только у сервера, клиенты даже случайно не смогут получить доступа к содержимому каталога или даже самим файлам по прямой ссылке. Возможно использование как локальных файловых систем, так и смонтированных cifs и nfs шар.

location /protected/ {
  internal;
  root   /some/path;
}

2. В коде http-сервиса на стороне сервера предприятия добавляем специальные заголовки к ответу. В отличие от стандартной передачи файла в ответе сервера, в тело ответа не добавляются двоичные данные файла, а используется заголовок "X-Accel-Redirect". В переменной ИмяФайла формируется путь до файла в location, например, если файл фактически находится в /some/path/protected/file1.txt, то в переменной ИмяФайла должно находиться значение /protected/file1.txt. Ознакомиться с документацией по этому механизму можно здесь

Ответ = Новый HTTPСервисОтвет(200);
Ответ.Заголовки.Вставить("X-Accel-Redirect", ИмяФайла);
Ответ.Заголовки.Вставить("Content-Disposition", СтрШаблон("attachment; filename=""%1""", ИмяФайла));
Ответ.Заголовки.Вставить("Content-Type", "application/octet-stream");

Аналогичный инструмент существует для Apache (если вам не нужен reverse proxy) - mod_xsendfile, так же есть (вроде бы) модуль для IIS, но этот вопрос я не изучал, поэтому советовать ничего не буду.

 

PS: Не судите строго за не совсем ИС тематику публикации. Очень огорчает распространенное мнение, что 1С - это медленно, местячковый продукт для своих целей и своего рынка.

PPS: файл внешней обработки "выдирался" из конфигурации, возможно содержит ошибки.  Тестирование проводилось на конфигурации Менеджер сервиса 1.0.83.10. Если будут проблемы, с удовольствием помогу разобраться в комментариях и/или обновлениях статьи.

65

Скачать файлы

Наименование Файл Версия Размер
Обмен большими данными между клиентом и сервером:
.epf 13,20Kb
27.08.19
1
.epf 1.0 13,20Kb 1 Скачать

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо
1. muskul 28.08.19 03:49 Сейчас в теме
Более интересно почему получается 4-х кратное увеличение размера
2. SlavaKron 28.08.19 07:53 Сейчас в теме
(1) Может поиому что это сериализованные данные. Однако не могу подтвердить 4-кратное превышение.
4. logos 144 28.08.19 08:55 Сейчас в теме
(2) А проверить никакой проблемы нет. Возьмите (или сгенерируйте) 3.5 Гб мусора (например) и попробуйте "ПоместитьВоВременноеХранилище". Пока крутится колесико, смотрите за остатком свободного места, можно ещё через монитор производительности смотреть в какие файлы в это время идёт запись на сервере предприятия.
3. logos 144 28.08.19 08:53 Сейчас в теме
(1) Там дело даже не в сериализации, как то совершенно бестолково наполняется параллельно несколько тмп файлов, каждый до полного размера передаваемых данных, потом производится копирование между ними, пока оно, наконец, не осядет в сеансовых данных. Вот на пике получается 4х-кратный размер.
5. markers 240 28.08.19 13:02 Сейчас в теме
Я вот только одно не понял, пока это всё качается, тонкий клиент висит же. Не проще Curl`ом качать? Получается асинхронно.
Для меня подобная тема актуальная, так как надо в некоторых магазинах качать начальные образа РИБа для этого магазина (Которые весят >5Gb) и качать самой 1С (Тонким клиентом) не возможно, так как клиент будет тупо висеть. По этому сделали загрузку Curl`ом, 1С просто запускает процесс скачивания с FTP который на сервере у нас лежит и не ждет скачки, только иногда проверяет, не скачался ли там файл
7. logos 144 28.08.19 14:13 Сейчас в теме
(5) Тонкий висит, веб не висит. xhr запросы выполняются асинхронно. В этом плане, как ни странно, веб клиент оказался гибче.
6. frkbvfnjh 557 28.08.19 13:47 Сейчас в теме
Прочел до половины и ничерта не понял. Что значит
В базе внедрена библиотека ПередачаДанных
? О чем вообще речь, что такое библиотека ПередачаДанных? Её нужно внедрять? Как ее внедрять? Нужен БСП или речь о технологии 1cFresh? Можно ли внедрить в не типовые конфигурации и без БСП? Вы бы хоть дали краткие данные, что нужно иметь, что бы это все заработало. Те кто понимает о чем речь, они наверное и так знают про все, о чем здесь написано, а для тех кто ни знает, даже не понятно с какой стороны к этому подойти.
8. logos 144 28.08.19 14:22 Сейчас в теме
(6) Действительно, отдельным пакетом передачу данных не публикуют. Библиотека входит в состав как БСП, так и БТС, которые доступны всем желающим (с подпиской ИТС) на релизах. Библиотека выделена в отдельную подсистему "Передача данных".
9. frkbvfnjh 557 29.08.19 05:37 Сейчас в теме
(8) Спасибо, теперь более понятно. Это пояснение не помешало бы в статье
10. logos 144 29.08.19 08:43 Сейчас в теме
11. frkbvfnjh 557 29.08.19 08:55 Сейчас в теме
12. o.nikolaev 193 29.08.19 09:37 Сейчас в теме
Отличная статья. Без воды и рассусоливаний, все по делу. Спасибо!
13. -vito- 71 29.08.19 14:33 Сейчас в теме
Спасибо. Очень интересные метод.
Что касается нескольких копий файлов, это происходит не только при работе с ВременнымХранилищем, но и при любом обмене между Клиентом и Сервером. Например, при загрузке из Конфигуратора файлов cf или dt, при получении данных формы (большого объема). Как минимум получается 2 "копии" файла, как максимум, 4.
14. Andrefan 02.09.19 09:45 Сейчас в теме
Спасибо, познавательно. Могли бы привести примеры необходимости передачи такого объема данных с к на с?
15. logos 144 02.09.19 14:54 Сейчас в теме
(14) В моём случае это была загрузка бэкапов локальной базы в облако.
16. ValeriVP 1016 09.09.19 14:13 Сейчас в теме
у меня вопросы.
1) Проблема передачи данных из памяти или файла с диска клиента?

Если из памяти:
2) откуда их столько???
3) если накопили все ж - почему не положить временно на диск?

Если файл:
4) чем не нравятся методы ПолучитьФайл и ПоместитьФайл?
17. logos 144 09.09.19 15:09 Сейчас в теме
(16)
1. Это не важно.
2. Соответственно пропускаем
3. Любая операция ввода-вывода - это время. Файл размером 8Гб копируется ощутимое время.
4. ПоместитьФайл считается синхронным вызовом, недоступен в вебклиенте.
Глобальный контекст (Global context)
НачатьПомещениеФайла (BeginPutFile)
Доступен, начиная с версии 8.3.13.
...поскипал...
Описание:
Начинает помещение файла из локальной файловой системы во временное хранилище.

Работает с временным хранилищем. Вы точно читали о чём статья? В первом разделе я описывал, почему мне не подходила работа с временным хранилищем:
1. Ограничение на размер порции данных
2. Нерациональное использование временных файлов.
Оставьте свое сообщение

См. также

Вебхук. Путь Телеграма 54

Статья Программист Конфигурация (md, cf) v8 Абонемент ($m) Внешние источники данных Интеграция

Долгое (на самом деле нет) и нелегкое путешествие телеграма к неведомым (из за РКН) конфигурациям 1С. Памятка себе.

1 стартмани

03.10.2019    2468    5    platonov.e    10       

Получение изображения с IP-камеры 24

Инструменты и обработки Программист Архив с данными v8 1cv8.cf Абонемент ($m) Внешние источники данных

Получение изображения JPG с IP-камеры в виде двоичных данных. В 1С может применяться для фотографирования объектов.

1 стартмани

10.09.2019    3638    14    sivin-alexey    8       

Описание формата внутреннего представления данных 1С в контексте обмена данными 143

Статья Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Практика программирования Внешние источники данных Разработка

Фирма 1С не рекомендует использовать внутреннее представление данных для любых целей, которые отличны от обмена с 1С:Предприятием 7.7. Но сама возможность заглянуть на "внутреннюю кухню" платформы с помощью функций ЗначениеВСтрокуВнутр(), ЗначениеВФайл(), ЗначениеИзСтрокиВнутр() и ЗначениеИзФайла(), дала возможность сообществу программистов 1С разработать новые приемы разработки и анализа. Так, именно на использовании внутреннего представления был построен алгоритм "быстрого массива", который позволяет практически мгновенно создать массив в памяти на основании строки с разделителями. С помощью разбора внутреннего представления можно "на лету" программным кодом выполнить анализ обычной формы и даже сделать редактор графической схемы. Во внутреннем формате сохраняют свои данные между сеансами различные популярные внешние обработки. А еще это возможность сделать быстрый обмен с внешними системами.

1 стартмани

06.09.2019    4325    4    Dementor    27       

Согласование задач из Outlook 50

Инструменты и обработки Программист Расширение (cfe) v8 1cv8.cf Windows Абонемент ($m) Внешние источники данных

Согласование задач непосредственно из почтовой программы, в моем случае Outlook 2013 без каких-либо дополнительных настроек. Из почты отправляется GET запрос к HTTP-сервису 1С, который в свою очередь выполняет задачу.

1 стартмани

06.09.2019    2210    6    duhh    17       

Телеграм 1С – почти коробка 41

Инструменты и обработки Программист Пользователь Архив с данными v8 Windows Абонемент ($m) Внешние источники данных

Почему это решение называется «почти коробка»? Потому, что это почти коробочное решение. С его помощью, просто добавив подсистему в конфигурацию, уже можно начинать взаимодействовать с мессенджером Telegram.

10 стартмани

20.08.2019    3974    15    zfilin    65       

Расширение Бром для интеграции с 1С 14

Инструменты и обработки Программист Архив с данными v8 Абонемент ($m) Внешние источники данных WEB

Из этой статьи вы узнаете, как можно быстро и просто синтегрироваться с любой конфигурацией 1С при помощи расширения Бром.

1 стартмани

06.08.2019    1678    3    itworks    8       

Конфигурация для обмена данными (интеграционная шина) 23

Инструменты и обработки Программист Конфигурация (md, cf) v8 1cv8.cf Windows Абонемент ($m) Внешние источники данных WEB

Система позволяет организовать обмен данными, как с базами 1С, так и любыми другими приложениями. Система представляет собой отдельную конфигурацию. Система позволяет организовать гибкие возможности по настройке обмена. В качестве брокера сообщений, для передачи данных, используется отдельная самостоятельная конфигурация на 1С. Комплект поставки содержит файл расширения для "клиентской" части шины, данное расширение позволяет без снятия "ключа" организовать гибкий механизм обмена данными.

4 стартмани

08.07.2019    3033    15    miha-28    14       

Интеграция 1С с Битрикс CRM через REST API 16

Статья Программист Внешняя обработка (ert,epf) v8 1cv8.cf Абонемент ($m) Внешние источники данных

На фоне неутихающего обострения «бизнеса» по внедрению СРМ-систем остро встают вопросы обмена данными с уже существующими системами. В статье рассматривается выгрузка контактов, товаров и сделок из 1С в Битрикс CRM через REST API, приложена обработка для тестирования.

1 стартмани

28.06.2019    5224    9    muzipov    7       

Пример работы с viber из 1С, отправка сообщений из 1С в viber 12

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 1cv8.cf Абонемент ($m) Внешние источники данных

Обработка разработана для примера отправки сообщений в viber из 1С.

1 стартмани

16.05.2019    3389    29    Isa816    17       

Шаблон http-сервиса для вашего проекта 70

Инструменты и обработки Программист Архив с данными v8 v8::Mobile 1cv8.cf Абонемент ($m) Внешние источники данных WEB Мобильная разработка

Http-сервис для обмена данными в формате JSON. Обработчики этого сервиса находятся во внешней обработке, что позволяет дорабатывать его без изменения конфигурации. Также прилагаю пример мобильного приложения для работы с данным сервисом (получает номенклатуру и остатки на складе). Сервис очень быстро разворачивается и масштабируется под ваши задачи.

2 стартмани

04.05.2019    5949    46    MarkoSokolov    47       

"Мобильный ТСД" - инвентаризация и сбор штрихкодов для iOS и Android 21

Инструменты и обработки Программист Пользователь Расширение (cfe) v8 v8::Mobile Розница УНФ ERP2 УТ11 КА2 Розничная и сетевая торговля (FMCG) Оптовая торговля, дистрибуция, логистика УУ Монитор заказов Оптовая торговля Розничная торговля Ценообразование, анализ цен Абонемент ($m) Внешние источники данных Сканер штрих-кода Терминал сбора данных Работа с интерфейсом Мобильная разработка

Простой мобильный терминал сбора данных для iOS и Android, не требующий сложных настроек и установки дополнительных программ. Для выгрузки базы штрихкодов и загрузки собранных штрихкодов в документы учетной системы используется Яндекс Диск или облачный сервис и расширение конфигурации. Работает с конфигурациями Розница 2, УНФ 1.6, УТ 11, ERP, КА2.

3 стартмани

22.04.2019    9953    51    suepifanov    61       

1C + Python + Django Rest Framework + Vue.js. Опыт несложной full-stack разработки 121

Статья Программист Архив с данными v8 1cv8.cf Абонемент ($m) Практика программирования Внешние источники данных Обмен через XML WEB Разработка

В этой статье мы рассмотрим путь и основные моменты создания небольшого вэб-сервиса, который мы называем "Онлайн Прайс-лист". Выгрузка из 1С, бэкенд, фронтенд, получение заказов в 1С.

1 стартмани

22.04.2019    15872    14    riposte    63       

WhatsApp чат для 1С 12

Инструменты и обработки no Архив с данными v8 v8::УФ 1cv8.cf Абонемент ($m) Внешние источники данных

WhatsApp чат для 1С. Расширение конфигурации, подходит для любых конфигураций 1С (управляемые формы).

5 стартмани

15.04.2019    2766    12    ManyakRus    10       

Доработка функционала отправки дополнительных реквизитов 1С: ЭДО для Татнефть 17

Инструменты и обработки Бухгалтер Расширение (cfe) v8 ERP2 БУ Документооборот и делопроизводство Абонемент ($m) Внешние источники данных

Подключаемое расширение к конфигурации ERP с функционалом отправки дополнительных реквизитов 1С ЭДО для Татнефть (№ и дата договора, подразделение, автор, примечание) в электронных документах Счет-фактуры и ТОРГ-12 Проверялось на 1С:ERP Управление предприятием 2.4.6.160.

2 стартмани

07.04.2019    2890    8    sapervodichka    6       

Аутентификация на внешних сервисах посредством OAuth 80

Статья Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Windows Абонемент ($m) Информационная безопасность Внешние источники данных

Пример подключения к сервисам Google из 1С с помощью протокола OAuth и получения данных с внешнего сервиса.

1 стартмани

03.04.2019    6022    4    binx    5       

Декларации по формам 11 и 12 алкогольной продукции, интеграция с ПО Декларант-Алко 16

Отчеты и формы Бухгалтер Архив с данными v8 Розничная и сетевая торговля (FMCG) Россия БУ Розничная торговля Абонемент ($m) Регламентированная отчетность Внешние источники данных

Конфигурация на обычных формах, платформа 1С 8.2.19.130 и выше, с помощью которой можно сформировать Декларации по формам 11 и 12 алкогольной продукции, гибрид/интеграция с ПО Декларант-Алко версии 4.31.05 и выше.

1 стартмани

25.03.2019    1953    8    independ    6       

Работа с Active Directory из 1С (загрузка / выгрузка данных) 19

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 1cv8.cf Россия Абонемент ($m) Внешние источники данных

Загрузка данных из Active Directory / Изменение информации пользователя в AD из 1С.

1 стартмани

26.02.2019    4647    43    Смешной 1С    6       

Телеграм + 1С + Вебхуки + Апач + Самоподписанный сертификат 48

Статья Программист Архив с данными v8 Windows Абонемент ($m) Внешние источники данных

Много строк исписано про интеграцию Телеграма и 1С. Но нигде не увидел полной инструкции по установке и настройке вебхуков. Попробую её написать.

1 стартмани

26.02.2019    6534    6    alexlx    29       

Универсальное расширение 1С для Google Таблиц и Документов 95

Статья Программист Расширение (cfe) v8 1cv8.cf Абонемент ($m) Внешние источники данных

Эта статья для тех, кто использует G Suite и 1С. Готовое решение для выгрузки отчетов и печатных форм из баз 1С в Google Диск в формате Google Таблиц и Google Документов. Информация по его внедрению. Описание создания и настройки проекта в GCP.

1 стартмани

31.01.2019    6848    18    Maria18    12       

Коннектор: удобный HTTP-клиент для 1С:Предприятие 8 512

Инструменты и обработки Программист Конфигурация (md, cf) v8 1cv8.cf Абонемент ($m) Практика программирования Внешние источники данных WEB Универсальные функции Инструментарий разработчика Универсальные обработки

Коннектор - библиотека для работы с HTTP запросами. Библиотека берет на себя всю рутину работы с HTTP запросами. Буквально в одну строку можно получать данные, отправлять, не заботясь о необходимости конструирования URL, кодирования данных и т.п.

1 стартмани

31.01.2019    25124    242    bonv    106       

HTTP API Диадок. Загружаем в Диадок любой документ. Посредством POST и GET запросов 18

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 1cv8.cf Абонемент ($m) Внешние источники данных

Поставили задачу через HTTP API Диадок (diadoc-api.kontur.ru) отправить любой файл в Диадок и подписать его (например, служебную записку в формате пдф). Посредством POST и GET запросов.

2 стартмани

14.01.2019    3977    10    John_d    4       

Применение средств MS SQL R service для 1С 54

Статья Программист Нет файла v8 1cv8.cf MS SQL Абонемент ($m) Внешние источники данных

Некоторое время назад Microsoft добавила в MS SQL сервер службы машинного обучения, позволяющие выполнять программный код на языках программирования R и Python. В статье будет продемонстрирована общая схема и принцип того, как можно использовать данные службы в контексте разработки на 1С. 

1 стартмани

25.11.2018    9588    Robbi    14       

Интеграция WhatsApp в 1С (botcorp.io и api-messenger.com) 29

Инструменты и обработки no Конфигурация (md, cf) v8 Абонемент ($m) Внешние источники данных

Сейчас у WhatsApp более 1 млрд. пользователей во всём мире. В России мессенджер держится на верхних строчках по популярности среди всех мессенджеров. Из чего следует, что WhatsApp является самым желанным мессенджером для интеграции с 1С.

3 стартмани

22.11.2018    15687    45    17808849    47       

Исправление ошибки универсального обмена Бухгалтерия предприятия, редакция 3.0 (3.0.65.х, расширение конфигурации) 20

Инструменты и обработки Системный администратор Программист Расширение (cfe) v8 БП3.0 Абонемент ($m) Внешние источники данных Адаптация типовых решений

Уже у третьего клиента вижу ошибку Ошибка проверки данных XDTO: Структура объекта не соответствует типу: {http://www.1c.ru/SSL/Exchange/Message}Header Значит, как говаривал Винни-Пух - это неспроста. Ну и точно неспроста, 1С что-то подшаманили в обмене через универсальный формат.

1 стартмани

19.10.2018    7810    22    capitan    12       

Загрузка чека онлайн-касс (загрузка товаров из чека) 38

Инструменты и обработки Системный администратор Программист Бухгалтер Внешняя обработка (ert,epf) v8 1cv8.cf Кассовые операции Розничная торговля Абонемент ($m) Внешние источники данных WEB

Обработка-пример, позволяет любому и из любой конфигурации загрузить информацию о товарах из чека(и не только) с сервера ФНС proverkacheka.nalog.ru

2 стартмани

08.10.2018    7154    23    echo77    32       

Мониторинг показателей систем 1С 8.3 с помощью Zabbix 162

Инструменты и обработки Системный администратор Внешняя обработка (ert,epf) v8 1cv8.cf Абонемент ($m) Внешние источники данных Zabbix

Опишу свой опыт мониторинга наших систем 1С с помощью Zabbix и ту пользу, которую можно извлечить из этого.

1 стартмани

05.10.2018    20265    36    akimych    48       

Связка 1С и Telegram. Отправка стикеров 32

Статья Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Практика программирования Внешние источники данных

В качестве факультатива сейчас изучаю возможности связки 1С и мессенджера Telegram. И возник вопрос, как помимо сообщений, посылать в ответ на действия пользователя произвольный стикер? Решению этой мини задачи и посвящена данная статья.

1 стартмани

31.07.2018    7182    4    Skin123    4       

Отправка сообщений через Telegram (через прокси) 17

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Внешние источники данных

Простая обработка для отправки сообщений из 1с в Телеграм конкретному пользователю. Используя прокси-сервер: jqlwb.teletype

1 стартмани

20.07.2018    8976    9    Deda    7       

Опыт интеграции мессенджера Telegram c 1C 98

Статья Программист Нет файла v8 Абонемент ($m) Внешние источники данных

Статья будет полезна всем, кто интересуется возможностями интеграции 1С с мессенджером Telegram. Пустовой Вячеслав в формате короткого мастер-класса рассказывает о создании и настройке бота, позволяющего, к примеру, упростить процессы согласования платежей внутри компании, отгрузки со склада или получение оперативной информации о состоянии дебиторской задолженности.

19.07.2018    11790    411    VachKirp    31       

RabbitMQ + 1С. Быстрый старт 78

Инструменты и обработки Программист Архив с данными v8 1cv8.cf Windows Абонемент ($m) Внешние источники данных

Внешняя компонента для отправки сообщения из 1С в кролика. Сервис прослушивания и перенаправления сообщений из кролика в http или web-сервис.

1 стартмани

10.06.2018    16583    71    Goleff74    38       

Опять про sFTP и вообще 34

Статья Программист Внешняя обработка (ert,epf) v8 1cv8.cf Windows Абонемент ($m) Внешние источники данных

Памятка для разработчика по работе с FTP, FTPs и sFTP.

1 стартмани

23.05.2018    10398    24    leongl    11       

Экономим время на ввод операций в 1С: Деньги 34

Инструменты и обработки no Конфигурация (md, cf) v8 1cv8.cf Домашние учет и финансы Банковские операции Абонемент ($m) Обработка документов Внешние источники данных

Рабочее решение автоматического создания операций в 1С: Деньги. Основано на анализе СМС.

1 стартмани

14.05.2018    6670    13    vsbronnikov    20       

Интеграция между Atlassian Jira и 1С:Предприятие 8.3 используя Jira REST API (выборка, создание и изменение запросов, чтение, создание и удаление записей о работах, чтение комментариев и другие возможности) 80

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Внешние источники данных WEB

Внешняя обработка на управляемой форме для 1С:Предприятие 8.3 по интеграции с Atlassian Jira используя Jira REST API. Ключевые функции: выборка запросов с использованием JQL; добавление и изменение запросов; добавление, изменение и удаление записей о работах; чтение комментариев к запросам; сохранение всех ключевых параметров между сеансами работы. Тестирование проводилось на платформе 1С (8.3.11.2954) совместно с JIRA Server platform (7.3.7)

1 стартмани

24.04.2018    16780    113    Ko1t    63       

Чтение и запись из таблиц гугл (google sheets) в табличный документ 1С (8.3, управляемые формы) 148

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 v8::УФ 1cv8.cf Абонемент ($m) Внешние источники данных WEB

Внешняя обработка на управляемой форме для 1С версии 8.3 для доступа к сервисам Google Sheets c использованием протокола авторизации OAuth 2.0. Выполняет получение списка листов таблицы гугл, чтение таблицы гугл в табличный документ 1С и запись из табличного документа 1С в таблицу гугл. Тестирование проводилось на платформе 1С:Предприятие 8.3 (8.3.11.2954).

1 стартмани

09.04.2018    21161    164    Ko1t    50       

Чат бот в 73 строки на 1С - ИИ наступает 29

Инструменты и обработки no Внешняя обработка (ert,epf) v8 1cv8.cf Абонемент ($m) Практика программирования Внешние источники данных

Интеграция с уже готовой системой чат-бота для различных случаев жизни. Используется API от DialogFlow Google. Обработка тестировалась на 1С:Предприятие 8.3 (8.3.10.2252) Должно работать на всех 8.3 версиях.

1 стартмани

09.04.2018    8517    24    Lapitskiy    7       

Практикум по созданию обменов данными через протокол oData «за полдня» 98

Статья Программист Внешняя обработка (ert,epf) v8 1cv8.cf Россия Абонемент ($m) Практика программирования Внешние источники данных

Про oData и 1С было довольно много написано, однако же описания работы и с чтением, и с записью данных через JSON я так и не встретил ни на этом ресурсе ни на других. Попробую раскрыть эту тему.

1 стартмани

20.03.2018    17995    11    timm00    64       

Оповещения из ЗУП и ERP в TELEGRAM 71

Инструменты и обработки Программист Бухгалтер Внешняя обработка (ert,epf) v8 ERP2 ЗУП3.x Абонемент ($m) Внешние источники данных

Начитался статей про интеграцию 1С -> Telegram, решил аккумулировать опыт и попробовать сделать какую-нибудь полезную обработку. Как результат - внешняя обработка, уведомляющая ответственных сотрудников по расписанию о необходимости оплаты отпусков, материальной помощи, премий. Данные посылаются в виде PDF файла (Отчет, созданный на основании макета). Можно использовать обработку как обучающую. Тестировалось на ERP 2.4.2.139, на ЗУП 3.X тоже должно работать.

1 стартмани

01.03.2018    9331    54    khabibullin.tu    14       

HTTP API Диадок. Пример авторизации и обращения к методам посредством POST и GET запросов 25

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 1cv8.cf Абонемент ($m) Внешние источники данных

Поставили задачу через HTTP API Диадок (diadoc-api.kontur.ru) получить статус документа. Посредством POST и GET запросов.

2 стартмани

19.02.2018    9948    24    John_d    4       

К вопросу об интеграции 1С и Битрикс24 18

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 1cv8.cf Windows Абонемент ($m) Внешние источники данных

Обработка реализует 4 метода из Rest API Битрикс24 - получение списка бизнес-процессов, получение списка задач, создание задачи и получение свойств задачи по ее идентификатору.

1 стартмани

19.02.2018    10095    73    bulpi    11       

[Расширение] Контекстная подсказка и автозаполнение данных используя DaData.ru без снятия с поддержки БП + УТ + CRM 21

Инструменты и обработки Бухгалтер Пользователь Расширение (cfe) v8 БП3.0 УТ11 1С:CRM Абонемент ($m) Обработка справочников Внешние источники данных WEB

Удобно искать, выбирать варианты и заполнять справочники Контрагенты\партнеры\адреса по частям строк, адресов, ИНН, чему угодно, благодаря сервису DaData.ru. Подключается в режиме Предприятие, конфигурация полностью остаётся на поддержке. Не требует наличия подписки ИТС и загрузки КЛАДРа (ФИАС) в базу, при этом не отключает штатный функционал по автозаполнению.

1 стартмани

07.01.2018    11486    99    ipetrochenko    57       

Практика доступа в базу 1С через протокол oData. Изменение данных 113

Статья Системный администратор Программист Внешняя обработка (ert,epf) v8 1cv8.cf Абонемент ($m) Практика программирования Внешние источники данных

Продолжаем знакомство с протоколом oData и в данной статье мы рассмотрим такие вопросы, как минимально необходимый багаж теоретических знаний, необходимый для работы, способы изменения доступных данных, а также с какими ограничениями можем при этом столкнуться. Осторожно, будет много скриншотов!

1 стартмани

30.12.2017    22652    85    Dementor    26       

Загрузка ОФД (ofd.ru, ofd-ya.ru, taxcom.ru, platformaofd.ru, ofd.kontur.ru, online.sbis.ru, life-pay.ru, modulpos.ru, 1-ofd.ru, Экспресс касса, subtotal.ru, sberbank.ru/ofd, chekonline.ru, initpro.ru) 12

Инструменты и обработки Бухгалтер Внешняя обработка (ert,epf) v8 v8::БУ БП3.0 Россия БУ Кассовые операции Абонемент ($m) Внешние источники данных

Обработка по загрузке файлов из основных ОФД. Возвраты вычитаются из внесенных денег. Тестирование проводилось на Бухгалтерия предприятия, редакция 3.0 (3.0.54.15)

1 стартмани

28.12.2017    11440    63    ikbokov    6       

Инструкция по настройке загрузки из ФСС электронных листков нетрудоспособности ЭЛН в документ 1С Начисление по больничному листу 57

Статья Программист Бухгалтер Архив с данными v8 КА1 ЗУП2.5 УПП1 Россия БУ Зарплата ФОМС, ПФ, ФСС Абонемент ($m) Внешние источники данных

Клиент (страхователь) работает в программе "1С Зарплата и управление персоналом ред.2.5" сдает отчетность через Контур или СБИС и не собирается подключать 1С-Отчетность, при этом хочет загружать электронные больничные в программу 1С Зарплата. Подобная ситуация может быть и для других конфигураций в которых есть документ "Начисление по больничному листу", например Комплексная автоматизация 1.1, Управление производственным предприятием 1.3.

1 стартмани

28.11.2017    104401    179    rusmil    115       

Автоматическое заполнение реквизитов контрагентов по ИНН для ERP 2.2, УТ 11.4, УТ 11.3, УТ 11.2, КА 2.2 и БП 3.0 (расширение конфигурации) 32

Инструменты и обработки Бухгалтер Пользователь Архив с данными v8 v8::БУ v8::ОУ v8::УФ УПП1 ERP2 БП3.0 УТ11 КА2 Россия Абонемент ($m) Обработка справочников Внешние источники данных

Универсальное расширение конфигурации для автоматической загрузки реквизитов контрагентов (партнеров) из ОГРН для 1С:ERP Управление предприятием 2 (ERP Управление предприятием 2.2), 1С:Управление торговлей 8 (Управление торговлей, редакция 11.4), 1С:Управление торговлей 8 (Управление торговлей, редакция 11.3), 1С:Управление торговлей 8 (Управление торговлей, редакция 11.2), 1С:Комплексная автоматизация 8 (Комплексная автоматизация, редакция 2.2) и 1С:Бухгалтерия 8 (Бухгалтерия предприятия редакция 3.0)

3 стартмани

08.11.2017    21285    182    AlexeyT1978    146       

Универсальная выгрузка данных в формате CSV 24

Инструменты и обработки Программист Внешняя обработка (ert,epf) v8 1cv8.cf Абонемент ($m) Внешние источники данных

Универсальная обработка для выгрузки данных из 1С в файл формата CSV.

3 стартмани

06.11.2017    17440    154    ltfriend    18       

WS Black Hole by EvilGrym. Универсальный обмен через SOAP, вместо прямого соединения через COM, V83.Application и т.п. 14

Инструменты и обработки Программист Конфигурация (md, cf) v8 1cv8.cf Абонемент ($m) Внешние источники данных

Сервис предназначен для организации взаимодействия с БД 1С посредством SOAP протокола. Позволяет хранить исходный функциональный код на вызывающей стороне. Предназначен для замены обмена данными через COM-соединения любого рода.

3 стартмани

15.10.2017    7190    3    Evilgrym    4