Выгрузка из 1С в BI-системы: Yandex Datalens, Power BI, Apache Superset, Visiology и др.

Готовое решение для автоматической выгрузки данных из 1С 8.3 в базу данных ClickHouse, PostgreSQL или Microsoft SQL для работы с данными 1С в BI-системах. «Экстрактор данных 1С в BI» работает со всеми типовыми и нестандартными конфигурациями 1С 8.3 и упрощает работу бизнес-аналитиков. Благодаря этому решению, специалистам не требуется быть программистами, чтобы легко получать данные из 1С в вашей BI-системе.

Выгрузка данных из 1С
в BI-системы

Надёжная выгрузка любых данных из 1С в Datalens, Power BI, Apache, Visiology и др. в многопоточном режиме для BI-аналитики. Работает со всеми популярными СУБД: Clickhouse, PostgreSQL, MS SQL, Kafka и др.
С помощью этого инструмента Вы сможете самостоятельно, без программирования настроить выгрузку данных из 1С в BI за 15 минут в удобном интерфейсе!

Оставьте заявку, чтобы бесплатно протестировать выгрузку из 1С в BI.

Готовое решение для автоматической выгрузки данных из 1С 8.3

Возможности продукта обеспечивают:

Автоматическую интеграцию данных 1С с ведущими базами данных

Простоту подключения к системам BI для углубленного анализа

Мгновенную обработку больших объёмов данных благодаря многопоточности

настраивайте выгрузку 1С с BI-аналитикой без помощи программиста

Список основных BI-систем

Yandex Datalens
Microsoft Power BI

Apache Superset
Qlik Sense

Visiology
Analytic WorkSpace

Loginom
Easy Report

Pix BI

Polymatica

готовый продукт для анализа данных 1С

Для кого подходит

Будет полезен организациям, использующим систему 1С для учета и управления, которые стремятся улучшить анализ данных и процессы принятия решений через интеграцию с BI-системами.

Бизнес-аналитики
Программисты
Пользователи, активно работающие с 1С 8
Финансовые, коммерческие и технические директора
Программисты
СЕО
Сферы деятельности: Производство, ритейл, дистрибьюция, грузоперевозки, IT-компании, гос. компании и др.

Попробуйте демоверсию
на своей 1С

Оцените преимущества Экстрактора данных из 1С в BI-аналитику уже сегодня. Оставьте заявку, чтобы получить триал-версию на 5 дней.

Подробно о функционале выгрузки из 1С в BI

Простая настройка

Формирование в пользовательском режиме наборов данных из 1С на основе объектов метаданных и запросов, в том числе с поддержкой вычисляемых полей, параметров, временных таблиц

Выгрузка любых данных

Выгрузка связанных сущностей с основным регистром, выгрузка произвольных Запросов 1С (СКД)

Автоматизация работы с БД

Автоматическая генерация и модификация структуры таблиц с маппингом к наборам данных в БД Clickhouse

Оптимизация выгрузки

Поддержка партицирования таблиц в БД Clickhouse, PostgreSQL, MS SQL. Полная выгрузка только изменений (в рамках партиции)

Многопоточный режим

Автоматическое отслеживание изменений в справочниках, документах и регистрах. Многопоточная выгрузка в БД

Работа в фоновом режиме

Работа с клиент-серверными и файловыми базами 1С 8.2 и 8.3. Полностью автоматическая работа в фоновом режиме

Безопасность

1С остаётся закрыта для внешних обращений, а все выгружаемые данные надёжно защищены

Поддержка MS Excel

Экстрактор поддерживает выгрузку Microsoft Excel

Реестр отечественного ПО

Инфостарт - аккредитованная IT-компания, продукт внесён в Реестр отечественного ПО

Видеообзор функционала

Какие данные можно выгружать

С помощью нашего расширения из 1С можно выгружать в BI-аналитику любые наборы данных (запросы), включающие в себя:

Продажи
Расходы

Закупки
Документы

Справочники
Перечисления

Константы
Планы видов характеристик

Планы счетов
Хозяйственные операции (проводки)

Регистры сведений (цены и т.д.)
Регистры расчета (зарплатные)

Схема решения и как работает

Настройте выгрузку данных из 1С в BI-аналитику за 5 простых шагов:

Подключите внешнюю базу данных, в которую необходимо выгружать информацию из 1С
Подключите наше решение к 1С как Расширение или Конфигурацию и активируете лицензию. Все дальнейшие настройки происходят внутри программы
Создайте новый Проект выгрузки в окне Экстрактора в программе 1С
Выберите данные, которые нужно выгрузить
Настройте расписание выгрузки для автообновления данных

Технические требования

Базово, наше Решение реализовано как «Расширение» 1С 8.3, т.е. оно встраивается в Вашу 1С и дополняет функциональность Вашей 1С необходимым функционалом. В каждой поставке мы предоставляем Заказчикам две версии:

Как Расширение 1С
Как Конфигурацию 1С для встраивания (методом объединения конфигураций)

Мы осуществляем полную методическую и консультационную поддержку нашего Решения.

Разработка выполнена на Управляемых формах (поэтому, если у вас не запрещен запуск Вашей конфигурации в режиме управляемых форм, то наше Решение будет там работать вполне успешно).
В решении использованы стандартные методы и подходы 1С 8.3.
Частично задействованы механизмы БСП (Библиотека стандартных подсистем), но только в части встраивания и создания регламентных заданий.
Решение нормально (без доработок и адаптации) работает с любыми конфигурациями с версии платформы 8.3.16.
Для платформы ниже 8.3.16 необходима проверка под совместимость. На данный момент реализованы проекты, работающие с кастомными конфигурациями под 8.3.10 и 8.3.11 (потребовалась небольшая адаптация и внедрение в конфигурацию, так как данные платформы 1С полноценно не поддерживают механизм Расширений). Решение уже протестировано на стандартных (типовых) конфигурациях 1С 8.3:

1С Управление торговлей 11 (11.4 и 11.5)
1С Розница 2 и 3
1С УНФ 1.6 и 3.0
1С Бухгалтерия 3.0
1С ЗУП
1С ERP 2.4 и 2.5
Бит-Финанс
УПП 1.3
Альфа-Авто
АСТОР
Далион

Так как Решение является универсальным, то технически может быть запущено на любой конфигурации 1С 8.2 и 8.3.
Для 1С 8.1 есть отдельная ветка с поддержкой "Обычных форм" - предоставляется по запросу.

Внимание! Расширение не работает на БАЗОВЫХ конфигурациях. В базовых конфигурациях 1С, возможности подключения расширений - отсутствуют!

Лицензирование и состав поставки

Лицензирование

Лицензия привязывается к базе, в которую устанавливается расширение. На каждую базу данных 1С 8.3 приобретается отдельная лицензия

Файл расширения 1С
Конфигурация (CF) для встройки
Доступ к документации на портале
Доступ в Личный кабинет для получения обновлений
Доступ в канал и чат поддержки в Telegram

Причины купить

Любая конфигурация 1С

Программа совместима со всеми конфигурациями 1С 8.2 и 8.3, кроме базовых версий, которые не поддерживают .cfe

Отслеживание изменений

Программа автоматически следит за обновлением данных в 1С и выгружает только внесённые изменения (имплиминтарная выгрузка)

Поддержка MS Excel

Экстрактор поддерживает выгрузку Microsoft Excel

Безопасность

1С остаётся закрыта для внешних обращений, а все выгружаемые данные надёжно защищены

Высокая скорость выгрузки

Программа поддерживает многопоточность, что позволяет поддерживать высокую скорость выгрузки

Реестр отечественного ПО

Инфостарт - аккредитованная IT-компания, продукт внесён в Реестр отечественного ПО

Финансовые
дашборды

Финансовый дашборд для бухгалтерии (PnL)

Готовый финансовый дашборд показывает реальную картину бизнеса на основе данных из 1С:Бухгалтерии: доходы, расходы и прибыль по методу начисления. Вместо таблиц и ручных сводов — наглядный PnL, динамика и сравнение периодов.

Выручка, себестоимость, операционные расходы и чистая прибыль
Сравнение периодов: месяц к месяцу, год к году, план-факт
Быстрое выявление точек роста и перерасходов

Дашборд помогает контролировать маржинальность, оценивать эффективность решений и прогнозировать финансовый результат на основе реальных данных, а не интуиции и разрозненных отчётов.

Дашборд по 1С:ЗУП — HR и ФОТ под контролем

HR-дашборд по данным 1С:ЗУП объединяет аналитику по фонду оплаты труда, численности и текучести персонала в одном интерфейсе. Все ключевые показатели — в пару кликов, с детализацией до подразделения и сотрудника.

ФОТ: структура выплат, динамика и контроль бюджета
Численность, движение персонала и демография
Текучесть, причины увольнений и проблемные зоны

Дашборд помогает HR и руководству видеть реальную нагрузку на фонд оплаты труда, быстро находить риски и принимать решения на основе актуальных данных, а не статичных отчётов.

Версия Экстрактора
с Add-on ETL

Нужна адаптивность и масштабируемость?

Полный цикл вместе с Экстрактором Добавьте ETL-addon к Экстрактору и получите полный процесс работы с данными: Выгрузка -> Очистка -> Преобразование -> Передача в BI.

Low-code ETL add-on:
подготовка данных без ручных операций и SQL

После выгрузки из 1С данные остаются «сырыми»: разные структуры таблиц, дубли, ошибки, несовпадающие типы полей. Чтобы передать такие данные в BI, их приходится вручную чистить, приводить к единому виду и объединять между собой. ETL-addon (DVT) берёт эту работу на себя: автоматически подготавливает данные, приводит их к единой структуре и формату, объединяет таблицы и выполняет нужные преобразования — всё в визуальном интерфейсе, без кода и SQL.

Подключается к разным источникам: 1С, PostgreSQL, ClickHouse, MS SQL, Excel, API
Очищает данные: убирает дубли, исправляет базовые ошибки
Приводит к единому формату: нормализует структуру, приводит типы полей
Объединяет таблицы: JOIN, UNION
Выполняет фильтрацию, сортировку, агрегации
Запускает обработку по расписанию
Работает в визуальном low-code редакторе — без ручного кода

Аналитикам. Позволяет самостоятельно готовить данные для BI, не привлекая программиста
Data/ETL-инженерам. Ускоряет подготовку данных, стандартизирует процессы и снижает количество рутины
IT-специалистам. Уменьшает нагрузку на разработку, снижает количество ошибок и ускоряет внедрение аналитики

Бизнес получает готовые, структурированные данные для BI без ручных выгрузок и участия разработчиков. Аналитика обновляется автоматически, снижается нагрузка на команду, решения принимаются быстрее, а процессы становятся более прозрачными.

отвечаем в течение 24 часов

Техническая поддержка

Бесплатно

12 месяцев обновлений решения
Первичная настройка (мини-внедрение)
Исправление ошибок

Дополнительно

Доработка функционала
Консультации
Адаптация под нетиповую 1С

После покупки предоставляется 2 часа бесплатных консультаций наших специалистов по установке и настройке программного продукта, в которые мы обязательно включаем "Установочную сессию", на которой сопровождаем Вас по всем шагам настройки Экстрактора 1С, с тем, чтобы Вы по истечении консультации уже получили первый работающий проект выгрузки данных из 1С в БД

Порядок продления технической поддержки и получения обновлений

Арендные лицензии (подписочные)

Техническая поддержка и получение обновлений предоставляются на весь оплаченный срок лицензии.

Постоянные лицензии (Lifetime)

Бесплатно в первый год после приобретения основной лицензии.
На второй и последующие годы — стоимость 25% от стоимости всех приобретённых лицензий по текущему прайс-листу.
В случае прерывания оплаты — стоимость 50% от стоимости всех приобретённых лицензий по текущему прайс-листу.

Статистика:
Просмотры	28971
Загрузки	36
Рейтинг	43
Создание	15.11.22 12:50
Обновление	29.12.25 08:10
№ Публикации	1755776
Характеристики:
Теги	Выгрузка Dalalens Clickhouse экстрактор данных yandex datalens postgresql microsoft sql скорость
Рубрики	Внешние источники данных
Кому	Программист , Бизнес-аналитик , Пользователь
Тип файла	Расширение (cfe)
Платформа	1С:Предприятие 8
Конфигурация	1C:Бухгалтерия
Операционная система	Не имеет значения
Страна	Узбекистан , Беларусь , Кыргызстан , Молдова , Россия , Казахстан
Отрасль	Не имеет значения
Налоги	Не имеет значения
Вид учета	Не имеет значения
Доступ к файлу	Платные (руб)
Код открыт	Нет

Наименование	Файл	Версия	Размер
Презентация	.pptx	3.8	7,91Mb	59	Скачать

1. SP2000 15.11.22 14:19 Сейчас в теме

Обычное приложение поддерживается?

2. Техподдержка 15.11.22 14:22

(1)

Пока не поддерживается (Еще не было запросов)
Если Ваша конфигурация в принципе допускает запуск в управляемых формах, то наше Расширение будет доступно и будет работать и так
(некоторые так пользуются)

Если напишете какой релиз конфигурации и платформу 1С используете, посмотрим что можно сделать

28. Техподдержка 10.11.23 17:00

(2) Теперь есть Обычные формы (по запросу пока)

24. Техподдержка 18.10.23 17:38

(1) Обычные формы сейчас уже в разработке. Думаю до конца месяца будут готовы

3. 1spectr 15.11.22 19:56 Сейчас в теме

А выгрузка всегда полная или поддерживается инкремент?

4. Техподдержка 15.11.22 20:02

(3)

В таблицу - приемник делается сейчас полная выгрузка (в 99% в 1С нельзя определить, что за этот период времени вот эти вот данные изменились, если конечно вы не используете планы обмена, но даже с планами обмена не все просто)

Обычно мы делаем так:
0. Делаем два набора данных и соответственно две таблицы- приемника в clickHouse (генерация таблиц у нас реализована)
1. "Таблица_ИсторическиеДанные" - сюда разово загружаем данные до определенной даты (например до 01/01/2022) (просто ручками тыкаем кнопку один раз)
2. "Таблица_Текущая" - а здесь по расписанию данные перезаписываем созданным ранее регламентным заданием
3. а на уровне ClickHouse делаем такой код (пример):

Cre ate View Таблица_ВСЯ
as
sel ect * from Таблица_ИсторическиеДанные
uni on all
sel ect * fr om Таблица_Текущая

4. Далее, в Datalens уже используем для работы созданную View = "Таблица_ВСЯ"

18. Техподдержка 27.02.23 13:01

(3) Теперь поддерживается инкремент (выгрузка по партициям)

5. 1spectr 15.11.22 20:11 Сейчас в теме

(4) те получается, что текущий период(текущий год) все равно придётся перегружать полностью и далее руками сдвигать «окно»(на следующий год)?

6. Техподдержка 15.11.22 20:35

(5)

те получается, что текущий период(текущий год) все равно придётся перегружать полностью и далее руками сдвигать «окно»(на следующий год)?

Ну это первый вариант, который на поверхности
Другой вариант - в Наборах данных Экстрактора 1С привязываться к дате закрытия периода или еще к какому то реквизиты для секционирования данных

Изначально мы думали над автоматическим секционированием таблиц-приемников по годам/месяцам, но любовь 1С-пользователей к правкам "задним периодом" все эти схемы ломает на раз-два.
К примеру, вот 10 января - это уже новый год. А правки пользователи будут вносить еще половину всего прошлого года. Одно дело, если база небольшая, можно перегружать текущий и прошлый год, а если в базе сотни тысяч документов, то такой подход уже не подходит.
В общем пока вся история с автосекционированием - это, как мне кажется, индивидуально подбираемое решение для каждого конкретного Заказчика

Если у Вас есть какая-то идея по автоматическому сдвигу "окна", то давайте обсудим и если это будет достаточно универсально, то мы включим это в один из ближайших релизов

19. Техподдержка 27.02.23 13:06

Теперь все сделано намного более удобно:
1. Выгрузка идет по партициям (причем партиции вы определяете сами при описании таблицы-приемника)
2. Выгрузка идет в указанное вами количество потоков (т.е. выгрузка распараллеливается, что очень сильно ускоряет выгрузку данных)
3. Есть предобработка и постобработка при выгрузке данных, что позволяет встраивает свои обработчики
4. Решение может внедряться в вашу 1С как "расширение" или через объединение конфигураций (для тех 1С, у кого старые релизы 1С (например 8.3.11 и ранее) или для тех у кого "кастомные" конфигурации)

7. 1spectr 15.11.22 21:56 Сейчас в теме

(6) Универсального решения нет, но если работаем с более менее большими данными, то эффективность более приоритетна чем универсальность.
Если мы берем за аксиому, что данное решение для небольших(база не более 300-500гб) инсталляций 1С(так как на больших системах все сильно сложнее)

Задачи которые необходимо решить
1) Обеспечить консистентность данных с приемлемой задержкой(так как реалтайм для аналитике в целом не нужен).

2) Минизировать "пропадание" данных при обновлении данных(Clickhouse это не реляционная база и update в классическом смысле там нет).
Как я понимаю сейчас в момент выгрузки данные в таблице стираются и записываются заново(возможно я не прав)?

3) Минимизировать нагрузку при синхронизации, так как чем больше данных тем больше требуется напрягать базу данных для получения этих данных и сервер приложений для конвертации(json или tsv(csv) самые простые для 1С) перед выгрузкой/

Варианты решения.
Вариант с планом обмена(или его аналогами)
Есть таблицы с функциональностью которая позволяет удалять дубликаты по сочетанию измерений ReplacingMergeTree
ReplacingMergeTree
Те в данную таблицу можно получая изменения из плана обмена отправлять актуальные данный и ch сам удалит дубликаты и оставит только одну последнюю запись(есть нюансы, но для небольших данных(10ки миллионов строк) пойдет)

Другой вариант
Предполагаем что в таблице есть Период(или любое другое поле с Датой), так как вопрос выгрузки Справочников это отдельная тема
Предположим что мы не знаем, что именно пользователи поменяли, но можем понять что в данном документе произошло изменение(стандартная логика регистрации в плане обмена)
В таком случае мы можем создать таблицу которая будет партиционирована, например по дням. Далее получаем из плана обмена записи, по ним определяем день в котором данные были изменены, удаляем партицию с этим днем в ch(удаление партиции равно по ресурсам удалению одного файла, те очень быстрое и дешевое) и записываем полностью этот день заново.
Если мы хотим чтобы никто не заметил что произошло обновление данных, то мы создаем таблицу аналогичной структуры записываем в нее данные и потом "подменяем" партиции в таблицах(операция атомарная поэтому никто не заметит пропажи).

8. Техподдержка 15.11.22 23:14

(7)

Как я понимаю сейчас в момент выгрузки данные в таблице стираются и записываются заново(возможно я не прав)

Да, сейчас именно так

Минимизировать нагрузку при синхронизации, так как чем больше данных тем больше требуется напрягать базу данных для получения этих данных и сервер приложений для конвертации(json или tsv(csv) самые простые для 1С) перед выгрузкой

Да, есть два варианта выгрузки:
1. insert.... values (...), (...)
2.через файл - вариант более быстрый и предпочтительный (используется по умолчанию)

С вами где-то согласен.
Но построение выгрузки на Плане обмена или регистрации дней/месяцев, когда данные были изменены - это уже кастомное решение под Заказчика, так как зависит от бизнес-задачи и конкретной конфигурации.
Мы не знаем, на какой раздел учета обратит внимание аналитик и пожелает выгружать:
- хоз.операции в бухучете,
- Регистры продаж
- или регистры расчета в ЗУП (вариантов масса)

Поэтому ваши, безусловно верные, методы регистрации изменений и доставки изменений в ClickHouse к сожалению не универсальны, в том числе, если рассматривать 1С в файловом (а не клиент-серверном) варианте (ведь такие пользователи тоже есть, не у всех есть "большие" данные)
Также, предполагаю, что в ваших вариантах, для некоторых конфигураций и платформ 1С придется встраиваться в саму конфигурацию клиента, а не оставаться в рамках "расширения" (тут наверное больше скажут наши программисты, нежели я)

На мой взгляд, если объемы данных велики и нужен "реалтайм", то лучше уже тогда идти по пути "прямого" доступа к БД 1С (через View), нежели используя механизм регистрации изменений и выгрузок средствами 1С платформы

В целом, спасибо за конструктивное замечание. Продукту есть куда развиваться.

Ну и это уже вопрос "кастомного" индивидуального решения под вас (готовы обсуждать)

9. 1spectr 15.11.22 23:36 Сейчас в теме

(8) Мы эти вопросы уже решили, иначе я не смог бы не написал то что написал )
В вашем решении не хватает инкремента, так как в текущей реализации есть только прикольный конструктор мапинга полей и в целом на этом все красивое заканчивается и начинаются минусы которые не позволяют использовать полноценно решение в проектах.

1) Полная перегрузка данных, те аналитики должны подстраиваться под технологическое окно обновления так как пока 1С выгружает данные, в DL данных нет, либо они есть, но неполные данные хуже полного отсутствия.

2) Нагрузка при выгрузке, это важный момент, так как выгружается все таки ощутимый объем данных.

3) Решение с перегрузкой текущего периода уменьшает нагрузку, но не решает 1 пункта и оно требует компетенции которой обладают далеко не все.

Но концептуально я придираюсь )
Хорошее решение для небольших организаций(1с у них и так есть, а ch в облаке стоит несколько тысяч рублей в месяц) которое позволит им выйти за пределы отчетов которые дает 1С и с минимальными усилиями воспользоваться современными low code инструментами аналитики.

10. Техподдержка 16.11.22 08:42

(9)

рикольный конструктор мапинга полей и в целом на этом все красивое заканчивается и начинаются минусы которые не позволяют использовать полноценно решение в проектах.

Не совсем так:
В нашем решении есть:
1.создание наборов данных (запрос или объект [в ближайшее время опишу уже выпущенный релиз])
2. автосоздание, модификация таблиц в ClickHouse с маппингом полей по Набору данных (ведь это же боль - генерировать руками таблицы-приемники)
3. добавление вычисляемых полей, параметров, отборов для удобства с повторным использованием одного Набора данных в разных выгрузках
4. создание и модификация регламентного задания по перезаполнению таблиц в ClickHouse
5. Плюс ко всему - наше решение еще и универсально по отношению к большинству конфигураций 1С, присутствующих на рынке

Спасибо вам за идею, по поводу работы с партишенами на уровне дня в базе Clickhouse. Думаю, это можно обыграть (взяли на обдумывание)

Что касается, что у нас хорошее решение для "небольших организаций" - немного нет так :)
У нас отличное решение для относительно небольших баз данных, к коим можно отнести огромное количество заводов, оптовых компаний, ритейла среднего размера, предприятий питания или сферы услуг. Т.е. сама организация может быть весьма крупной, просто в ее 1С нет сотен миллионов транзакций (это свойственно больше крупному ритейлу).
А для мега крупного ритейла из нашего решения можно сделать кастомный вариант, который будет очень быстро и красиво работать

Самое главное - наше решение (вы правы) - это возможность, используя данные 1С, перейти на работу с современным BI (Yandex Datalens)

11. Техподдержка 17.11.22 14:23

В вашем решении не хватает инкремента, так как в текущей реализации есть только прикольный конструктор мапинга полей и в целом на этом все красивое заканчивается и начинаются минусы которые не позволяют использовать полноценно решение в проектах.

Спасибо большое за комментарии.
Обдумали возможные пути решения.
Думаю, до конца года сможем реализовать достаточно универсальную схему по регистрации изменений до уровня "Месяц/день", а значит и реализовать инкрементальную загрузку "Наборов данных" в Clickhouse.

Вы натолкнули нас на достаточно элегантное решение :)

12. Техподдержка 09.01.23 18:29

Текущие изменения:
1. поработали над интерфейсом (теперь он удобнее и проще)
2. добавили логирование
3. исправили пару досадных недочетов
4. выполнили несколько проектов и окончательно убедились, что проект востребован и нужен, а также весьма и весьма удобен для работы с выгрузкой из 1С в Clickhouse

13. DenDSMG 16.01.23 14:43 Сейчас в теме

в запросах можно использовать временные таблицы ?
Можно передавать параметром Текущую дату ? (чтобы в запросе была возможность выгружать определенный период от сегодняшней даты)

14. Техподдержка 16.01.23 18:22

(13)

1. В Запросах можно использовать и временные таблицы. (штатный же функционал)
2. Параметром Текущую дату пока передать нельзя (для этого пока клиенты используют сейчас "Отборы"), записано в план доработки на этот квартал. Но, если надо быстрее, то данную функциональность поставим в план на ближайший релиз, если выкупите лицензию

16. Техподдержка 06.02.23 12:42

(14)

Можно передавать параметром Текущую дату ?

Теперь можно, реализовали и работу с параметрами, ну а в параметрах есть стандартный набор выбора дат, в точ числе и текущая дата и начало месяца и т.д.

15. Техподдержка 06.02.23 12:41

Нас можно поздравить:

Вышел предрелиз нашего расширения по выгрузке данных из 1С 8.3 в БД Clickhouse с отслеживанием изменений.
Новая версия предназначена для обработки больших (реально больших) объемов данных
Новинки:
1. Выгрузка теперь для каждого "проекта" настраивается в несколько потоков, что позволяет значительно ускорить выгрузку больших данных (данные разбиваются на партиции, каждая партиция становится в очередь потоков)
2. Таблица-приемник теперь не очищается, а поток данных из Источника разбивается на партиции и каждая партиция перезаписыывается в приемнике отдельно
3. для ускорения работы, есть опциональная настройка отключения по выбранным полям выгрузки "экранирования" недопустимых символов (табуляция, одинарная кавычка, перевод каретки и т.д.). позволяет увеличить скорость выгрузки в разы

17. Yozha 24.02.23 09:37 Сейчас в теме

Пользуюсь решением в настоящее время. У нас как раз работает вариант с инкрементной выгрузкой. Продукт позволил значительно сократить время реализации проекта. Проект пока не сдан, но все основные механизмы уже интегрированы в базу заказчика, в настоящее время проходят тестирование.
Техподдержка работает на хорошем уровне.
Уже сейчас могу смело рекомендовать продукт к покупке и внедрению.

48. 4445555 18.06.24 13:56 Сейчас в теме

(17) как будто сами себе отзыв писали "но все основные механизмы уже интегрированы в базу заказчика"

20. Техподдержка 01.03.23 18:42

Обновил документацию под 1.3.1
Версию тестируем, скоро будем рассылать подписчикам
Ну и записал пару видео

Оставлю здесь ссылки:

1. Описание обновления 1.3.1
2. Для версии 1.3.1 - удобный побочный эффект при использовании (ну или возможность)

21. Техподдержка 15.03.23 18:29

Update от 15/03/2023 (версия 1.3.2)
Изменения:
1. Поддержка Nullable полей при создании/модификации таблицы в clickhouse
2. Описание значений в Order By, Partition в таблицах clickhouse доступно и из списка возможных значений
3. Тестовая функциональность по таймаутам при выгрузке в БД clickhouse
4. увеличена разрядность поля "Максимальное количество потоков"
5. поправлен баг в создании Групп в списке Наборов данных
6. Возможность использовать в "Параметрах" Список значений (для конструкций запросов в отбрах и т.д.: "В (&СписокЧеголибо)")
7. Мелкие правки по интерфейсу
8. Также в документации дописаны некоторые кейсы по работе с многопоточностью

22. Техподдержка 06.04.23 19:09

Update от 06.04.2023 (Версия 1.4.2)
Изменения:

Переписали встроенную в Расширение роль "Экс_ПолныеПрава", с тем, чтобы можно было поддерживать и старые платформы 1С (типа 8.3.13)
Добавили в настройку создания "Регламентного задания" Пользователя, под которым данное задание будет запускаться (так как пользователю даже с "Полными" правами надо явно выдавать роль "Экс_ПолныеПрава")
Переделали систему лицензирования немного (ключ лицензии теперь вводится в пользовательском интерфейсе)
Переделали слегка документацию
Сделали мелкие улучшения
И готовимся к большому релизу

23. Техподдержка 17.05.23 12:40

Выпустили новую версию 2.0.1.5, в которой поддерживается отслеживание изменений по связанным с набором данных объектам (справочники, регистры, документы
Описание есть в Инструкции

25. Техподдержка 18.10.23 17:42

Текущая версия 2.8.10.42

Из нового:
1. Добавлен Excel
2. Добавлен обработчик "Произвольный код" (в документации есть пример загрузки данных из Битрикс24 :) )
3. интерфейсные изменения
4. правка мелких багов
5. Добавлены обработчики очереди (засунули генерацию внешней очереди в фукнцию)
6. и куча других изменений

34. deevil 15.11.23 13:41 Сейчас в теме

(25)
1. возможен ли переход с варианта на 1 базу - на вариант с 4 базами?
и считаются ли копии основной за базу (например есть прод база и дев) - это 2 лицензии?

2. насколько код закрыт (какие функц/бизнес блоки)?

3. есть ли демо версия?

4. какие планы на развитие/роадмап?

26. user1969989 20.10.23 07:22 Сейчас в теме

Подскажите, код расширения открыт, самим при необходимости допиливать можно?

27. Техподдержка 10.11.23 16:57

(26)

Код открыт частично
А если не секрет, то что вы хотели бы допиливать?

Если говорить о наших планах, то это:
1. На следующей неделе должны выйти на маркетплейсе Yandex Datalens
2. Делаем версию системы для выгрузки не только в Clickhouse, но и в Microsoft SQL Server (привет адептам Power BI)
3. Делаем упрощенный "пользовательский" режим настройки партицирования (т.е. инкремент будет еще проще и удобнее настраивать)
4. После нового Года сделаем внешнюю оркестрацию
5. И множество других мелких улучшений

ЗЗЫ:
А "обычные формы (для 8.1) у нас уже сделаны, сейчас обкатываются на узком сегменте клиентов

29. user1969989 13.11.23 07:15 Сейчас в теме

(27) Хотелось бы иметь выгрузку в PostreSQL

30. Техподдержка 13.11.23 09:41

(29)
(29)

Хотелось бы иметь выгрузку в PostreSQL

(29)
Сейчас есть выгрузка в Clickhouse. Там используется несколько фишек именно этой СУБД, позволяющей делать выгрузку быстро.
В разработке - выгрузка в Microsoft SQL
Postgresql - в планах на начало 2024 года.

А расскажите, как именно вы используете Postgre, ведь если это только БД, то эту потребность легко закрывает Clickhouse?
(развернуть Clickhouse мы поможем, эта услуга входит в состав решения)

31. user1969989 13.11.23 10:29 Сейчас в теме

(30) Posrgesql прикручена к Визиолоджи, и помимо планируемых
баз 1С с ней взаимодействуют еще парочка систем, ну и компетенции у биайщика на постгри есть, а на кликхаусе нет.

32. Техподдержка 13.11.23 10:39

(31)
(31)

Posrgesql прикручена к Визиолоджи, и помимо планируемых
баз 1С с ней взаимодействуют еще парочка систем, ну и компетенции у биайщика на постгри есть, а на кликхаусе нет.

1. внутри Visiology используется Clickhouse
2. с ребятами из Visiology есть договоренность, что они будут выделять под Экстрактор 1С внутри своего Clickhouse базу
3. ваш биайщик не заметит разницы в работе между Postgre или Clickhouse - в обоих случаях это T-SQL. Там прям все очень похоже

Запросите через менеджера Инфостарт - тест нашего решения

33. deevil 15.11.23 13:36 Сейчас в теме

(27)

Код открыт частично

А какая часть кода закрыта?
Какая-либо бизнес логика закрыта?

Например механика расчета что выгружать или другое - если есть потребность дополнить своими силами.
Или же добавить другую целевую субд?

35. Техподдержка 15.11.23 13:41

(33)
Например механика расчета что выгружать или другое - если есть потребность дополнить своими силами.
Или же добавить другую целевую субд?
(33)
Механики расчёта на вашей стороне. Они полностью открыты и вы можете писать свои произвольные алгоритмы в тч.

СУБД таблицы приемник это закрытый код. Там много фишек используется свойствннных только Clickhouse.
Сейчасмы начали работу по подключению MS SQL SERVER, следующим планируем Postgresql.

А какая СУБД вас интересует?

36. deevil 15.11.23 13:44 Сейчас в теме

(35) а нельзя допустим написать свой коннектор?
например redis, монго и т.д..
вопрос не в том чтобы менять код коннектора с БД, а в том чтобы добавлять свои.
возможно или нет?

38. Техподдержка 15.11.23 13:56

(36)
Зачем?
Получайте консистентные данные в clickhouse, а потом доставляйте и трансформируйте данные как угодно и куда угодно

39. deevil 15.11.23 18:18 Сейчас в теме

(38)

Зачем?

Это отдельный вопрос.
К вам вопрос можно или нет?

42. Техподдержка 15.11.23 21:37

(39)
(39)
Нет, нельзя. Пока произвольные СУБД не поддерживаются.
Мы не рассматривали такую возможность как необходимую, все таки назначение Экстрактора 1С это быстрая и удобная доставка данных из 1С в БД, для BI аналитики

Поэтому тут и вопрос: зачем?
Как планируется использовать такую функциональность?

43. deevil 16.11.23 11:15 Сейчас в теме

(42)

Нет, нельзя. Пока произвольные СУБД не поддерживаются.

Тогда возвращаюсь к вопросу какие блоки зашифрованы?
Что я могу доработать именно в коде (я не про настройку).

Я предполагаю что вы будете развивать продукт в сторону которую хочет масса и со скоростью которая удобна вам.
Нам нужен инструмент который мы сможем развивать для себя (исключительно для внутренних нужд)
Есть опасения что вложения в ваш продукт дадут старт, но потом мы не сможем прокачивать его для себя.
И хочу понять что можно сделать в коде, а что нет.
Или у вас вед код зашифрован?

44. Техподдержка 16.11.23 11:17

(43)
(43)

Выходите на встречу через менеджера, там и поговорим

46. deevil 16.11.23 11:18 Сейчас в теме

(44)

Как это сделать?

47. Техподдержка 16.11.23 11:19

(46)
(46)
Кнопка "Оставить заявку"

45. deevil 16.11.23 11:17 Сейчас в теме

Поэтому тут и вопрос: зачем?

Например найдем более элегантное решение чтобы выгружать инкрементально, которое применимо только к нашим задачам...

37. Техподдержка 15.11.23 13:46

1. Да. Считаем как разницу стоимости лицензий
2. Частично закрыт. Но очень много вещей можно писать самим и функции ипроивщольные оьратотчики. У нас же стремление сделать полноценный конструктор
3. Демо версию выдаем по требованию через менеджера Инфостарт
4. Выходите на демо. Расскажем.
План расписан примерно на погода вперед

40. deevil 15.11.23 18:22 Сейчас в теме

(37) забыл про вопрос
5. в режиме изменения конфигурации совместима ли разработка с УТ11.1, платформа 8.3.13 / в режиме совместимости 8.3.5?

41. Техподдержка 15.11.23 20:51

(40)
(40)
В 8.3.5 да, будет работать, но как встройка в конфигурацию. Как расширение Экстрактор на 8.3.5 не установить.
Есть уже бета версия и под 8.1 с обычными формами если что

49. user1763604 20.08.24 19:01 Сейчас в теме

Здравствуйте!

1. Есть ли выгрузка объектов? Или выгружается только их строковое представление?
2. Есть возможность управлять параметрами виртуальных таблиц? Или они вообще не учитываются при выгрузках?
3. Как выгружаются иерархии? Я могу в datalens или в другой системе построить отчет с использованием иерархий?

Для отправки сообщения требуется регистрация/авторизация

Выгрузка из 1С в BI-системы: Yandex Datalens, Power BI, Apache Superset, Visiology и др.

Выгрузка данных из 1С в BI-системы

Готовое решение для автоматической выгрузки данных из 1С 8.3

Возможности продукта обеспечивают:

настраивайте выгрузку 1С с BI-аналитикой без помощи программиста

Список основных BI-систем

готовый продукт для анализа данных 1С

Для кого подходит

Попробуйте демоверсию на своей 1С

Подробно о функционале выгрузки из 1С в BI

Простая настройка

Выгрузка любых данных

Автоматизация работы с БД

Оптимизация выгрузки

Многопоточный режим

Работа в фоновом режиме

Безопасность

Поддержка MS Excel

Реестр отечественного ПО

Видеообзор функционала

Первая выгрузка данных

Отслеживание изменений

Загрузка данных из Excel

Многопоточность

Какие данные можно выгружать

Схема решения и как работает

Технические требования

Лицензирование и состав поставки

Причины купить

Любая конфигурация 1С

Отслеживание изменений

Поддержка MS Excel

Безопасность

Высокая скорость выгрузки

Реестр отечественного ПО

Финансовыедашборды

Финансовый дашборд для бухгалтерии (PnL)

Дашборд по 1С:ЗУП — HR и ФОТ под контролем

Версия Экстрактора с Add-on ETL

Low-code ETL add-on:подготовка данных без ручных операций и SQL

отвечаем в течение 24 часов

Техническая поддержка

Бесплатно

Дополнительно

Порядок продления технической поддержки и получения обновлений

Арендные лицензии (подписочные)

Постоянные лицензии (Lifetime)

См. также

Выгрузка данных из 1С
в BI-системы

Попробуйте демоверсию
на своей 1С

Финансовые
дашборды

Версия Экстрактора
с Add-on ETL

Low-code ETL add-on:
подготовка данных без ручных операций и SQL