Получение данных из 1С в PowerBI

25.12.2017 13:46:00 Алексей Рассадин (biteam39) 29771

Мастер класс по созданию бизнес аналитики в PowerBI c подключением к данным 1С посредством протокола ODATA.

Группа любителей PowerBI - https://vk.com/powerbicommunity
Генератор запросов OData - http://gen.bi-team.ru/GQ/ru_RU/
Описание - http://bi-team.ru/odata

Категории:
Обмен данными

Комментарии
Ссылки и коды

Комментарии

Подписаться на ответы Инфостарт бот

Свернуть все

1. nayd 9 27.12.17 18:34 Сейчас в теме

PowerBi Desktop - при запуске попросил зарегистрироваться и оформить 60-дневную пробную подписку. Т.е. не совсем бесплатный инструмент получается?

2. biteam39 27.12.17 18:53 Сейчас в теме

Добрый день, я так понимаю что он дает Вам 60-дневную пробную версию премиум попробовать, PowerBi Desktop бесплатная полностью.

3. nayd 9 27.12.17 21:33 Сейчас в теме

Вроде разобрался со входом.

Получаю строку запроса, вставляю в PowerBI. Он просит credentials, ввожу админский логин и пароль.
При подключении пишет:
Details: "Microsoft.Mashup.Engine1.Library.Resources.HttpResource: Request failed:
OData Version: 3 and 4, Error: The remote server returned an error: (404) Not Found. (Сущность 'Document_РасходСоСчета' не найдена)
OData Version: 4, Error: The remote server returned an error: (404) Not Found. (Сущность 'Document_РасходСоСчета' не найдена)
OData Version: 3, Error: The remote server returned an error: (404) Not Found. (Сущность 'Document_РасходСоСчета' не найдена)"

Может быть из-за того, что я через впн подключаюсь к базе? А powerBI пытается подключиться со своих серверов?

--
пробую другую базу (которая смотрит в открытый интернет). Там почему-то "couldn't authenticate with credentials", хотя указываю админские логин и пароль

4. Bright_Sun 28.12.17 11:04 Сейчас в теме

(3)1C БД опубликована по OData?
Пользователь аутентификации введен латиницей?
Запрос делали сами или через "ГенераторЗапросовOData"?
Подробнее опишите ход действий.

PBI без разницы где опубликована и доступна БД, хоть в локальной сети хоть во вне. Ему главное иметь адрес и имя опубликованной БД. Ну и соответственно корректный OData-запрос.

5. nayd 9 28.12.17 20:01 Сейчас в теме

(4) В итоге некогда было разбираться с OData - сделал через загрузку из Excel в тестовом примере. Показал заинтересованным лицам, а уже после праздников буду разбираться с настройкой через OData.

Очень крутая и интересная вещь.
Спасибо :)

6. nayd 9 11.01.18 20:12 Сейчас в теме

Вторая попытка.
С OData туго идет.

Вчера добавил в PowerBI один регистр накопления (через OData) - добавился.
Сегодня хочу добавить, например, справочник Контрагенты, чтобы связать по ключу. Выдается ошибка (изображение прикрепляю)

В файле "odata/standard.odata/$metadata" справочник Контрагенты отображается

Это, я так понимаю, проблема в самом PowerBI, почему-то регистры накопления получает из 1с, а справочники - не хочет.

Прикрепленные файлы:

7. Bright_Sun 12.01.18 10:54 Сейчас в теме

(6)Английский или русский вариант PBI используете?

8. nayd 9 12.01.18 12:14 Сейчас в теме

(7) Английский. Кстати, русскую версию не понял, как установить.
В этом дело?

9. Bright_Sun 12.01.18 13:12 Сейчас в теме

На последних русских релизах PBI(ноябрь, декабрь) возникали подобные ошибки. На ранних релизах такого не было.
В английских релизах также проблем не было замечено.
Какой релиз пользуете?

10. nayd 9 12.01.18 13:25 Сейчас в теме

(9) сначала декабрьский был релиз, затем обновил на самый последний
Вот такой сейчас: 2.54.4970.761 64-bit (Январь 2018)

20. Bright Sun 21.03.18 13:07 Сейчас в теме

(10)
Проверьте проблему на мартовском релизе PBI. Вероятно её исправили.

28. user1051670 01.02.19 09:31 Сейчас в теме

(20)Коллеги, к сожалению, могу подтвердить аналогичную проблему с версией PBI
2.65.5313.1381 64-bit (Декабрь 2018) - как русской, так и английской.
Доступ к OData через URL, содержащий кириллицу, выдает ошибку, а URL, содержащий только латиницу, работает нормально.
Причем это явно проблема доступа PBI к OData :
Когда к тому же URL, содержащему кириллицу, обращаешься как к web-источнику, все OK.
Буду благодарен за любую помощь в решении данной проблемы.

Прикрепленные файлы:

11. пользователь 12.01.18 14:18

Сообщение было скрыто модератором.

...

12. user820129 31.01.18 11:57 Сейчас в теме

Добрый день.

Столкнулся со следующими проблемами при работе с Power BI Desktop.
Интерфейс OData опубликовал, доступ к объектам предоставил через обработку, но при выборе данных регистров накопления, например: http://[сервер]/[база]/odata/standart.odata/AccumulationRegister_ТоварыПереданныеПереработчику_RecordType появляется ошибка: "Details: "Microsoft.Mashup.Engine1.Library.Resources.HttpResource: Request failed:
OData Version: 3 and 4, Error: The remote server returned an error: (404) Not Found. (Not found)
OData Version: 4, Error: The remote server returned an error: (404) Not Found. (Not found)
OData Version: 3, Error: The remote server returned an error: (404) Not Found. (Not found)"".
При этом данные справочников получить удалось.
Для проверки повторил действия в Excel. Если использовать Вкладка "Данные"-> "Создать запрос"-> "Из других источников"-> "Из канала OData" получаю ту же ошибку. Если выбирать данные через Вкладка "Данные"-> "Из других источников"-> "Из веб-канала данных OData", указал нужный регистр - таблица данных сформировалась.

Также не получается выбрать дополнительное сведение из регистра, пробовал следующие запросы:
http://[сервер]/[база]/odata/standard.odata/InformationRegister_ДополнительныеСведения?$filter=Свойство_Key eq guid'07aba7e6-2a07-11e5-80cb-f0921c00dacc'
http://[сервер]/[база]/odata/standard.odata/InformationRegister_ДополнительныеСведения(Свойство_Key=guid'07aba7e6-2a07-11e5-80cb-f0921c00dacc')
появляется ошибка: Details: "Microsoft.Mashup.Engine1.Library.Resources.HttpResource: Request failed:
OData Version: 3 and 4, Error: The remote server returned an error: (406) Not Acceptable. ()
OData Version: 4, Error: The remote server returned an error: (406) Not Acceptable. ()
OData Version: 3, Error: The remote server returned an error: (406) Not Acceptable. ()
OData Version: 2, Error: The remote server returned an error: (406) Not Acceptable. ()"

Если выбирать без отбора появляется сообщение: "Время ожидания операции истекло".

Кто-нибудь сталкивался с такими проблемами? Можно их как-то обойти?

Спасибо.

13. Bright_Sun 31.01.18 16:04 Сейчас в теме

(12)
Добрый день!
Версия 1С соответствует поддержки OData? Позже 8.3.9.2170?
В первом случае, весьма вероятно, что слишком много данных. OData критична к большому объему.
Попробуйте тот же запрос выполнить к примеру на демо базе или усечь исходные данные.
Либо наложите на Регистр фильтр по дате. Наш Генератор Запросов OData умеет это делать. Либо выберите не все поля, а только нужные.
По второму случаю. Проверьте запрос без фильтра.

14. user820129 01.02.18 12:56 Сейчас в теме

(13)
Добрый день.
Использую 1С версии платформы 8.3.10.2580.

Развернул демо базу. Попробовал получить данные в ней. Результат тот же данные справочников получил; данные регистра накопления получить не удается, ошибка та же "The remote server returned an error: (404) Not Found. (Not found)".
Может быть дело в доступности объектов? Если открывать типовую обработку "Настройка автоматического REST-сервиса" то в колонке "Примечания" у регистров накопления выводится "Подчиненный объект".

В Генераторе запросов OData появляется ошибка "Отказано в доступе" при загрузке xml-файла объектов.

Спасибо.

Прикрепленные файлы:

15. Bright_Sun 01.02.18 13:30 Сейчас в теме

(14)
Конфигурация не УТ 11.х случайно?
В последних конфигурация там механизм подключения\отключения объектов в публикацию OData имеется. Данные регистры включены? Т.е. мало того, что вы БД опубликовали, еще нужно взвести объекты нужные вам.

16. user820129 01.02.18 13:55 Сейчас в теме

(15)
Конфигурация ERP 2.2.3.
Регистры накопления включены, в предыдущем скрине в обработке "Настройка автоматического REST-сервиса" флаги стоят. Я так понял это и есть включение объектов в интерфейс OData. Или я ошибаюсь?

17. Bright_Sun 01.02.18 14:49 Сейчас в теме

(16)
Да, верно всё.
Нам попадались ситуации, при которых на последних конфигурациях 1С в последних версиях PBI возвращает такую вот не информационную ошибку.
Проверьте этот "ошибочный" запрос через любой браузер. Если результат вернется в виде данных XML структуры - значит проблема в PBI.
Мы общаемся с разработчиками PBI по этой теме.

19. Bright Sun 21.03.18 13:06 Сейчас в теме

(16)
Проверьте проблему на мартовском релизе PBI. Кажется проблему пофиксили.

18. Bright_Sun 02.02.18 11:35 Сейчас в теме

А в целом нужно понимать, что OData эффективна до четверти миллиона записей, для большего числа только прямое подключение. Можем помочь-проконсультировать как это делается.

23. PhTrinik 14.09.18 10:27 Сейчас в теме

(18) Здравствуйте, можно ли получить консультацию по прямому подключению?

25. Bright Sun 14.09.18 10:57 Сейчас в теме

(23)Добрый день! Какого рода консультация вас интересует?

26. PhTrinik 14.09.18 11:39 Сейчас в теме

(25)

Какого рода консультация вас интересует?

Пока что стало неактуально.

21. Bright Sun 21.03.18 13:09 Сейчас в теме

Есть мнение, что обсуждаемая выше проблема таки пофиксилась в мартовском релизе Power BI.

22. furyman 06.08.18 10:16 Сейчас в теме

Проблема не решена. На версии: 2.60.5169.4101 64-bit (Июль 2018) наблюдается та же самая ошибка.

24. Bright Sun 14.09.18 10:55 Сейчас в теме

(22)Уверены? На каких данных и что не работает? Мы специально проверяли работу осенних 2017 релизов PBI и релизов выпущенных после марта 2018. Корректно всё работает.

27. leobrn 633 29.10.18 09:20 Сейчас в теме

а как называется дополнительный график на 6:55?

29. user1076047 15.08.19 09:13 Сейчас в теме

А возможно сделать автозагрузку данных каждый день в Power BI через oData накопительно ?
Например сначала загрузить все продажи начиная с 2014 года по сегодняшний день . И чтобы каждый день в Power BI выгружались продажи за день .

30. Anna_Vladimirova 15.08.19 10:29 Сейчас в теме

(29)

автозагрузку данных каждый день в Power BI через oData

В десктопной версии Power BI обновление данных возможно только вручную (по нажатию на кнопку Обновить).

А если ваши отчеты выложены в PowerBI Services, там можно настроить обновление по расписанию.

32. user1076047 15.08.19 10:53 Сейчас в теме

(30)Спасибо

31. Anna_Vladimirova 15.08.19 10:32 Сейчас в теме

Оставьте свое сообщение

E-mail:

Прямая ссылка:

BB-код для форумов и блогов:

HTML-код:

Никита Перевозчиков. Интеграция с 1СДокументооборотом. Интегрируй меня полностью

Библиотека интеграции с 1С:Документооборотом – это подсистема, позволяющая работать с объектами 1С:ДО, не выходя из основной учетной системы. Расскажем о том, как расширить возможности библиотеки интеграции, улучшить интерфейс и добавить гибкости в настройку правил передачи данных. Доклад в виде статьи: https://infostart.ru/1c/articles/2196584/

Александр Днестрян. Чат-боты в 1С: возможность, эффективность и бизнес-кейсы

Практически все существующие на данный момент мессенджеры и социальные сети предоставляют API для работы с чат-ботами, чтобы ими можно было управлять извне. Но при реализации бизнес-задач возникает проблема многоканальности и связки бота с данными 1С. Расскажем о том, какие кейсы можно реализовать с помощью чат-ботов для различных каналов, и как описывать логику их работы с данными 1С без продумывания деталей взаимодействия по API. Доклад в виде статьи: https://infostart.ru/1c/articles/2184544/

Дмитрий Круглов. 1С:Шина – успешный опыт эксплуатации

1С:Шина – это больше, чем RabbitMQ. Это ESB-решение, с помощью которого можно заложить в процесс передачи данных свою логику – видоизменять сообщения и получателей, не внося изменений в обмен на стороне отправителя. О вариантах практического использования 1С:Шины и опыте ее эксплуатации под большой нагрузкой пойдет речь в докладе. Доклад в виде статьи: https://infostart.ru/1c/articles/2163317/

Сергей Сорокин. Интеграция с маркетплейсами. Рекомендации для внедренцев

Тема торговли на маркетплейсах в последнее время стремительно набирает популярность – от бизнеса приходит много запросов по интеграции с Wildberries, OZON, Яндекс.Маркет, СберМегаМаркет и т.д. Расскажем о возможных подходах к интеграции с крупными маркетплейсами, раскроем некоторые технические нюансы и дадим советы тем, кто только начинает разбираться в этой области. Доклад в виде статьи: https://infostart.ru/1c/articles/2153866/

Дмитрий Жичкин. Тюнинг планов обмена

Планы обмена – основной механизм платформы 1С для регистрации изменений. Известно, что высоконагруженные планы обмена страдают от длительных ожиданий на блокировках записей таблиц регистрации изменений, которые в свою очередь могут порождать тайм-ауты и прерывание обработки данных. Возможное решение этой проблемы без доработок уже существующего кода регистрации изменений представлено в докладе. Доклад в виде статьи: https://infostart.ru/1c/articles/2142857/

Андрей Путин. Интеграционные шины – ключевой элемент качественной архитектуры

Слабая связанность – фундаментальный аспект инженерии. А интеграции – способ практической реализации слабой связанности. В статье речь пойдет о том, какие средства помогают решить проблему сильной связности, и на что обратить внимание при выборе интеграционной шины.

Сергей Лихтенвальд. Что нам стоит обмен настроить, или Как кролик спас "зоопарк"

В больших компаниях часто используется «разношерстый» парк учетных систем, интеграция между которыми осуществляются разными технологиями: web, http-сервисы, через промежуточные таблицы и т. д. Расскажем об опыте укрощения данного «зоопарка» с помощью RabbitMQ и упрощении разработки интеграции со смежными системами. Доклад в виде статьи: https://infostart.ru/1c/articles/2107250/

РИБ 2.0 (методика)

Описание методики перехода на обмен данными, основанный на регистрах сведений, с использованием альтернативного планам обмена 1С механизма регистрации изменений. Для реализации транспорта представлено использование RabbitMQ и DaJet Stream. Однако, возможно использование аналогичных технологий - методика РИБ 2.0 не ограничивает выбор транспорта. Методика описана в сжатом, но достаточном для самостоятельного ознакомления и реализации виде. Прилагается большое количество ссылок на дополнительные материалы для углублённого изучения и понимания связанных с данной методикой вопросов.

Андрей Путин. Как делать интеграции правильно и быстро

Шина – это не просто шина. Концепция шины – это концепция сервисно-ориентированной архитектуры, SOA. А это, в свою очередь, – вообще концепция построения бизнеса, где четко поделены зоны ответственности между департаментами. О том, какие проблемы создает перемешанный контекст в паутине интеграций «точка-точка» и как решить эти проблемы через концепцию Middleware и сервисную шину данных, пойдет речь в докладе. Доклад в виде статьи: https://infostart.ru/1c/articles/2063057/

Михаил Харитонов. Лайфхаки: Ускоряем и «расшиваем» сложные обмены

Для интеграции с зоопарком систем нужно гибко чередовать различные подходы: использовать интеграционную шину, внешние источники данных, веб и http-сервисы, COM и правила конвертации. Расскажем о хитростях, которые помогут решить проблемы сложных обменов. Доклад в виде статьи: https://infostart.ru/1c/articles/2052649/