"Сделай сам" свою самую быструю перегрузку (видео). Использование технологии SQL Server IS для быстрых перегрузок данных.

31.10.11

Интеграция - Внешние источники данных

+36 –2
Видео, демонстрирующее использование SSIS для нужд 1С. Пример очень простой, но поможет сделать "первый шаг", а потом вы сами поймете, какие возможности перед вами открывает этот механизм, и будете им пользоваться. SSIS это службы, поставляемые MS SQL Server для различных перегрузок данными. Существует достаточно простой и удобный визуальный конструктор, взаимодействие с различными ODBC и даже не ODBC источниками данных, кроме того технология использует bulk insert что обеспечивает даже для SQL Server очень высокую скорость перегрузки

На видео приведена простейшая демонстрация перегрузки РС "Адресный классификатор" из одной базы в другую, на очень медленной машине. Казалось бы ничего необычного, вот только перегрузка происходит за 2-3 секунды. Далее для примера запустил всеми любимую обработку "Выгрузка загрузка данных XML". Собственно, 2 минуты видео она честно проработала - дальше выключил.  А на "правильном" оборудовании эта разница будет только увеличиваться. Далее подумайте сами  - восстановление из резервной копии всего партионного учета за месяц в считанные минуты становится возможным (пересчет итогов только потом нужно будет сделать)... быстрая инициализация нового узла РИБ прямо из рабочей базы всеми нужными справочниками - без проблем. Использую ещё для загрузки журнала регистрации в отдельную SQL базу... но тут нужна уже некоторая сноровка... хотя бы для создания новой базы и её использования. В общем, основной смысл видео - показать, что такая возможность есть, и  работает. Естественно, использование подхода - на свой страх и риск, материал приведён только с академической целью.

Сама технология "стара как мир". Была ещё в SQL Server 2000 - называлась DTS, в SQL Server 2005 стала называться SSIS. На сегодняшний день это самый быстрый механизм переноса данных между 2-мя системами (по крайней мере более быстрого мне не известно). Мне лично бывает очень полезным для восстановления частей базы их резервной копии.

Представьте себе ситуацию: кто-то немного поработал задним числом, дату запрета редактирования вы после всех согласований, скрипя сердцем, сдвинули, а человек что-то сделал не так (ну пятница была, конец рабочего дня). После чего запустил, или запустилась сама обработка... ну к примеру "Проведение по партиям" и пересчитала за ночь партии за полгода. Через пару дней к вам пришли с вопросами вида "а как так получилось что......!!!". Вы, естественно, быстренько найдёте виновного по ЖР. Вот только вопрос "что делать" не решен... Есть конечно backup до его действий. Но как потом смотреть людям, которые 2 дня в базе работали в глаза. Можно попытаться пересчитать партии ещё раз. Вот только есть ли у вас уверенность что они сойдутся?.... Конечно хорошо бы взять весь регистр ПартииТоваровНаСкладах и перенести за полгода. И это тоже можно. Выгрузка - загрузка данных XML. Вот только компания у вас не маленькая... и выгрузить регистр за полгода, а потом его загрузить.... это XML файл гигабайт на 10... дня 3-4 будет перегружаться.... если вообще перегрузится.


Собственно видео:

+36 –2

См. также

Экстрактор данных 1С в BI

Внешние источники данных Программист Бизнес-аналитик Пользователь Платформа 1С v8.3 Управляемые формы Анализ и прогнозирование 1C:Бухгалтерия Узбекистан Беларусь Кыргызстан Молдова Россия Казахстан Платные (руб)

Готовое решение для автоматической выгрузки данных из 1С 8.3 в базу данных ClickHouse, PostgreSQL или Microsoft SQL для работы с данными 1С в BI-системах. «Экстрактор данных 1С в BI» работает со всеми типовыми и нестандартными конфигурациями 1С 8.3 и упрощает работу бизнес-аналитиков. Благодаря этому решению, специалистам не требуется быть программистами, чтобы легко получать данные из 1С в вашей BI-системе.

28500 руб.

15.11.2022    22047    23    49    

39
Перенос данных из Парус 7.хх в ЗГУ ред.3

Внешние источники данных Зарплата Бюджетный учет Программист Бухгалтер Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бухгалтерский учет Бюджетный учет Платные (руб)

Обработка позволяет перенести кадровую информацию и данные по заработной плате, фактическим удержаниям, НДФЛ, вычетам, страховым взносам из базы Парус 7.хх учреждений (далее Парус) в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (далее 1С) и начать с ней работать с любого месяца года.

84000 руб.

24.04.2017    52057    104    165    

91
Перенос данных из Парус 8 в ЗГУ 3

Зарплата Внешние источники данных Бюджетный учет Перенос данных 1C Системный администратор Программист Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бухгалтерский учет Бюджетный учет Платные (руб)

Обработка позволяет перенести кадровую информацию и данные по заработной плате, фактическим удержаниям, НДФЛ, вычетам, страховым взносам из базы Парус 8 учреждений (далее Парус) в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (далее 1С) и начать с ней работать с любого месяца года.

120000 руб.

19.08.2020    25927    25    1    

27
Перенос данных из Парус 10 в ЗГУ ред.3

Внешние источники данных Кадровый учет Файловый обмен (TXT, XML, DBF), FTP Перенос данных 1C Программист Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бухгалтерский учет Бюджетный учет Платные (руб)

Обработка позволяет перенести кадровую информацию и данные по заработной плате, фактическим удержаниям, НДФЛ, вычетам, страховым взносам из базы Парус 10 учреждений (далее Парус) в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (далее 1С) и начать с ней работать с любого месяца года.

84000 руб.

05.10.2022    11353    13    8    

15
Интеграция 1С и СКУД RusGuard

Внешние источники данных Платформа 1С v8.3 1C:Бухгалтерия Платные (руб)

Готовая интеграция для управляемых форм. Встраивается в вашу 1С как расширение. Реализует автоматический обмен данными между 1С (1С:Фитнес клуб и аналогов) и СКУД RusGuard, автоматизирует бизнес-процессы по созданию и учету сотрудников в СКУД. Значительно упрощает работу специалистов отдела кадров и отдела безопасности: избавляет от двойного ввода информации в 1С и СКУД.

94999 руб.

11.07.2024    1053    1    0    

3
Загрузка данных из М-Аптеки в Бухгалтерию 3.0, в т.ч. КОРП

Файловый обмен (TXT, XML, DBF), FTP Внешние источники данных Программист Бухгалтер Пользователь Платформа 1С v8.3 Бухгалтерский учет 1С:Бухгалтерия 3.0 Фармацевтика, аптеки Россия Бухгалтерский учет УСН Платные (руб)

Обработки для загрузки dbf-файлов, выгруженных из М-Аптека и Трейд Фарм в разрезе документов с номенклатурой.

34000 руб.

14.09.2020    18139    25    20    

21
Перенос данных из Парус 8 в ЗУП ред.3

Зарплата Внешние источники данных Программист Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Платные (руб)

Обработка позволяет перенести кадровую информацию и данные по заработной плате, фактическим удержаниям, НДФЛ, вычетам, страховым взносам из базы Парус 8 организаций (далее Парус) в конфигурацию 1С:Зарплата и управление персоналом, ред. 3 (далее 1С) и начать с ней работать с любого месяца года.

120000 руб.

07.06.2021    13505    2    3    

3
Обмен данными: 1С - "Мобильная карта" Газпромнефть

Внешние источники данных Программист Бухгалтер Платформа 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Бухгалтерский учет Управленческий учет Платные (руб)

Обмен данными конфигураций 1С - с комплексом управления автозаправочной станцией «Мобильная карта»

48000 руб.

06.10.2020    19745    19    0    

18
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. DoctorRoza 30.10.11 11:52 Сейчас в теме
Видео, конечно, хорошо, но вот хоть мало мальское объяснение "чегоделания" было бы еще лучше! Ну хотя бы .. в академических целях! :)
artbear; +1 – Ответить
5. romansun 194 31.10.11 00:17 Сейчас в теме
insert into Таблица
select *
from Таблица_РезервнаяКопия
where <по желанию>

тож быстро работает... :) конечно, любой прямой доступ к базе работает во сто крат быстрее любой 1С-ной обработки переноса

имхо, между 1С и 1С проще запрос написать, чем DTS пользоваться. Особенно, если базы идентичны - тогда запросы обычно несложные.

А вот "засасывать" в sql всякие эксели и пр. - да, очень удобно и очень быстро через DTS. Особенно учитывая возможность еще подписать запрос для заливки.

(1)(2)(3) Ну это просто визуальное типа конструирование запросов с возможностями маппинга, запросов на отдельные поля и вытаскивание инфы из внешних источников (баз, файлов и т.д.) и еще много чего. Типа конструктора запросов в 1С получается. А учитывая 8.2.14 (внешние источники данных) - наверное вообще сильно похоже (сам еще не видел, к сожалению).

Насчет ссылок - sql просто копирнёт таблицу, да и всё. Попадутся ссылки "без адреса" - будет битая ссылка, наоборот - всё будет отлично.

Удачное применение таких "технологий" - форсмажорное "пофигачивание" данных и моментальное восстановление из резервной копии. Пример: разработчик писал обработку/скрипт по зачистке каких-либо данных из справочника. Написал, запустил, зачистил. Всё гут. Но тут внезапно выясняется, что зачистил не то или не так. Тут же берется бэкап до момента очистки, поднимается и из него скриптом или подобным сервисом справочник моментально восстанавливается. Пользователи, бывает, даже не успевают заметить недоброе.
+ – Ответить
6. comol 5114 31.10.11 08:55 Сейчас в теме
(5) romansun, Собственно всё за меня ответили.
Вот только Insert из таблицы в БД на другом сервере я не знаю как делать... в 2008 вроде "связанные серверы" появились, но может как-то по-другому можно.

И в SSIS там вроде используется bulk insert (без проверки constraint), что намного быстрее обычного insert.
+ – Ответить
7. artbear 1566 31.10.11 10:23 Сейчас в теме
(6) Автор, поправь тему, добавь немного описания о технологии (например, из других источников или хотя бы из комментов), иначе сниму публикацию.
Пользователи сайта сразу должны видеть "правильную" инфу, а не получать/додумывать ее.
+ – Ответить
9. comol 5114 31.10.11 14:16 Сейчас в теме
(7) artbear, Описание добавил. Не думал что вопросы возникнут.
+ – Ответить
8. romansun 194 31.10.11 10:47 Сейчас в теме
(6)

дык, sp_addlinkedserver

а потом как обычно с указанием полного "пути", например 

update ОЗК 
set Наличие_Партий = ТМЦ.Наличие_Партий
from ОЗК
left join serversql.buh_2005.dbo.ТМЦ as ТМЦ 
    on ТМЦ.Код = ОЗК.Код


(7) да, описания нужно
comol; +1 – Ответить
10. comol 5114 31.10.11 14:18 Сейчас в теме
(8) romansun, Спасибо. Я так в принципе и думал. Но bulk insert быстрее в SSIS люди пишут, иногда наверное запросом удобнее, хотя мне как 1С-нику приятнее уже "картинки таскать" :)
+ – Ответить
2. artbear 1566 30.10.11 14:18 Сейчас в теме
Да, что это и куда это?
+ – Ответить
3. пользователь 30.10.11 15:04
Сообщение было скрыто модератором.
...
4. php55 30.10.11 21:07 Сейчас в теме
Интересный способ. Взял на заметку. Правда область применения не особо понятно, только если базы идентичны возможно....
+ – Ответить
11. comol 5114 31.10.11 14:24 Сейчас в теме
Видимо описание нужно было сразу добавить... так никто не понял что это такое, сейчас народ уже не прочитает...
+ – Ответить
12. artbear 1566 31.10.11 15:16 Сейчас в теме
(11) Конечно, сразу правильнее.
Не понял, почему (цитата) "сейчас народ уже не прочитает" ?
+ – Ответить
13. comol 5114 31.10.11 15:57 Сейчас в теме
(12) artbear, А как я понимаю если публикацию публикуешь... она попадает в "новые" на главной странце... потом если набирает определенное количество "плюсов" - в "в центре внимания", а потом если прошла экспертную проверку - "рекомендованные сообществом". Всё это время она висит на главной странице, собственно те кто заходят прочитывают оценивают.. а если сразу "порог плюсов" не прошел - уже в архиве...

А штука то вообще полезная...
+ – Ответить
14. Трактор 1255 31.10.11 16:32 Сейчас в теме
Офигеть! Публикация заслуживает минуса как провокация новичков к опасным действиям. Как противоречащая позиции самого автора. Comol, ты тут http://infostart.ru/public/95484/ называешь "идеальным" работника который имеет сертификаты и знает стандарты. И тут же сам учишь людей нарушать требования стандартов, лицензионное соглашение с 1С.
Ты сторонник формальной оценки. Так вот. Данный приём чрезвычайно рискован и не может быть использован специалистом ниже 6-го дана, не имеющим сертификатов от 1С и Микрософта. А специалисты 8-го дана имеющие сертификаты и без того знают этот путь. Вывод по формальным признакам: Публикация вредна!
hogik; +1 –1 Ответить
15. comol 5114 31.10.11 16:48 Сейчас в теме
(14) Трактор, Нууу... не могу не согласиться... я же пишу "после резервной копии" и очень аккуратно. Как раз если знаешь все стандарты и принципы... и идёшь на нарушение осознанно... только когда вариант или потеря данных или такой... В случае с восстановлением из резервной копии человек в (5) достаточно правильно написал что восстановить часть таблицы иногда ооочень нужно.

Я просто видео это делал даже не для инфостарта изначально... понимаете... у людей было столько радости.
artbear; +1 – Ответить
16. hogik 444 31.10.11 17:59 Сейчас в теме
Плюс на (14), и минус на (0).
Увы... :-(
+ – Ответить
17. пользователь 31.10.11 18:03
Сообщение было скрыто модератором.
...
19. пользователь 31.10.11 18:13
Сообщение было скрыто модератором.
...
18. artbear 1566 31.10.11 18:11 Сейчас в теме
Не согласен с (14). Минусанул (14)
Давайте все запретим по причине "ах, он может зайти в Конфигуратор и что-нибудь удалить/напортачить" :(
comol; +1 – Ответить
21. comol 5114 31.10.11 20:51 Сейчас в теме
(18) artbear, Двояко можно понять... с одной стороны конечно опасный инструмент, с другой - может оказаться "спасительным" в некоторых случаях, поэтому ИХМО знать о нём я считаю людям нужно...
Если бояться и ничего не делать можно так ничего и не узнать.
О том что можно что-нить напортить я написал, о том что только после бэкапа - тоже... по большому счету "в массу" не пошло поэтому что тут сейчас дискутировать.
+ – Ответить
20. пользователь 31.10.11 20:43
Сообщение было скрыто модератором.
...
22. пользователь 31.10.11 21:16
Сообщение было скрыто модератором.
...
23. romansun 194 31.10.11 21:59 Сейчас в теме
Публикация из серии "Achtung. Прямой доступ к данным. Access denied ниже 6 дана". Там где-то надо про это красненькими буквами написать и убрать "заигрывающую" риторику про "сделай сам" свою самую быструю перегрузку". Это как реклама курева и пива, рассчитанная на подростков.. Просто "Использование технологии SQL Server IS для быстрых перегрузок данных" достаточно, имхо.

Конкретно по теме - после предыдущих публикаций автора я ожидал развернутое такое описание технологии SSIS (в девичестве DTS) на пару страниц. С примерами, скажем, загрузки экселей, dbf. Какой-то миграции 1С-1С. Отличия от DTS (поскольку, наверно, на sql2000 большинство еще) и т.д. А получил суровое молчаливое видео.. Что несколько обескуражило :)

Поэтому, да, для <6 дана - вредно, а для 8 - недостаточно
comol; Трактор; +2 – Ответить
24. пользователь 31.10.11 22:50
Сообщение было скрыто модератором.
...
30. comol 5114 01.11.11 10:30 Сейчас в теме
(23) romansun, SSIS просто зачем описывать то что уже и так описано более чем достаточно, лучше Microsoft я этого не сделаю. Основной смысл я хотел вложить что такая технология есть и её можно использовать... просто показать что она открывает... чтобы если нужно - пользовались не боялись.
+ – Ответить
25. пользователь 31.10.11 22:51
Сообщение было скрыто модератором.
...
26. пользователь 01.11.11 00:17
Сообщение было скрыто модератором.
...
28. пользователь 01.11.11 10:25
Сообщение было скрыто модератором.
...
27. пользователь 01.11.11 07:31
Сообщение было скрыто модератором.
...
29. пользователь 01.11.11 10:27
Сообщение было скрыто модератором.
...
31. пользователь 01.11.11 10:32
Сообщение было скрыто модератором.
...
32. пользователь 01.11.11 12:04
Сообщение было скрыто модератором.
...
33. пользователь 01.11.11 12:07
Сообщение было скрыто модератором.
...
34. пользователь 01.11.11 12:18
Сообщение было скрыто модератором.
...
35. Трактор 1255 01.11.11 14:20 Сейчас в теме
comol, напиши, пожалуйста, большими красными буквами о рисках данного пути.
Не напишешь - минусую. >-0
+ – Ответить
40. comol 5114 01.11.11 15:37 Сейчас в теме
(35) Трактор, да я не против. Писал естественно.
+ – Ответить
52. Трактор 1255 02.11.11 14:34 Сейчас в теме
(40) Олег, напиши красными буквами предупреждение. Новички они плохо понимают что делают, плюс даже простые тексты редко кто читает.
fishca; +1 – Ответить
53. comol 5114 02.11.11 15:34 Сейчас в теме
(52) Трактор, Ну я же в самом начале написал об этом... и ещё в середине. Только что не красными, но как-то я не люблю в принципе цветной текст.
+ – Ответить
54. пользователь 02.11.11 16:17
Сообщение было скрыто модератором.
...
55. пользователь 02.11.11 16:26
Сообщение было скрыто модератором.
...
56. пользователь 02.11.11 16:49
Сообщение было скрыто модератором.
...
57. пользователь 02.11.11 16:53
Сообщение было скрыто модератором.
...
58. пользователь 02.11.11 16:56
Сообщение было скрыто модератором.
...
59. пользователь 02.11.11 17:01
Сообщение было скрыто модератором.
...
60. пользователь 02.11.11 17:39
Сообщение было скрыто модератором.
...
61. пользователь 02.11.11 17:49
Сообщение было скрыто модератором.
...
62. пользователь 02.11.11 18:04
Сообщение было скрыто модератором.
...
63. пользователь 03.11.11 10:02
Сообщение было скрыто модератором.
...
36. cool.vlad4 2 01.11.11 14:34 Сейчас в теме
Пока, что я не понял что не нравится людям. Очевидно, статья из серии - а вот есть такая клевая штука, смотрите, - ну и эту цель она выполняет. Кому хочется больше читайте книжки (Станека или от Microsoft Press) или http://www.codeproject.com/search.aspx?q=ssis&x=0&y=0&sbo=kw
ОФФ. Грустно, что 1С даже десятой части не использует того, что может SQL. Видимо не хочется привязываться к одному продукту.
comol; +1 – Ответить
51. romansun 194 01.11.11 18:46 Сейчас в теме
я, в общем, согласен с cool.vlad4 (36) Хотя раздел "Прямой доступ к данным" я бы завел на ИС и туда определял такие статьи всё же.
+ – Ответить
37. пользователь 01.11.11 14:44
Сообщение было скрыто модератором.
...
38. Трактор 1255 01.11.11 15:16 Сейчас в теме
cool.vlad4 пишет:
Грустно, что 1С даже десятой части не использует того, что может SQL. Видимо не хочется привязываться к одному продукту.

1С поступает верно. У нас нет MSSQL, на сервере линукс. И без того возможности под линуксом покоцали, а ты ещё сильнее хочешь привязаться к микрософту. Низ зя.
+ – Ответить
39. marat_n 112 01.11.11 15:23 Сейчас в теме
минус: знание о том, что "такая технология есть" и "чтобы если нужно - пользовались не боялись", почерпнутое из этой статьи - крайне вредное. я бы сказал наоборот, если об этих механизмах вы узнали только что из этой статьи, то не лезьте туда. к таким вещам как минимум в дисклеймере упомянуть надо, что это противоречит лицензионному соглашению.
hogik; +1 – Ответить
41. пользователь 01.11.11 15:39
Сообщение было скрыто модератором.
...
42. пользователь 01.11.11 15:43
Сообщение было скрыто модератором.
...
43. пользователь 01.11.11 15:48
Сообщение было скрыто модератором.
...
44. пользователь 01.11.11 15:55
Сообщение было скрыто модератором.
...
45. пользователь 01.11.11 16:44
Сообщение было скрыто модератором.
...
46. пользователь 01.11.11 17:03
Сообщение было скрыто модератором.
...
47. пользователь 01.11.11 17:10
Сообщение было скрыто модератором.
...
48. пользователь 01.11.11 17:28
Сообщение было скрыто модератором.
...
49. пользователь 01.11.11 17:38
Сообщение было скрыто модератором.
...
50. пользователь 01.11.11 17:58
Сообщение было скрыто модератором.
...
64. dandrontiy 07.11.11 13:17 Сейчас в теме
cool.vlad4 пишет:
ОФФ. Грустно, что 1С даже десятой части не использует того, что может SQL. Видимо не хочется привязываться к одному продукту.


Мало того что не использует.
Штатное закрытие периода в 1С Бухгалтерия при использовании базы данных на postgresql, дистрибутив постгреса пропатченный 1С используется - вылетает с ошибкой. При создании временных таблиц postgresql ругается что такая таблица уже есть. Не пропатчено до сих пор. Зато в файловом режиме - всё срабатывает ;-)
+ – Ответить
65. cardinal197979 12.12.12 08:17 Сейчас в теме
Здравствуй
меня очень заинтересовала данная статья.
но я не очень силен в ssis.
можешь сделать статью или инструкцию, как по такой технологии можно сделать РИБ для 1С 8.1
а то по обычной методике 2 суток с небольшим создает РИБ.
или подскажите каким еще способом можно сделать РИБ.
+ – Ответить
66. comol 5114 12.12.12 09:32 Сейчас в теме
(65) cardinal197979, Если ты про создание узла РИБ, то там всё просто. Выгружаешь dt центра, потом ПланыОбмена.УстановитьГлавныйУзел(Узел) :). Если про сам обмен - вряд ли его целесообразно делать этими средствами. РИБ всё-таки подразумевает переливку только изменений, не должно их гигабайты... если по факту гигабайты инфы меняются ИХМО надо архитектуру пересматривать...
+ – Ответить
67. rrustam11983 01.10.21 11:13 Сейчас в теме
Красавчег.
+ – Ответить
Оставьте свое сообщение