Расширение sqlite3_mod_csv или как быстро загрузить огромный файл csv или часть его в 1С 7.7

Публикация № 805029

Разработка - Системная интеграция - Внешние источники данных

sqlite3 csv 1c 7.7 импорт конвертация обмен

6
Расширение к sqlite3 для выполнения sqli запросов к файлам csv и не только.

sqlite3_mod_csv

С csv можно работать и штатными способами 1c.

Но что случится если файл неприлично огромен? Ничего хорошего не будет...

Что делать если требуется не весь файл, а только какая то его часть по условию? Это тоже возможно, но... медленно...

А как насчет чтобы просто "select name from csv where code = 16"? Хочется? Попробуйте расширение sqlite3_mod_csv!

Оно сделано на основании модуля csv из http://www.ch-werner.de/sqliteodbc

Сделано/изменено следующее:

    - добавлены перекодировки текста из CP_OEMCP и CP_ACP;

    - расширены флаги обработки файла;

    - расширен и упрощен режим установки заголовков колонок;

    - сделан пример для 1С 7.7 чтения файла csv с использованием 1sqlite с подключенным модулем csv и отображения результата в ТабличноеПоле 1c++ через Поставщик данных SQLiteDataProvider в двух вариантах: прямое отображение файла csv и отображение через конвертацию файла csv в файл sqlite3, конвертация производится средствами sqlite3 с подключенным модулем;

Подключение расширения:
   SELECT load_extension("sqlite3_mod_csv","sqlite3_extension_init");

Подключение файла csv:
 CREATE VIRTUAL TABLE temp.csv USING csvfile(ИмяФайла,ФлагиОбработки,Кодировка,Разделители,ОграничителиСтроки,ОпределенияКолонок[*]);

Параметры подключения:
    ИмяФайла:
        в формате windows
    ФлагиОбработки:
        0 0x0000 - в файле нет заголовка
                 - имена колонок автоматически c1,c2,c3
                 - в определении колонок только типизация
        1 0x0001 - в файле есть заголовок и он не будет выведен в таблицу
        2 0x0010 - имена колонок из заголовка, если он есть
        4 0x0100 - в определении колонок имя и тип по очереди
    Кодировка:
        1 - CP_ACP
        2 - CP_OEMCP
        3 - CP_UTF8
        прочие значения - CP_UTF8
    Разделители:
        разделитель, по-умолчанию ";"
    ОграничителиСтроки:
        с этим я не очень разбирался, отрезает правую часть строки после второго появления разделителя
    ОпределенияКолонок:
        либо только типы, либо имена и типы по очереди в зависимости от флага обработки

        т.е. либо text,int,text,text либо col1,int,mycol2,text

Пример подключения журнала работы 1С 7.7:

    CREATE VIRTUAL TABLE temp.csv USING csvfile(каталог+'1cv7.mlg',0,1);

    Пример работы в обработке sqlite3_mod_csv.ert (она вложена в архив).

Требования к обработке:

     1С++, formex, 1sqlite с поддержкой загрузки расширений //infostart.ru/public/559826/

P.S. Если на каком то файле csv 1С будет вылетать или виснуть, присылайте его мне вместе со строкой подключения.

 

6

Скачать файлы

Наименование Файл Версия Размер
sqlite3_mod_csv_20180324
.zip 34,37Kb
24.03.18
1
.zip 34,37Kb 1 Скачать

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо
1. CheBurator 3403 26.03.18 02:33 Сейчас в теме
2. Djelf 233 26.03.18 09:51 Сейчас в теме
(1) Что так сразу капец? Оно у меня 130к строк mlg в секунду пережевывает...
И, кстати, к 7.7 оно не прибито, можно и с консольной sqlite3.exe использовать.
3. CheBurator 3403 27.03.18 01:06 Сейчас в теме
А в пакете внутрях есть все что нужно для установки поставщика данных и прочего по доп.возможностям? для неграмотных?
4. Djelf 233 27.03.18 09:28 Сейчас в теме
Скрин обработки то посмотри. Почти все в примере есть.
5. user591953_abinsk-dekor 27.07.18 12:18 Сейчас в теме
Можно ли как-нибудь открыть .mlg текущего сеанса? А то валится с "unable to open input file". При том FSO.TextStream открывает.
6. user591953_abinsk-dekor 27.07.18 15:21 Сейчас в теме
(5)+ Я так понимаю, что проблема в режиме доступа к файлу, который держит открытым 1С, а sqlite пытается эксклюзивно его заблокировать. Что сильно ограничивает полезность этого мода в части чтения журнала.
7. Djelf 233 27.07.18 16:22 Сейчас в теме
(5) Ага! Русские буквы в пути к названию файла?
Ну не надо русские буквы использовать ни в названиях компов, ни в именах пользователей, ни в паролях - жить будет проще.
Беда с этими русскими буквами...

Забирай исправленную версию https://cloud.mail.ru/public/7AAP/hchUi6umk
Прикрепленные файлы:
sqlite3_mod_csv_20180727.zip
user591953_abinsk-dekor; +1 Ответить
Оставьте свое сообщение

См. также

Подборка программ для взаимодействия с ЕГАИС Промо

ЕГАИС (Единая государственная автоматизированная информационная система) - автоматизированная система, предназначенная для государственного контроля за объёмом производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции. Инфостарт рекомендует подборку проверенных решений для взаимодействия с системой.

Интеграция с системой управления складом WMS Exceed-4000 (exceed-infor.ru) XML-обмен для комплексной конфигурации 1С 7.7 1

Инструменты и обработки Программист Руководитель проекта Внешняя обработка (ert,epf) v7.7 1С7:Комплекс Оптовая торговля, дистрибуция, логистика УУ Абонемент ($m) Обмен через XML Внешние источники данных

Обработки обмена номенклатурой (SKU), дополнительными штрихкодами (AltSku), приемкой (AdvancedShipNotice), подтверждением приема (ASNClosed), выдачей (ShipmentOrder), подтверждением выдачи (CustomerOrderLoaded) для учетной системы 1С 7.7. Здесь выгрузка и загрузка для 1C 7.7.

1 стартмани

21.10.2019    1657    ksnik    0       

Перенос данных БП 3.0 => УТ 11 / КА 2 / ERP 2 (ЕРП) (перенос остатков, документов и справочной информации из "1С:Бухгалтерия предприятия 8", ред.3.0). Обновлено до БП 3.0.73.х, УТ 11.4.10.х, КА 2.4.10.х., ERP 2.4.10.х! Промо

Переносятся документы за выбранный период, справочная информация и остатки по счетам бух. учета в программу УТ 11 / КА 2 / ЕРП 2 (ERP). Переносятся все возможные виды операций ввода остатков на нужную дату. Есть отбор по периоду переноса документов и фильтр по организации, доступен выбор даты ввода остатков. Если нужно переносить что-то дополнительно, то обычно бесплатно добавляем это в перенос . Смотрите видеодемонстрацию со звуком - советами по переносу и рекомендациями настройки программ.

29700 руб.

Универсальная выгрузка данных из 1С 7.7 в JSON 7

Инструменты и обработки Программист Внешняя обработка (ert,epf) v7.7 1cv7.md Абонемент ($m) Внешние источники данных

Обработка для универсальной выгрузки данных из конфигурации 7.7 в JSON. Может быть полезна для задач переноса данных из различных конфигураций в другие конфигурации, для перехода на другие версии 1С, для перехода на 8.3, для переноса данных в другие системы учета, для организации онлайн выгрузки с целью синхронизации разных систем учета. Выгрузка справочников, документов, результатов запросов, остатков по планам счетов.

2 стартмани

09.10.2019    1647    4    Malice    13       

Телеграм БОТ и 1С 7.7 (пример интеграции) 7

Инструменты и обработки Программист Внешняя обработка (ert,epf) v77::ОУ 1С7:ТиС Россия Windows Абонемент ($m) Внешние источники данных Интеграция

Небольшая обработка (шаблон) по интеграции НЕ умирающей 1С 7.7 (7.70.027) и TELEGRAM.

1 стартмани

04.10.2019    1846    2    serpent    0       

Базовый курс по разработке мобильных 1C-приложений для Android-устройств. Третий поток. Онлайн-интенсив с 11 февраля по 05 марта 2020 г. Промо

Данный онлайн-курс предусматривает изучение базовых принципов создания приложений для операционной системы Android, работающих на мобильной платформе “1С:Предприятие”. Курс предназначен для тех, кто уже имеет определенные навыки конфигурирования и программирования в системе “1С:Предприятие” при разработке прикладных решений для “обычных” компьютеров, но пока ещё не занимался разработкой 1С-приложений, предназначенных для работы на мобильных устройствах.

7500 рублей

Обмен данными (синхронизация, интеграция) с Эвотор для 1С:Предприятие 7.7 0

Инструменты и обработки Программист Бухгалтер Пользователь Архив с данными v77::ОУ 1С7:Комплекс 1С7:ТиС Россия УУ Windows Оптовая торговля Розничная торговля Учет ТМЦ Абонемент ($m) Внешние источники данных

Внешняя обработка для 1С:Торговля и склад, ред. 9.2 и 1С:Комплексная конфигурация (Бухгалтерия+Торговля+Склад+Зарплата+Кадры), ред. 4.5 для обмена (синхронизации, интеграции) с 1С. С её помощью можно загрузить документы из терминалов Эвотор в 1С и выгрузить товары и услуги из 1С в терминалы Эвотор.

1 стартмани

05.08.2019    1582    3    Cujoko    0       

Обмен с SalesWorks в 1С 7.7 2

Инструменты и обработки Программист Внешняя обработка (ert,epf) v7.7 Россия УУ Оптовая торговля Абонемент ($m) Внешние источники данных Обмен через XML

Обработка позволяет реализовать обмен данными между решением SalesWorks и 1c 7.7.

5 стартмани

16.07.2019    4798    1    vv-adm    0       

Онлайн-курс "Технология выполнения проектов ERP-класса – процессный подход". Третий поток. Курс проходит с 21 января по 18 марта 2020 года. Промо

Курс разработан Внедренческим центром «Раздолье». Курс предназначен для подготовки аналитиков, архитекторов и руководителей проектов автоматизации процессов управления с использованием комплексных ИТ-систем (1С:ERP, 1С:УХ, 1С:КА, 1С:УТ). В основе курса лежит методика применения процессного подхода.

9000 рублей

Выгрузка контактных данных контрагентов и формирование файла vcf. 1С 7.7 0

Инструменты и обработки Программист Внешняя обработка (ert,epf) v77::ОУ 1С7:ТиС Абонемент ($m) Внешние источники данных

Обработка выгружает данные контрагентов и создает два файла: один текстовый со всеми данными, другой формата vcards.vcf для загрузки контактных данных в андроид.

1 стартмани

10.05.2019    2104    1    rid636674    0       

Перенос данных КА 1.1 => ERP 2 (ЕРП) (обработка переноса документов, остатков и справочной информации из "1С:Комплексная автоматизация, ред. 1.1" в "1С:ERP Управление предприятием, ред 2"). Обновлен до КА 1.1.115.х и ERP 2.4.10.х Промо

Обработка позволяет переносить из КА 1.1 в ERP 2 документы за выбранный период и остатки. Типовая обработка от фирмы 1С документы не переносит. Также исправлены ошибки типовой обработки. При выходе новых релизов обновление высылается бесплатно в течение года. Разработка будет полезна фирмам-франчайзи, которые периодически выполняют такой перенос данных для заказчиков. Вы можете один раз приобрести обработку переноса, и потом бесплатно получать обновления в случае выхода новых релизов конфигураций 1С.

29700 руб.

Программы для исполнения 488-ФЗ: Маркировка товаров Промо

1 января 2019 года вступил в силу ФЗ от 25.12.2018 № 488-ФЗ о единой информационной системе маркировки товаров с использованием контрольных (идентификационных) знаков, который позволяет проследить движение товара от производителя до конечного потребителя. Инфостарт предлагает подборку программ, связанных с применением 488-ФЗ и маркировкой товаров.

Пилотный проект ФСС. Заявление, реестр, опись, выгрузка в формате xml версия 1.7.6 1

Инструменты и обработки Бухгалтер Архив с данными v77::Расчет 1С7:ЗиК Россия БУ Зарплата ФОМС, ПФ, ФСС Абонемент ($m) Внешние источники данных Обмен через XML

Конфигурация для объединения с типовой ЗиК с возможностью формирования бланка Заявления о выплате пособия, Реестра сведений в ФСС, Описи заявлений и документов, и выгрузки Реестра сведений в ФСС в формате xml версии 1.7.6 с использованием классификатора адресов ФИАС для выгрузки адресной информации.

5 стартмани

04.02.2019    3982    23    Pin    9       

Перенос данных КА 1.1 / УПП 1.3 => БП 3.0 (перенос остатков, документов и справочников из "1С:Комплексная автоматизация 1.1" / УПП 1.3 в "1С:Бухгалтерия 3.0"). Обновлен до версий КА 1.1.115.х, УПП 1.3.127.х! Промо

Разработка позволяет перенести остатки по всем счетам бух.учета в программу "1С:Бухгалтерия предприятия 8", ред. 3.0 на выбранную дату начала ведения учета. Также переносятся документы за период и вся необходимая справочная информация. Правила оперативно обновляю при выходе новых релизов. Рассылка обновлений правил бесплатно в течение 12 месяцев. Есть видеодемонстрация проведения переноса данных. Конфигурации при использовании обмена остаются полностью типовыми. Перенос данных возможен в Бухгалтерию 3.0 версии ПРОФ, КОРП или базовую.

24700 руб.

Выполнение запросов к УТМ ЕГАИС из 1С 7.7 0

Инструменты и обработки Программист Внешняя обработка (ert,epf) v7.7 1cv7.md Россия Windows Розничная торговля Акцизы Абонемент ($m) Внешние источники данных

Данный отчет является примером работы с УТМ ЕГАИС, для передачи запросов GET, POST и DELETE из системы 1С 7.7. Запрос DELETE не проверял.

1 стартмани

27.02.2018    7548    6    v3_62    0       

1C:Предприятие для программистов: Запросы и отчеты. Второй поток. Онлайн-интенсив с 17 марта по 16 апреля 2020 г. Промо

Данный онлайн-курс предусматривает углубленное изучение языка запросов и возможностей системы компоновки данных, которые понадобятся при разработке отчетов, работающих на платформе “1С:Предприятие” в рамках различных прикладных решений. Курс предназначен для тех, кто уже имеет определенные навыки конфигурирования и программирования в системе “1С:Предприятие”, а также для опытных пользователей различных прикладных решений, которые используют в своей работе отчеты разного назначения.

6500 рублей

Пилотный проект ФСС. Заявление, реестр, опись, выгрузка в формате xml версия 1.7.4 1

Отчеты и формы Бухгалтер Архив с данными v77::Расчет 1С7:ЗиК Россия БУ Зарплата ФОМС, ПФ, ФСС Абонемент ($m) Внешние источники данных Обмен через XML Специальные

Для расчетчиков заработной платы, которые по каким-то причинам еще не перешли на конфигурацию зарплатного проекта 3 версии, и их регион участвует в Пилотном проекте ФСС доработанная конфигурация ЗиК 7.7 v.365 с возможностью формирования бланка Заявления о выплате пособия, Реестра сведений в ФСС, Описи заявлений и документов и выгрузки Реестра сведений в ФСС в формате xml версии 1.7.4

1 стартмани

14.11.2017    12528    17    57Jimmy    1       

С 2020 года сервис «Продление поддержки конфигурации 1С:УПП» подорожает вдвое Промо

Успейте продлить поддержку УПП до повышения цен! Фирма «1С» предупредила об изменении цен на сервис «Продление поддержки конфигурации "1С:Управление производственным предприятием"». С 1 января 2020 года сервис подорожает в два раза.

Модуль учета рабочего времени для СКУД Parsec 2.5 5

Инструменты и обработки Программист Внешняя обработка (ert,epf) v7.7 1cv7.md Россия БУ УУ Учет рабочего времени Абонемент ($m) Внешние источники данных

Обработка позволяет подключаться к базе данных СКУД "Parsec" v 2.5 и формировать отчеты УРВ. По сути реализует функционал родного модуля парсека (и даже немного его расширяет), что позволяет слегка сэкономить на лицензиях.

1 стартмани

17.10.2017    6298    6    gamletspb    6       

Обмен с системой Меркурий через Ветис.API 6

Инструменты и обработки Системный администратор Программист Внешняя обработка (ert,epf) v7.7 1cv7.md Россия Абонемент ($m) Внешние источники данных

В обработке реализованы три запроса (GetBusinessEntityList - получения списка хозяйствующих субъектов с возможностью фильтрации по названию и\или ИНН, GetBusinessEntityByGuid - получение хозяйствующего субъекта по глобальному идентификатору, GetRussianEnterpriseList - получения списка предприятий с фильтрацией по названию) и просмотр ответов по ним для работы системы 1с 7.7 и Меркурий через Ветис.API.

5 стартмани

25.08.2017    20517    70    vv-adm    1       

Очный семинар по регулярному менеджменту Александра Фридмана "Вы или Хаос", 12 декабря 2019 г. , Санкт-Петербург Промо

Семинар по регулярному менеджменту от Александра Фридмана для собственников, первых лиц и топов. Технология управленческого планирования, комплексного управления временем и другими ресурсами, выполнением поручений, делами, информацией, контактами (встречи-звонки-почта).

от 11000 до 29000 рублей

1С:Предприятие 7.7 и Telegram 9

Инструменты и обработки Программист Внешняя обработка (ert,epf) v7.7 1cv7.md Windows Абонемент ($m) Внешние источники данных

Предлагаемые вашему вниманию файлы демонстрируют возможности: 1) отправки сообщений из 1С:Предприятия 7.7 в мессенджер Telegram, 2) оповещения о выходе из базы всех пользователей...

1 стартмани

09.08.2017    10552    23    Gkmy    34       

1sqlite reborn 34

Инструменты и обработки Программист Архив с данными v7.7 1cv7.md Россия Windows Абонемент ($m) Разработка внешних компонент

Обновленная версия внешней компоненты для работы с базами данных SQLite и прямыми запросы в ДБФ-базах 1С.

1 стартмани

07.11.2016    20525    87    Djelf    39       

Базовый курс для начинающих 1С-программистов. Пятый поток. Онлайн-курс с 12 февраля по 15 апреля 2020 г. Промо

Данный онлайн-курс является начальной ступенью по изучению базовых принципов программирования в системе “1С:Предприятие” и предназначен для обучения 1С-программированию “с нуля”.

4500/9500 рублей

Формирование и отправка данных в SPOT 2D для 1С: 7.7 1

Инструменты и обработки Программист Внешняя обработка (ert,epf) v7.7 1С7:ТиС Украина Оптовая торговля Абонемент ($m) Внешние источники данных

Для тех, кто еще не написал сам - не претендующая на профессионализм обработка, но вполне рабочая. Будет неплохим примером с некоторыми подсказками...

1 стартмани

05.09.2016    6732    6    Khaled    9       

Удобная выгрузка данных из 1С 7.7 для последующего переноса их в другие программы 8

Инструменты и обработки Системный администратор Программист Бухгалтер Внешняя обработка (ert,epf) v77::БУ 1С7:Бух Абонемент ($m) Файловые протоколы обмена, FTP Загрузка и выгрузка в Excel Внешние источники данных

Позволяет выгружать данные справочников, документов, сальдо по счетам из 1С 7.7 (компонента «Бухгалтерский учет» в файлы формата MXL, XLS, DBF. Полученные файлы удобно использовать для переноса в другие программы. В разработке применено несколько оригинальных решений.

1 стартмани

10.06.2016    25509    120    gubanoff    10       

Перенос данных УТ 10.3 => УТ 11 / КА 2 / ERP 2 (ЕРП 2) (документы, остатки и справочная информация из "1С:Управление торговлей, ред. 10.3" в УТ 11 / КА 2 / ERP 2). Обновлен до УТ 10.3.56.х, УТ 11.4.10.х, КА 2.4.10.х и ERP 2.4.10.х! Промо

Уже более 100 компаний приобрели перенос и выполнили переход на УТ 11 / КА 2 / ERP 2 с помощью нашей разработки! Обработка перехода с УТ 10.3 на УТ 11 / КА 2 / ERP 2 позволяет перенести не только остатки на указанную дату (как типовой перенос), но и все возможные документы за выбранный период. При выходе новых релизов этих программ оперативно выпускаем обновление обработки. Предоставляем техническую поддержку. Можем сделать бесплатный тестовый перенос!

29700 руб.

Выгрузка данных из 1С: Торговля+склад 7.7 в CISLink (отчет дистрибьютора) 0

Инструменты и обработки Программист Внешняя обработка (ert,epf) v77::ОУ 1С7:Комплекс 1С7:ТиС УУ Абонемент ($m) Внешние источники данных

Выгрузка данных из 1С Торговля+склад 7.7 в CISLink. Данный отчет тестировался на релизе 7.70.932 и 7.70.984. Разрабатывался для выгрузки данных в группу компаний РУСАГРО. Также подойдет для всех производителей, принимающих отчеты в данном формате.

1 стартмани

02.06.2016    8404    7    alexstav    2       

Работа с ЕГАИС из "Торговля 24h", версия 3.2 2

Инструменты и обработки Программист Бухгалтер Руководитель проекта Архив с данными v77::ОУ 1С7:ТиС Розничная и сетевая торговля (FMCG) Россия УУ Windows Розничная торговля Абонемент ($m) Внешние источники данных Управление торговлей

Доработка 1С 7.7 "Торговля 24h", версия 3.2 для работы с ЕГАИС. Поддерживается подтверждение прихода, расход, возвраты и работа со справочниками товаров и фирм из Егаис. Ведение "Журнала розничных продаж Алкоголя по стандарту 2016" Продажи осуществляются через Frontol и автоматически уходят в ЕГАИС прямо с ККМ. В данной конфигурации доработан модуль обмена с Фронтол (выгрузка признака Алкоголь и реквизитов для ККМ) Обновление от 26.01.2017: Доработан модуль запроса нечитаемых марок, реализован учет на складе и торговом зале, реализован механизм автоматического списания проданных в торговом зале АП. Создан документ инвентаризация ЕГАИС, для приведения склада в порядок. и многое другое, на данном этапе ведется плотная работа по изменениям в соответствии с законодательством.

1 стартмани

01.06.2016    11103    9    Vladraven    7