Расширение sqlite3_mod_csv или как быстро загрузить огромный файл csv или часть его в 1С 7.7

Публикация № 805029

Разработка - Системная интеграция - Внешние источники данных

sqlite3 csv 1c 7.7 импорт конвертация обмен

Расширение к sqlite3 для выполнения sqli запросов к файлам csv и не только.

sqlite3_mod_csv

С csv можно работать и штатными способами 1c.

Но что случится если файл неприлично огромен? Ничего хорошего не будет...

Что делать если требуется не весь файл, а только какая то его часть по условию? Это тоже возможно, но... медленно...

А как насчет чтобы просто "select name from csv where code = 16"? Хочется? Попробуйте расширение sqlite3_mod_csv!

Оно сделано на основании модуля csv из http://www.ch-werner.de/sqliteodbc

Сделано/изменено следующее:

    - добавлены перекодировки текста из CP_OEMCP и CP_ACP;

    - расширены флаги обработки файла;

    - расширен и упрощен режим установки заголовков колонок;

    - сделан пример для 1С 7.7 чтения файла csv с использованием 1sqlite с подключенным модулем csv и отображения результата в ТабличноеПоле 1c++ через Поставщик данных SQLiteDataProvider в двух вариантах: прямое отображение файла csv и отображение через конвертацию файла csv в файл sqlite3, конвертация производится средствами sqlite3 с подключенным модулем;

Подключение расширения:
   SELECT load_extension("sqlite3_mod_csv","sqlite3_extension_init");

Подключение файла csv:
 CREATE VIRTUAL TABLE temp.csv USING csvfile(ИмяФайла,ФлагиОбработки,Кодировка,Разделители,ОграничителиСтроки,ОпределенияКолонок[*]);

Параметры подключения:
    ИмяФайла:
        в формате windows
    ФлагиОбработки:
        0 0x0000 - в файле нет заголовка
                 - имена колонок автоматически c1,c2,c3
                 - в определении колонок только типизация
        1 0x0001 - в файле есть заголовок и он не будет выведен в таблицу
        2 0x0010 - имена колонок из заголовка, если он есть
        4 0x0100 - в определении колонок имя и тип по очереди
    Кодировка:
        1 - CP_ACP
        2 - CP_OEMCP
        3 - CP_UTF8
        прочие значения - CP_UTF8
    Разделители:
        разделитель, по-умолчанию ";"
    ОграничителиСтроки:
        с этим я не очень разбирался, отрезает правую часть строки после второго появления разделителя
    ОпределенияКолонок:
        либо только типы, либо имена и типы по очереди в зависимости от флага обработки

        т.е. либо text,int,text,text либо col1,int,mycol2,text

Пример подключения журнала работы 1С 7.7:

    CREATE VIRTUAL TABLE temp.csv USING csvfile(каталог+'1cv7.mlg',0,1);

    Пример работы в обработке sqlite3_mod_csv.ert (она вложена в архив).

Требования к обработке:

     1С++, formex, 1sqlite с поддержкой загрузки расширений //infostart.ru/public/559826/

P.S. Если на каком то файле csv 1С будет вылетать или виснуть, присылайте его мне вместе со строкой подключения.

 

Скачать файлы

Наименование Файл Версия Размер
sqlite3_mod_csv_20180324

.zip 34,37Kb
2
.zip 34,37Kb 2 Скачать

Специальные предложения

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. CheBurator 3439 26.03.18 02:33 Сейчас в теме
2. Djelf 242 26.03.18 09:51 Сейчас в теме
(1) Что так сразу капец? Оно у меня 130к строк mlg в секунду пережевывает...
И, кстати, к 7.7 оно не прибито, можно и с консольной sqlite3.exe использовать.
3. CheBurator 3439 27.03.18 01:06 Сейчас в теме
А в пакете внутрях есть все что нужно для установки поставщика данных и прочего по доп.возможностям? для неграмотных?
4. Djelf 242 27.03.18 09:28 Сейчас в теме
Скрин обработки то посмотри. Почти все в примере есть.
5. user591953_abinsk-dekor 27.07.18 12:18 Сейчас в теме
Можно ли как-нибудь открыть .mlg текущего сеанса? А то валится с "unable to open input file". При том FSO.TextStream открывает.
6. user591953_abinsk-dekor 27.07.18 15:21 Сейчас в теме
(5)+ Я так понимаю, что проблема в режиме доступа к файлу, который держит открытым 1С, а sqlite пытается эксклюзивно его заблокировать. Что сильно ограничивает полезность этого мода в части чтения журнала.
7. Djelf 242 27.07.18 16:22 Сейчас в теме
(5) Ага! Русские буквы в пути к названию файла?
Ну не надо русские буквы использовать ни в названиях компов, ни в именах пользователей, ни в паролях - жить будет проще.
Беда с этими русскими буквами...

Забирай исправленную версию https://cloud.mail.ru/public/7AAP/hchUi6umk
Прикрепленные файлы:
sqlite3_mod_csv_20180727.zip
user591953_abinsk-dekor; +1 Ответить
8. alyuev 201 07.02.20 18:18 Сейчас в теме
Привет, Djelf. Выдает ошибку в названии колонки, если содержится символ $, например в названии RATES (US$):

DESTINATION,DESTINATION CODE,EFFECTIVE DATE,RATES (US$),STATUS,BILLING INCREMENT,DELETION DATE,
Abkhazia,7840,19-Mar-2015,0.130000,Same, 1/1,,


Ошибка:

Ошибка выполнения: Неправильная типизация в колонке: RATES (US$)

Строка подключения: 'ИмяФайла',2,3,',','','text'
9. Djelf 242 08.02.20 09:20 Сейчас в теме
Правильно, с точки зрения 1sqlite $ в имени колонки это типизация.
Можно читать без имен колонок, либо задавать из вручную без $.
10. alyuev 201 28.08.20 12:28 Сейчас в теме
Djelf, а можно сделать учет юниксовского переноса строк (LF)? Сейчас принимает только виндовый формат (CRLF).
11. alyuev 201 28.08.20 12:49 Сейчас в теме
И еще - почему-то значения типа "2,000.00" - преобразует в 2.000.00. Т.е. запятую меняет на точку.
12. Djelf 242 02.09.20 15:39 Сейчас в теме
(11) Даже когда поле объявлено как текстовое? оО

(10) Почему нельзя можно, все можно, код то открыт.
Но зачем? За два года - две загрузки, следовательно это не нужно никому.
Мне тоже: сделал, побаловался, закинул в долгий ящик.

P.S. Перепробовал много реализаций vt.csv для sqlite, эта самая адекватная.
Тут еще непонятно как "красиво" передавать все возможные параметры в vt.
А этих параметров можно придумать очень и очень много...
Оставьте свое сообщение