CSV. Чтение многострочных полей с экранированными символами

Перейти сразу к коду

Функция последовательного чтения многострочных полей CSV

Пример чтения CSV в таблицу значений

Предисловие...

К слову сказать, сам файл содержал в себе 350 000 строк, которые впоследствии конвертируются в 32 000 строк данных. То есть на одну строку данных приходится где-то по 10 переводов строк в этом поле с описанием товара.

Примерный текст в файле и данные в виде таблицы

ARTIKUL; SKLAD; XARAKT; PRICE; OST
123331;"СВХ ""Северный""";"Пила цепная бензиновая
Длина шины: 4"";
Шаг цепи: 1/4"";
Степень защиты: IP20;
---------
отличное решение для Вас"; 1000,42;120
QW8 995;Южный склад;"Пила цепная электрическая
Длина шины: 4"";
Шаг цепи: 1/4"";
Мощность : 40WT;
@bk.com";500,99;22

Для быстрого решения проблемы, поиск дал только решения с подключением с ADODB:

Основная публикация, которую чаще всего выдавал поиск на Инфостарт: Чтение CSV (быстрое).

У этого же автора нашел другую публикацию, где он решил проблему многострочных полей CSV, с написанием процедуры, в которой используются только встроенные средства 1С: 7 правил RFC 4180. Если честно, чтение кода для меня было не совсем понятным, и я попытался подойти к проблеме с другой стороны. Очень сильно помогли расписанные правила, в этой статье.

1. Читаем посимвольно.

Первая идея это было читать текст посимвольно, и следить открыта ли экранирующая кавычка, или же закрыта.

То есть если в тексте попадается кавычка, ставим флаг ЭтоЭкран, и все символы до следующей кавычки считаем символами одного поля CSV. Если снова попадается кавычка, то убираем флаг ЭтоЭкран, и обрабатываем последующий текст как данные CSV, смотрим на разделители и переносы строк. Единственный вариант, это если за кавычкой идет снова кавычка, тогда ЭтоЭкран не убирается, и продолжается чтение в одно поле.

Сразу скажу, что такой метод, возможно и точный, но оставляет желать лучшего по быстродействию. Когда текст обрабатывался уже минуту, я оставил развивать эту идею на корню. На всякий случай приведу код, хотя понимаю что он сырой:

Функция ПолучитьТаблицуДанных_Посимв(ИмяФайлаCSV)

	ЧтениеТекста = Новый ЧтениеТекста();
	МассивПодстрок = ПолучитьСтроку_CSV(ЧтениеТекста);
	
	Пока МассивПодстрок <> Неопределено Цикл
		
		// Здесь идет обработка полей CSV
		// Загрузка в ТЗ или в таб часть
		
		МассивПодстрок = ПолучитьСтроку_CSV(ЧтениеТекста);
	КонецЦикла;
	ЧтениеТекста.Закрыть();

КонецФункции
Функция ПолучитьСтроку_CSV(ЧтениеТекста, Разделитель = ";")
	РаздСтрок = Символы.ПС;
	Разделитель = ";";    
	Символ = ЧтениеТекста.Прочитать(1); // Читаем один символ
	Если Символ = Неопределено Тогда 		
		возврат Неопределено
	КонецЕсли;	
	Массив = Новый Массив; // Массив со значениями полей, которые и вернем
	
	СейчасЭкран = Ложь;
	Данныеячейки = "";
	ПредыдущийСимвол = ""; // Для выявления "предыдущей" кавычки
	Пока Истина Цикл
		Если СейчасЭкран Тогда
			Если Символ = """" Тогда
				 СейчасЭкран = Ложь;
			Иначе
				Данныеячейки = Данныеячейки + Символ;			
			КонецЕсли;
		Иначе
			Если Символ = """" Тогда  /// Не экраннированных кавычек быть не может
				СейчасЭкран = Истина;
				Если ПредыдущийСимвол ="""" Тогда
					 Данныеячейки = Данныеячейки +"""";
				КонецЕсли;

			ИначеЕсли Символ = Разделитель Тогда
				Массив.Добавить(Данныеячейки);
				Данныеячейки = "";
			ИначеЕсли Символ = РаздСтрок Тогда // Не экраннированный разделитель строк - окончание строки
				Массив.Добавить(Данныеячейки);
				Возврат Массив;	
			Иначе
				Данныеячейки = Данныеячейки + Символ;	
			КонецЕсли;
		КонецЕсли;
		ПредыдущийСимвол = Символ;
		Символ = ЧтениеТекста.Прочитать(1);
		Если Символ = Неопределено Тогда
			Возврат Массив;
		КонецЕсли; 
	КонецЦикла;
	
КонецФункции

2. Метод четности кавычек

В последующем поиске решения, и благодаря описанию правил формата CSV, мне пришла идея, что мы можем через четность кавычек в тексте, определять, это полная строка данных CSV или же нужно добавить следующую строку текста.

Функция ПолучитьСтрокуCSV(ЧтениеТекста) 
	СтрокаТекста = ЧтениеТекста.ПрочитатьСтроку();
	Если СтрокаТекста = Неопределено Тогда
		Возврат Неопределено;
	КонецЕсли;
	КолКавычек = СтрЧислоВхождений(СтрокаТекста,"""");
	Если КолКавычек%2 Тогда
		МассивСложения = Новый Массив;
		МассивСложения.Добавить(СтрокаТекста);
		Пока КолКавычек%2 Цикл
			СтрокаТекста = ЧтениеТекста.ПрочитатьСтроку();
			КолКавычек = КолКавычек + СтрЧислоВхождений(СтрокаТекста,"""");
			МассивСложения.Добавить(СтрокаТекста);
		КонецЦикла;
		СтрокаТекста = СтрСоединить(МассивСложения,Символы.ПС);
	КонецЕсли;
    Возврат СтрокаТекста; 
КонецФункции

Функция МассивПолейCSV(СтрокТекстаCSV,Разделитель = ";") 
	МассивПодстрок = СтрРазделить(СтрокТекстаCSV,Разделитель,Истина);
	МассивЯчеек = Новый Массив;
	Сч = 0; КоличествоЭл = МассивПодстрок.Количество();
	Пока Сч < КоличествоЭл Цикл
		Подстрока = МассивПодстрок[Сч];	
		КолКавычек = СтрЧислоВхождений(Подстрока,"""");
		Если КолКавычек%2 Тогда
			МассивСложения = Новый Массив;
			МассивСложения.Добавить(Подстрока);
			Пока КолКавычек%2 Цикл
				Сч =Сч +1;
				Подстрока = МассивПодстрок[Сч];
				КолКавычек = КолКавычек + СтрЧислоВхождений(Подстрока,"""");
				МассивСложения.Добавить(Подстрока);
			КонецЦикла;
			Подстрока = СтрСоединить(МассивСложения,Разделитель);
		КонецЕсли;
		/// Очищаем от лишних кавычек
		Если КолКавычек <> 0 Тогда	
			Подстрока = Сред(Подстрока,2,СтрДлина(Подстрока)-2);
			Подстрока = СтрЗаменить(Подстрока,"""""","""");	
		КонецЕсли;
		МассивЯчеек.Добавить(Подстрока);
		Сч =Сч +1;	
	КонецЦикла;
	
	Возврат МассивЯчеек;	
	
КонецФункции

Итоговая функция

Для увеличение быстродействия эти функции лучше объединить в одну. Если в строке файла не будет кавычек вообще, то не имеет смысла проверять дополнительно проверять получившийся массив полей

В итоге получилась понятная функция, которая удовлетворяет по скорости быстродействия и использует только внутренние средства языка 1С. Файл с 350 000 строками парсится за 5-10 секунд. В режиме отладки правда почему то показывало 30 сек, что тоже устраивает заказчика.

Функция CSV_Reader(ЧтениеТекста,Разделитель = ";")  
	СтрокаТекста = ЧтениеТекста.ПрочитатьСтроку();
	Если СтрокаТекста = Неопределено Тогда
		Возврат Неопределено;
	КонецЕсли;
	КолКавычек = СтрЧислоВхождений(СтрокаТекста,"""");
	Если КолКавычек%2 Тогда
		МассивСложения = Новый Массив;
		МассивСложения.Добавить(СтрокаТекста);
		Пока КолКавычек%2 Цикл
			СтрокаТекста = ЧтениеТекста.ПрочитатьСтроку();
			КолКавычек = КолКавычек + СтрЧислоВхождений(СтрокаТекста,"""");
			МассивСложения.Добавить(СтрокаТекста);
		КонецЦикла;
		СтрокаТекста = СтрСоединить(МассивСложения,Символы.ПС);
	КонецЕсли;
	Если КолКавычек = 0 Тогда
		Возврат СтрРазделить(СтрокаТекста,Разделитель,Истина);
	КонецЕсли; 
	
	МассивПодстрок = СтрРазделить(СтрокаТекста,Разделитель,Истина);
	МассивЯчеек = Новый Массив;
	Сч = 0; КоличествоЭл = МассивПодстрок.Количество();
	Пока Сч <КоличествоЭл Цикл
		Подстрока = МассивПодстрок[Сч];	
		КолКавычек = СтрЧислоВхождений(Подстрока,"""");
		Если КолКавычек%2 Тогда
			МассивСложения = Новый Массив;
			МассивСложения.Добавить(Подстрока);
			Пока КолКавычек%2 Цикл
				Сч =Сч +1;
				Подстрока = МассивПодстрок[Сч];
				КолКавычек = КолКавычек + СтрЧислоВхождений(Подстрока,"""");
				МассивСложения.Добавить(Подстрока);
			КонецЦикла;
			Подстрока = СтрСоединить(МассивСложения,Разделитель);
		КонецЕсли;
		Если КолКавычек <> 0 Тогда	
			Подстрока = Сред(Подстрока,2,СтрДлина(Подстрока)-2);
			Подстрока = СтрЗаменить(Подстрока,"""""","""");	
		КонецЕсли;
		МассивЯчеек.Добавить(Подстрока);
		Сч =Сч +1;	
	КонецЦикла;
	
	Возврат МассивЯчеек;	
	
КонецФункции

Использование данной функции для получения таблицы значений с данными файла CSV.

Функция ПолучитьТаблицуДанныхЧерезREADeR(ИмяФайла_CSV,Разделитель = ";",ПерваяСтрокаСодержитЗаголовки = Истина) 
	ТаблицаЗначений = Новый ТаблицаЗначений;
	
	ЧтениеТекста = Новый ЧтениеТекста(ИмяФайла_CSV,"UTF-8");
	//Замер производительности
	Старт = ТекущаяУниверсальнаяДатаВМиллисекундах();
	//}}
	
	МассивПолейCSV = CSV_Reader(ЧтениеТекста);
	Если МассивПолейCSV = Неопределено Тогда
		Возврат ТаблицаЗначений;	
	КонецЕсли;
	// Устанавливаем колонки ТаблицыЗначений
	Если ПерваяСтрокаСодержитЗаголовки Тогда
		Для Каждого ПолеCSV Из МассивПолейCSV Цикл
			ТаблицаЗначений.Колонки.Добавить(ПолеCSV);
		КонецЦикла;
		МассивПолейCSV = CSV_Reader(ЧтениеТекста);// Читаем вторую строку
		
	Иначе
		Для Каждого ПолеCSV Из МассивПолейCSV Цикл
			ИндексКолонки = ТаблицаЗначений.Колонки.Количество(); 
			ТаблицаЗначений.Колонки.Добавить("Колонка_" + Формат(ИндексКолонки,"ЧН=; ЧГ=")); 
		КонецЦикла;		
		
	КонецЕсли;
	
	КоличествоКолонокТЗ = ТаблицаЗначений.Колонки.Количество(); 
	Пока МассивПолейCSV <> Неопределено Цикл
		СтрокаТЗ = ТаблицаЗначений.Добавить();
		ИндексКолонки = 0;
		Для Каждого ПолеCSV Из МассивПолейCSV Цикл 
			Если ИндексКолонки = КоличествоКолонокТЗ Тогда
				ТаблицаЗначений.Колонки.Добавить("Колонка_" + Формат(ИндексКолонки,"ЧН=; ЧГ="));
				КоличествоКолонокТЗ = КоличествоКолонокТЗ +1;
			КонецЕсли;
			СтрокаТЗ[ИндексКолонки] = ПолеCSV;
			ИндексКолонки = ИндексКолонки +1;
		КонецЦикла;
		
		МассивПолейCSV = CSV_Reader(ЧтениеТекста);
	КонецЦикла;
	
	//Замер производительности{{
	финиш = ТекущаяУниверсальнаяДатаВМиллисекундах();
	КоличествоСтрок = ТаблицаЗначений.Количество();
	Сообщить(СтрШаблон("Потрачено: %1 сек, количество строк: %2",(финиш - Старт)/1000, КоличествоСтрок));
	//}}
	
	Возврат ТаблицаЗначений;
КонецФункции

И, конечно же, остается открытым вопрос с преобразованием типов данных, потому что все читается как текст. Но, думаю, этот вопрос читатель решит указанием настроек колонок ТЗ. 

Также думаю, что если прочитать весь текст файла в переменную, можно немного ускорить обработку, но это увеличит объем использованной оперативной памяти. 

Интересная заметка при тестировании: конкатенация строк работает намного медленнее, чем функцияСтрСоединить(МассивПодстрок,Разделитель)