Быстрая функция чтения данных с листа Excel

(1) Хорошая идея, твоя обработка замечательно справиться :)

На днях протестил wildhog vs ADO на листе с 8 колонками и 10000 строками.
Результаты
wildhog:
Выполнение скрипта заняло: 391 мсек.
Обработано строк: 8 колонок: 10000 итого ячеек; 80000

КОД
[code/]
Скрипт = Новый COMОбъект("MSScriptControl.ScriptControl");
Скрипт.language = "javascript";

ВремяНачала = Формат(Скрипт.eval("new Date().getTime()"),"ЧГ=0");
Эксель = ПолучитьCOMОбъект("c:\delado.xls");
ЛистЭксель = Эксель.WorkSheets(1);
ВсегоСтрок = ЛистЭксель.Cells.SpecialCells(11).Row;
ВсегоКолонок = ЛистЭксель.Cells.SpecialCells(11).Column;

Сообщить("Колонок: "+ Строка(ВсегоКолонок) + " Строк: "+ Строка(ВсегоСтрок));

ТЗ = Новый ТаблицаЗначений;
Для Счетчик = 1 По ВсегоКолонок Цикл
ТЗ.Колонки.Добавить("Колонка"+Счетчик);
КонецЦикла;

Для Счетчик = 1 По ВсегоСтрок Цикл
НоваяСтрока = ТЗ.Добавить();
КонецЦикла;

Область = ЛистЭксель.Range(ЛистЭксель.Cells(1,1), ЛистЭксель.Cells(ВсегоСтрок,ВсегоКолонок));
Данные = Область.Value.Выгрузить();

Для Счетчик = 0 По ВсегоКолонок-1 Цикл
ТЗ.ЗагрузитьКолонку(Данные[Счетчик], Счетчик);
КонецЦикла;
ЛистЭксель = Неопределено;
Эксель = Неопределено;

ВремяОкончания = Формат(Скрипт.eval("new Date().getTime()"),"ЧГ=0");
ОчиститьСообщения();
Сообщить("Выполнение скрипта заняло: " + Строка(ВремяОкончания - ВремяНачала) + " мсек. " + Символы.ПС +
"Обработано строк: " + Строка(ВсегоКолонок) + " колонок: " + Строка(ВсегоСтрок) + " итого ячеек; " + Строка(ВсегоКолонок * ВсегоСтрок));
[/code]

ADO:
Выполнение скрипта заняло: 438 мсек.
Обработано строк: 8 колонок: 10000 итого ячеек; 80000
Использовалась ВК GameWithFire

КОД
[code/]
Скрипт = Новый COMОбъект("MSScriptControl.ScriptControl");
Скрипт.language = "javascript";
ВремяНачала = Формат(Скрипт.eval("new Date().getTime()"),"ЧГ=0");

Соединение = Новый COMОбъект("ADODB.Connection");
НаборДанных = Новый COMОбъект("ADODB.RecordSet");

Соединение.Open("Provider=Microsoft.Jet.OLEDB.4.0;Data Source=c:\delado.xls;Extended Properties=Excel 8.0");
НаборДанных.Open("sel ect * from [Лист1$]", Соединение);

Колонок = 0; Строк = 0;
ИспользовалИСО = Ложь;

Попытка
ПодключитьВнешнююКомпоненту("GameWithFire.ADOUtils");
ADOUtils = Новый("AddIn.ADOUtils");
ТЗ = ADOUtils.ADORecordsetToValueTable(НаборДанных);
ИспользовалИСО = Истина;
Исключение
ЧислоКолонокНабора =НаборДанных.Fields.Count;
ТЗ = Новый ТаблицаЗначений;
Для Сч = 1 по ЧислоКолонокНабора Цикл
ТЗ.Колонки.Добавить("Колонка"+Строка(Сч));
Колонок = Колонок + 1;
КонецЦикла;

НаборДанных.MoveFirst();
Пока НЕ НаборДанных.EOF Цикл
СтрокаТЗ = ТЗ.Добавить();
Для Сч = 1 по ЧислоКолонокНабора Цикл
СтрокаТЗ["Колонка"+Строка(Сч)] = НаборДанных.Fields.Item(Сч-1).Value;
КонецЦикла;

Строк = Строк + 1;
НаборДанных.MoveNext();
КонецЦикла;
КонецПопытки;

Если Колонок = 0 Или Строк = 0 тогда
Колонок = ТЗ.Колонки.Количество();
Строк = ТЗ.Количество();
КонецЕсли;

Соединение = Неопределено;
НаборДанных = Неопределено;

ВремяОкончания = Формат(Скрипт.eval("new Date().getTime()"),"ЧГ=0");
ОчиститьСообщения();
Сообщить("Выполнение скрипта заняло: " + Строка(ВремяОкончания - ВремяНачала) + " мсек. " + Символы.ПС +
"Обработано строк: " + Строка(Колонок) + " колонок: " + Строка(Строк) + " итого ячеек; " + Строка(Строк * Колонок)+
?(ИспользовалИСО,Символы.ПС+"Использовалась ВК GameWithFire",""));

ТЗ.ВыбратьСтроку();
Скрипт = Неопределено;
[/code]

Вот так вот
Кстати, писать в Excel тоже лучше массивом
[code/]
Эксель = Новый COMОбъект("Excel.Application");
Книга = Эксель.Workbooks.Add("c:\delado.xls");
Лист = Книга.Sheets(2);

Скрипт = Новый COMОбъект("MSScriptControl.ScriptControl");
Скрипт.language = "javascript";
ВремяНачала = Формат(Скрипт.eval("new Date().getTime()"),"ЧГ=0");

Строк = 100;
Колонок = 100;

Для Сч = 1 по Строк Цикл
Для Сч1 = 1 по Колонок Цикл
Лист.cells(Сч,Сч1).Value = сч1;
КонецЦикла;
КонецЦикла;

ВремяОкончания = Формат(Скрипт.eval("new Date().getTime()"),"ЧГ=0");
Сообщить("Выполнение скрипта заняло: " + Строка(ВремяОкончания - ВремяНачала) + " мсек. ");

Эксель.Visible = 1;
[/code]
Результат Выполнение скрипта заняло: 94 мсек.

Результат вывода через Лист.Cells(i,j).Value
Выполнение скрипта заняло: 25937 мсек.

Еще есть способ - быстрой "вставки" таблицы из Excel в 1С - через копирование -вставку... (копипаст)
программным способом еще года 2 назад сам делал... через Wscript.Shell

"доработка" стандартной обработки загрузки из табличного документа
функция мПрочитатьТабличныйДокументИзExcel()




// Функция считывает в табличный документ данные из файла в формате Excel
//
// Параметры:
// ТабличныйДокумент - ТабличныйДокумент, в который необходимо прочитать данные
// ИмяФайла - имя файла в формате Excel, из которого необходимо прочитать данные
// НомерЛистаExcel - номер листа книги Excel, из которого необходимо прочитать данные
//
// Возвращаемое значение:
// Истина, если файл прочитан, Ложь - иначе
//
Функция мПрочитатьТабличныйДокументИзExcel(ТабличныйДокумент, ИмяФайла, НомерЛистаExcel = 1) Экспорт

xlLastCell = 11;

ВыбФайл = Новый Файл(ИмяФайла);
Если НЕ ВыбФайл.Существует() Тогда
Сообщить("Файл не существует!");
Возврат Ложь;
КонецЕсли;

Попытка
Excel = Новый COMОбъект("Excel.Application");
Excel.WorkBooks.Open(ИмяФайла);
Состояние("Обработка файла Microsoft Excel...");
ExcelЛист = Excel.Sheets(НомерЛистаExcel);
Исключение
Сообщить("Ошибка. Возможно неверно указан номер листа книги Excel.");
Возврат ложь;

КонецПопытки;

ТабличныйДокумент.Очистить();


ActiveCell = Excel.ActiveCell.SpecialCells(xlLastCell);
RowCount = ActiveCell.Row;
ColumnCount = ActiveCell.Column;

//+++ через буфер обмена
попытка

Excel.ActiveCell.SpecialCells(xlLastCell).Select();
Excel.Range( Excel.Selection, Excel.Cells(1)).Select();

Wsh = новый COMобъект("Wscript.Shell");
Excel.Selection.Copy();
Wsh.sendkeys("^c");

Предупреждение("Нажмите кнопку [Да] в следующем окна.
|Требуется сохранить данные в ""Буфер обмена""
|для быстрой вставки сразу всех данных в 1С...",30);
Excel.WorkBooks.Close();
Excel = 0;

//// Возврат Объект.ParentWindow.ClipboardData.Getdata("Text");
//// Снимим защиту и разрешим вывод
ТабличныйДокумент.Защита = Ложь;
ТабличныйДокумент.Вывод = ИспользованиеВывода.Разрешить;
ТабличныйДокумент.ТекущаяОбласть = ТабличныйДокумент.Область(1, 1, RowCount, ColumnCount);
рез = истина;
исключение
Предупреждение(ОписаниеОшибки());
рез = ложь;
КонецПопытки;
Предупреждение("Нажмите [Ок] для ""мгновенной"" вставки "+строка(RowCount)+" строк из файла...");
Wsh.sendkeys("^v");
возврат рез;
//+++)
КонецФункции

(1) wildhog, благодарю!

Очень помогло.

вот эти 3 строчки искал в другом месте. Было бы здорово их включить в статью

можно еще короче - открыть файл, удалить пустые строки\столбы вначале, использовать код



Особенности:
Читает сразу из открытого файла
Автоматический поиск заполненых ячеек. Если в начале есть пустые строки\столбы, то Excel может не правильно определить используемый диапазон (много лишнего). Проверить можно на листе нажав ctrl+shift+space

Обойти можно выделив вначале первую ячейку данных


ну и в последних релизах ПолучитьCOMОбъект перестал работать из не открытого файла. Если нужно из закрытого то

(18) Пожертвовать скоростью с попыткой/исключение при открытии обработки можно... Важна скорость обработки многомегобайтных файлов.

(22) Если нужно прочитать данные сохранив именно те типы которые определены в Экселе, то в сабже нужно сформировать колонки таблицы значений заранее, указав соответствующие типы. В этом случае значения в результирующей ТЗ будут приводиться к типу колонки ТЗ.

(23) На счет чтение... Там везде ТЗ 1С-овское получается?

А то у автора:

"Данные = Область.Value.Выгрузить();

Для Счетчик = 0 По ВсегоКолонок-1 Цикл
ТЗ.ЗагрузитьКолонку(Данные[Счетчик], Счетчик);
КонецЦикла;"

Как бы не объективно получается ;)

(27)
Эксель = Новый COMОбъект("Excel.Application");
Книга = Эксель.Workbooks.Add("c:\delado.xls");
Лист = Книга.Sheets(2);

Скрипт = Новый COMОбъект("MSScriptControl.ScriptControl");
Скрипт.language = "javascript";
//ВремяНачала = Формат(Скрипт.eval("new Date().getTime()"),"ЧГ=0");

Строк = 100;
Колонок = 100;
Массив = Новый Массив(Строк,Колонок);
Для Сч = 0 по Строк - 1 Цикл
Для Сч1 = 0 по Колонок - 1 Цикл
Массив[сч][сч1] = сч1;
КонецЦикла;
КонецЦикла;

Массив2 = Новый COMSafeArray(Массив, "VT_I4",Строк,Колонок);

ВремяНачала = Формат(Скрипт.eval("new Date().getTime()"),"ЧГ=0");
Лист.Range(Лист.Cells(1,1),Лист.cells(Строк,Колонок)).Value = Массив2;
ВремяОкончания = Формат(Скрипт.eval("new Date().getTime()"),"ЧГ=0");

Сообщить("Выполнение скрипта заняло: " + Строка(ВремяОкончания - ВремяНачала) + " мсек. ");

Эксель.Visible = 1;

Вот из ComSafeArray/ надо из Тз - засунь ТЗ в массив и выведи

Согласен, что не все 1С-совское, но согласись, мы замеряем не скорость работы какого-то определенного интерфейса, а скорость операции импорта-экспорта

(24)
А ты реализцй у с(27)
Эксель = Новый COMОбъект("Excel.Application");
Книга = Эксель.Workbooks.Add("c:\delado.xls");
Лист = Книга.Sheets(2);

Скрипт = Новый COMОбъект("MSScriptControl.ScriptControl");
Скрипт.language = "javascript";
//ВремяНачала = Формат(Скрипт.eval("new Date().getTime()"),"ЧГ=0");

Строк = 100;
Колонок = 100;
Массив = Новый Массив(Строк,Колонок);
Для Сч = 0 по Строк - 1 Цикл
Для Сч1 = 0 по Колонок - 1 Цикл
Массив[сч][сч1] = сч1;
КонецЦикла;
КонецЦикла;

Массив2 = Новый COMSafeArray(Массив, "VT_I4",Строк,Колонок);

ВремяНачала = Формат(Скрипт.eval("new Date().getTime()"),"ЧГ=0");
Лист.Range(Лист.Cells(1,1),Лист.cells(Строк,Колонок)).Value = Массив2;
ВремяОкончания = Формат(Скрипт.eval("new Date().getTime()"),"ЧГ=0");

Сообщить("Выполнение скрипта заняло: " + Строка(ВремяОкончания - ВремяНачала) + " мсек. ");

Эксель.Visible = 1;

Вот из ComSafeArray/ надо из Тз - засунь ТЗ в массив и выведи

Согласен, что не все 1С-совское, но согласись, мы замеряем не скорость работы какого-то определенного интерфейса, а скорость операции импорта-экспорта

Ты реализуй в своей вк метод типа ТЗВЭкзель :)

(48) А по ссылке в (47) время замера можешь сделать?
(49) Сделай отчет в 1С-ке и сохранить табличный документ в экзель.

(65) Я пользуюсь своей компонентой. И быстро, и без офиса. Т.к. у нас лицензионный софт везде, а офис не у всех стоит.

(74)
приведение типов происходит еще при выгрузке в массив Данные = Область.Value.Выгрузить(), к моменту заполнения таблицы значений артикул 0000056789 уже принимает следующий вид 56 789.
Какие еще есть идеи? Способ очень хорош, но вышеописанный момент все портит...

(80)
Не пробовал. Но, думаю, что если и будет прирост в скорости, то не очень большой. + преобразование в mxl занимает время. Так что, смысла не вижу... Попробуйте, вдруг сабжевый способ не самый быстрый )

(82) Если дадите свою компоненту - погоняю, проверим.
А что на выходе 1Совская ТЗ или что-то еще?
У любого способа есть плюсы и минусы. У моего - универсальность, независимость от ВК (права пользователей, регистрация и т.д). У вашего скорость.

(82)
Здорово конечно, но приведенный автором статьи алгоритм + дополнение по записи от kadr полностью покрывает все проблемы - 0.4 сек на 80 000 ячеек.
В дальнейшем Вам стоит указывать и на это альтернативное решение

(103) а вот мне необходимо кроме самих значений с листа прочитывать цвет шрифта, то как может использоваться ваш метод (цвет используется для определения участия данного значения в расчетах или не участи в нём )?

(103) может кому процедура пригодиться (тем у кого Excel установлен только на клиенте и чтение происходит в табличный документ на форме):

(111)
Нет, тут нет ошибки. Используется именно загрузка всей колонки за одну операцию: ЗагрузитьКолонку(Массив значений, Номер колонки).

(114)
Насколько помню, админские права для создания com объекта не требуются. У моих пользователей их точно нет.
Обычно, если пользователь, выполняющий создание COMОбъект-а, может на том же компьютере запустить полноценный Excel, то никаких проблем с правами быть не должно.

(121) Наверное указан не верный диапазон данных. С какими параметрами вызываете функцию?