Качалка

09.10.13

Разработка - Инструментарий разработчика

Менеджер закачки и средство автоматизации обработки web-данных в одном флаконе.
Интерактивный режим работы: фоновое скачивание, многопоточная фоновая проверка ссылок.
Параллельное выполнение парсера, проверки, скачивания, редактирования списка и другие действия.
Авто подключение через активный прокси.
Индикация всех процессов: парсинга, проверки, скачивания, оставшегося времени, скорости (текущая и средняя), свободного места, состояния прокси соединения.
Модульная структура: 3 парсера, 2 модуля скачивания, 2 экспорта, 1 печати.
Экспорт в списки закачки для «Download Master», «ReGet».
Список закачки в виде дерева значений – логическое структурирование данных, организация подпапок хранения.
Печатная форма для дерева закачки на СКД.
Веб-браузер: авто подбор парсера, история просмотра, «домашние страницы».
Для программиста: легко расширяемых функционал (есть демо-модули для примеров); настраиваемый лог; авто подключение новых модулей в интерфейсе; открытый код.
По возможности максимально применены сначала встроенные объекты 1С и затем ОС Windows (ПолеHTMLДокумента, ЧтениеXML и COM: WinHttp.WinHttpRequest, MSXML2.DomDocument, winmgmts).
Не использовались: временные файлы, скрипты, внешние компоненты.

Скачать файлы

Наименование Файл Версия Размер
Качалка_1.epf
.epf 81,20Kb
75
.epf 1 81,20Kb 75 Скачать
Качалка_1_fix1.epf (самая новая версия)
.epf 81,24Kb
83
.epf 1 fix1 81,24Kb 83 Скачать

Инструкция

Хотя процесс работы с качалкой аналогичен работе с программами подобного назначения, небольшая инструкция для пользователей не помешает.

На закладке "HTML" имеется браузер, строка адреса которого используется в качестве стартового URL для начала заполнения списка закачек.
Заполнение запускается командами "Разбор HTML-страницы ..." в текущий или новый список. Разбор выполняется одним из парсеров выбранных на этой же закладке. Пока работает парсер - нажатая кнопка будет в состоянии "выделена". Прервать работу можно комбинацией Ctrl+Break.
Собственно встроенный браузер нужен только чтобы убедиться, что открыта правильная начальная страница. Кнопка с "домиком", намекает, что для сайтов в её списке имеются специально обученные парсеры. В зависимости от имени домена после загрузки страницы в браузере парсер переключается, что не запрещает выбрать подходящий по смыслу из списка в ручную перед запуском разбора.

Отработав, парсер открывает закладку "Список", где мы получаем лист закачки, в котором как минимум заполнена колонка URL.
Для заполнения колонок "состояние", "тип", "размер" автоматически запускается команда "Получить заголовки HTTP".
Так как это асинхронный процесс, можно не дожидаясь его окончания редактировать дерево или запустить закачки.
Прервать или запустить процесс снова можно в любой момент нажатием кнопки "Получить заголовки HTTP".

Для редактирования дерева стандартные кнопки дополнены командами массового изменения (сначала с Shift выделяем строки).
Кликом в колонке "Очередь скачивания" (со стрелкой вниз в заголовке) строка подтверждается или исключается из планируемых закачек (включая подчиненные узлы). В этой же колонке появляется стрелка вниз в процесс скачивания и затем "черный квадратик" в случае успешного выполнения.
Изначально другие колонки дерева защищены от изменения "вдавливание" кнопки с карандашом переключает дерево в режим редактирования колонок и обратно. В режиме редактирования дерева появляется кнопка "открыть файл" (по выделенной строке), чтобы ради этого не переключать лишний раз режим дерева. Для обладателей программы Proxy Switcher в панели добавляется кнопка её запуска (чтобы далеко не лезть, как понадобится прокси).

Двойной клик в списке - выборочная закачка по строке.
Двойной клик в списке в момент закачки - добавляет строку в "приоритетные закачки", которые будут выполнены перед основной очередью.
Двойной клик по строке со скачанным файлом - его запуск ассоциированной программой.
Клик по колонке URL - открытие страницы во встроенном браузере (открывается закладка HTML).

Закончим начальную подготовку заглянув на закладку "Настройки" и выбрав каталог для записи.
Также стоит обратить внимание, что настройки сохраняются стандартным для форм механизмом (сохранить/восстановить значения), а для дерева закачек предусмотрено сохранение и экспорт в файл.

Итак, все готово к основному процессу. Запустить/прервать закачки можно в любой момент нажатием кнопки "Запустить модуль скачивания...". Прервать все выполняющиеся процессы в обработке - Ctrl+Break.

Легенда по основным иконкам:

Особенности реализации

Раздел для интересующихся технологическими деталями.

Минимализм

В обработке не предусмотрено никаких дополнительных средств авторизации. Есть внешние программы для решения этой задачи на качественно лучшем уровне.
Если уж очень нужно - не забываем про веб-формы во встроенном браузере и строку адреса.

Асинхронный режим

Асинхронно выполняется только получение пакетов данных объектом «WinHttp.WinHttpRequest», что в комбинации с обработками ожидания дает неплохую «псевдо» параллельность работы. Естественно «настоящий» менеджер закачек быстрее, поэтому есть экспорт списка. На практике пропускную способность серверов обычно лимитируют так, что существенной разницы в скорости с Качалкой может и не быть.

Проверка ссылок

Необходимый перед загрузкой процесс выявления «живых» ссылок, обычно еще дает информацию о типе и размере файлов. Используется для статистики в индикаторах.
Для слабых серверов не рекомендуется ставить в настройке больше 5 потоков. Большое количество может быть расценено, как DoS-атака.

Использование прокси

Задачи нахождения прокси и прочие тонкости с этим связанные предоставляются специализированным программ, вроде Proxy Switcher. Флажок «Использовать активное прокси-соединение» в настройках Качалки позволяет использовать активный коннект, если он есть. На форме отображается состояние соединения, адрес, порт сервера и состояние использования.

Настройки

Таймаут получения заголовка - технически достаточно 100 мсек., но на серверной стороне оценивается количество запросов в минуту и не стоит сильно накручивать этот показатель, если один пакет притормозил. Лучше подождать несколько секунд, чем получить бан на долго. По умолчанию 5000.

Блок скачивания, Мб - размер передаваемого пакета за запрос. На скорость передачи влияет только косвенно - если связь часто обрывается, то небольшой размер выгоднее. Независимо от размера блока в момент передачи файл хранится в памяти объекта ADODB.Stream. Только когда файл полностью получен, он записывается на диск и память освобождается. С одной стороны, достаточно простым кодом это минимизирует возможность появления "криво" скачанного файла, но с другой, возникает пиковая нагрузка на диск и память, поэтому с такой схемой не разгуляешься с количеством потоков.

«Потоков скачивания файлов» пока действует только 1.

Часть настроек может быть не задействована, например в демо-модулях.

Модульная структура

Эта обработка задумана в виде оболочки с пополняемым набором возможностей. Поэтому для удобства разработки и улучшения структуры кода функциональные блоки разнесены по отдельным формам.
Фактически формы тут используются как не визуальные объекты. Назначение их хранится в комментарии свойств (Парсер, МодульСкачивания, Печать, Экспорт) и используется для динамического подключения в меню и настройки. Управление такими «модулями» осуществляется через процедуры «Запустить», «Остановить», а состояние надо смотреть по переменной булево «Выполняется».
Скопировав форму получаем новый  уже подключенный модуль.
Если нужен другой алгоритм - можно сразу приступить к его реализации не вдаваясь в детали, как устроена интерфейсная часть (в параметрах по ссылкам доступны необходимые объекты и не важно, где они расположены и как называются).

Для примера приведу модуль парсера "простой", который собирает ссылки на странице. Изменим одну строку сравнения с "http://" на "mailto:" и получим сборщик электронных адресов. Принимая во внимание остальной арсенал модулей - мы только-что создали полнофункциональную программу для подготовки списков рассылки. Помоему неплохо, учитывая что для этого нужно было прочитать 30 строк кода и напечатать 7 символов.

//HTML   - Поле HTML документа
//Дерево - ДеревоЗначений
Процедура Запустить(HTML, Дерево) Экспорт
    
    Параметры.Парсер.Выполняется = Истина;
    Параметры.Парсер.Индикатор.Значение=0;
    Список = HTML.Документ.GetElementsByTagName("A");
    Параметры.Парсер.Индикатор.МаксимальноеЗначение = Список.length;
    Параметры.Парсер.Индикатор.Видимость = Истина;
    
    для каждого Элемент из Список цикл
        
        ОбработкаПрерыванияПользователя();
        Параметры.Парсер.Индикатор.Значение = Параметры.Парсер.Индикатор.Значение + 1;
        попытка
            href = Элемент.href;
        исключение
            Продолжить;
        конецпопытки;
        если Дерево.Строки.Найти(href, "URL", Истина) <> Неопределено тогда // повтор
            Продолжить;
        иначеесли Лев(href, 7) <> "http://" тогда  // неверный формат
            Продолжить;
        конецесли;
        Стр = Дерево.Строки.Добавить();
        Стр.Наименование = Элемент.innerText;
        Стр.Категория = "Разное";
        Стр.URL = Элемент.href;
        Стр.Очередь = Истина;
        
    конеццикла;
    
    Остановить();
    Параметры.ПолучитьЗаголовкиHTTP.Запустить(); // запуск следующего модуля
    
КонецПроцедуры

Процедура Остановить() Экспорт
    Параметры.Парсер.Выполняется = Ложь;
    Параметры.Парсер.Индикатор.Видимость = Ложь;
    Параметры.Парсер.Кнопка.Пометка = Ложь;
КонецПроцедуры

Причина появления обработки

Тут попытаюсь объяснить, чем меня не устраивает аналогичный софт.
Хороших менеджеров закачки предостаточно, программ для скачки сайтов - тоже. Периодически таким софтом пользуюсь, но не попадалась программка, в которой можно добавить свой скрипт в пару строк для разбора страницы, чтобы вытащить описание. Максимум, что бывает – фильтры по свойствам файлов (тип, дата, размер). Под дополнительные сведения обычно одно поле отводится, что маловато.
Если 3 строки можно руками заполнить, то для 100 000 файлов это уже не вариант. Тем более если требуется синхронизировать по разным источникам или залить результат в базу.
Для устранения пробелов в привычном софте и появилась эта обработка.

К моменту выпуска релиза: Качалка стала полнофункциональным менеджером закачки; сохранена интеграция с тяжёлой артиллерией софтопрома; выполнена боевая «обкатка». В мирных целях Качалка может парсить MSDN - результаты используются в разработке «Все константы MS Office».

 

 

Картинки

Браузер

Редактор дерева закачки

Настройки

Печатная форма

Качалка в работе (gif)

Парсер для MSDN

Многопоточная проверка ссылок

Модуль скачивания в деле



 

Лог изменений

v.1 fix 1

fix Исправлена функция получения иконки сайта для строки поиска в браузере КартинкаДомена(). Если формат скачанного ресурса не поддерживается - используется встроенная картинка.
fix Реализована поддержка версий до 8.2.17, в которых нет функции ТекущаяУниверсальнаяДатаВМиллисекундах(). Произведена замена на универсальную ДатаВМиллисекундах(), которая в старых версиях дает меньшую точность. Может кому-то пригодится.

Функция ДатаВМиллисекундах() Экспорт
    Перем Время;
    Попытка
        Выполнить("Время=ТекущаяУниверсальнаяДатаВМиллисекундах();");
        Возврат Время;
    Исключение
        Возврат (ТекущаяДата()-Дата("00000000"))*1000;
    КонецПопытки;
КонецФункции

Качалка менеджер закачки многопоточность асинхронный режим фоновое СКД ПолеHTMLДокумента ЧтениеXML WinHttpRequest WinHttp MSXML2 DomDocument winmgmts Download Master ReGet экспорт данных модульное программирование

См. также

Infostart Toolkit: Инструменты разработчика 1С 8.3 на управляемых формах

Инструментарий разработчика Роли и права Запросы СКД Платформа 1С v8.3 Управляемые формы Запросы Система компоновки данных Конфигурации 1cv8 Платные (руб)

Набор инструментов программиста и специалиста 1С для всех конфигураций на управляемых формах. В состав входят инструменты: Консоль запросов, Консоль СКД, Консоль кода, Редактор объекта, Анализ прав доступа, Метаданные, Поиск ссылок, Сравнение объектов, Все функции, Подписки на события и др. Редактор запросов и кода с раскраской и контекстной подсказкой. Доработанный конструктор запросов тонкого клиента. Продукт хорошо оптимизирован и обладает самым широким функционалом среди всех инструментов, представленных на рынке.

13000 руб.

02.09.2020    119920    656    389    

701

Infostart PrintWizard

Пакетная печать Печатные формы Инструментарий разработчика Платформа 1С v8.3 Запросы 1С:Зарплата и кадры бюджетного учреждения 1С:Конвертация данных 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 Платные (руб)

Инструмент, позволяющий абсолютно по-новому взглянуть на процесс разработки печатных форм. Благодаря конструктору можно значительно снизить затраты времени на разработку печатных форм, повысить качество и "прозрачность" разработки, а также навести порядок в многообразии корпоративных печатных форм.

18000 руб.

06.10.2023    7008    20    6    

37

Infostart УДиФ: Управление данными и формами

Инструменты администратора БД Инструментарий разработчика Роли и права Платформа 1С v8.3 Конфигурации 1cv8 Россия Платные (руб)

Расширение позволяет без изменения кода конфигурации выполнять проверки при вводе данных, скрывать от пользователя недоступные ему данные, выполнять код в обработчиках. Не изменяет данные конфигурации, легко устанавливается практически на любую конфигурацию на управляемых формах.

10000 руб.

10.11.2023    3247    10    1    

31

SALE! 30%

PowerTools

Инструментарий разработчика Инструменты администратора БД Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Россия Платные (руб)

Универсальный инструмент программиста для администрирования конфигураций. Сборник наиболее часто используемых обработок под единым интерфейсом.

3600 2520 руб.

14.01.2013    177341    1070    0    

846

Многопоточность. Универсальный «Менеджер потоков» 2.1

Инструментарий разработчика Платформа 1С v8.3 Конфигурации 1cv8 Россия Платные (руб)

Восстановление партий или взаиморасчетов, расчет зарплаты, пакетное формирование документов или отчетов - теперь все это стало доступнее. * Есть желание повысить скорость работы медленных алгоритмов! Но... * Нет времени думать о реализации многопоточности? * о запуске и остановке потоков? * о поддержании потоков в рабочем состоянии? * о передаче данных в потоки и как получить ответ из потока? * об организации последовательности? Тогда ЭТО - то что надо!!!

5000 руб.

07.02.2018    99204    239    97    

296

[ЕХТ] Фреймворк для Расширений 1С

Инструментарий разработчика Платформа 1С v8.3 Управляемые формы Платные (руб)

"Фреймворк для Расширений 1С" это универсальное и многофункциональное решение, упрощающее разработку и поддержку создаваемых Расширений. Поставляется в виде комплекта из нескольких Расширений с открытым исходным кодом. Работает в любых Конфигурациях в режиме Управляемого приложения с режимом совместимости 8.3.12 и выше без необходимости внесения изменений в Конфигурацию.

3000 руб.

27.08.2019    17914    6    8    

38

1С HTML Шаблоны / HTML Templates

Инструментарий разработчика Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Быстрая и удобная обработка для работы с шаблонами HTML. Позволяет легко и быстро формировать код HTML.

2040 руб.

27.12.2017    27945    3    10    

14

Выполнение произвольного кода или запроса с параметрами через Web-сервис (замена COM-подключений)

Инструментарий разработчика Обмен между базами 1C Платформа 1С v8.3 Платные (руб)

В процессе работы в 1С часто возникает потребность получить данные из другой базы.  Обычно это делается через COM-соединение, и время выполнения запроса при этом оставляет желать лучшего. В данной публикации представлено универсальное решение, позволяющее практически моментально выполнить произвольный код или запрос с параметрами в другой информационной базе через Web-сервис.

2400 руб.

24.09.2019    23490    15    15    

31
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. TrashMaster 196 07.09.13 14:15 Сейчас в теме
Как то не густо комментариев. Начну сам.

Может кто-нибудь подскажет системный COM объект, которым можно сделать асинхронную запись скачанного файла?
Сейчас по простому: из WinHttp.WinHttpRequest ResponseBody передается в ADODB.Stream и пока он пишет все останавливается.

Недокументированная функция Качалки: двойной клик в списке - выборочная закачка по строке. Двойной клик в списке в момент закачки - добавляет строку в "приоритетные закачки", которые будут выполнены перед основной очередью. Ну и двойной клик по строке со скачанным файлом - его запуск ассоциированной программой.
10. cool.vlad4 2 09.09.13 12:08 Сейчас в теме
(1)
Может кто-нибудь подскажет системный COM объект, которым можно сделать асинхронную запись скачанного файла?
мне такой неизвестен. проще самому написать либо com server, либо ВК. если это сложно, то как вариант (но не очень хороший), запускать генерируемые 1С vbs скрипты параллельно, не дожидаясь их завершения.
12. TrashMaster 196 09.09.13 13:07 Сейчас в теме
(10) cool.vlad4, в том-то и вопрос, как сделать элегантно.
ВК есть смысл делать только по технологии NativeAPI,а это значит загонять туда весть функционал WinHttp, файлы-то гигабайтные передаются.
Свой COM - написать не сложно, но это уже не стандартно.
На скриптах будет плохо: из 1с все равно надо будет контролировать выполнение, снимать зависшие процессы, код усложнится, а бонусов никаких.

Задача в принципе плевая - принять уже заполненный поток и записать в нити, никакого обратного вызова не нужно. Сама винда подобные задачи ведь чем-то делает. Минимум врапом можно подцепить системную функцию.
13. cool.vlad4 2 09.09.13 14:43 Сейчас в теме
(12) ну в общем да, имеет смысл пожалуй больше Native делать (как минимум регистрация не нужна). насчет функционала WinHttp, - я больше чем уверен, что на Delphi, что на C++ с этим проблем нет и уже существует готовое решение. Вам просто нужно очертить, какие нестандартные функции требуются для обработки. асинхронные запросы + запись + возврат об успехе/неудаче(в виде например, внешнегособытия), например. написать пару функций и все. остальное можно будет решить и обычным WinHttp.
Свой COM - написать не сложно, но это уже не стандартно. Это да, но с другой стороны у COM, есть возможность написания событий, а потом уже через ДобавитьОбработчик в 1С их можно обрабатывать.
Скрипты - конечно, фигня, поскольку даже такая простая вещь как контроль числа потоков (не может же быть их бесконечное количество), оборачивается в нетривиальную задачу. после запуска скрипта 1С, ничего не знает об этом скрипте.
"Задача в принципе плевая - принять уже заполненный поток и записать в нити, никакого обратного вызова не нужно. " обратный вызов мне кажется все таки нужен, каким образом контролировать успех/неудачу, т.е. результат? ну к примеру на середине закачки, интернет вырубился? если все асинхронно, то 1С просто будет не в курсе, что там произошло.
"Сама винда подобные задачи ведь чем-то делает. Минимум врапом можно подцепить системную функцию."
можно, но имхо проще через компоненту. ладно бы вызывалось все стандартным документированным способом, но врап есть врап, я лично в свое время замучился им всякие параметры передавать и при этом получать ошибки.


14. cool.vlad4 2 09.09.13 14:49 Сейчас в теме
(12) ну и еще как вариант, написать простейший веб сервер (или сервис), к которому просто посылаются запросы на скачку, а он их обрабатывает. хотя особых плюсов перед ВК не вижу. также можно использовать wget, но это тоже, что и просто использовать скрипты.
2. SeiOkami 3418 07.09.13 19:56 Сейчас в теме
Жесть. Будет время - опробую. Но работа должна была быть громадной, так что по-любому "плюс"!
3. TrashMaster 196 07.09.13 20:27 Сейчас в теме
(2)
В основном спортивный интерес был - смогёт родимая 1с-ка или сдохнет, ну и усложнял понемногу.
4. Abadonna 3958 08.09.13 08:25 Сейчас в теме
(3) "В основном спортивный интерес был"
Спортивный интерес - целиком и полностью одобряю. Но так никогда и не мог понять - на фига всё пытаться в 1С запихать? ;) То игрушки, то качалки, то еще что...
5. TrashMaster 196 08.09.13 09:51 Сейчас в теме
(4) У меня потом данные из дерева сливаются в базу с полнотекстовым поиском (книги, тексты, разработки, чертежи, медиа и прочее), поэтому дешевле было сделать в одной среде. Спортивный интерес, только к качеству исполнения относится.

Игры в 1с, хз, вроде творчество, а на деле новых идей не видно.
6. Поручик 4670 08.09.13 16:59 Сейчас в теме
(4) А ещё здесь был целый файловый менеджер.
7. TrashMaster 196 08.09.13 18:38 Сейчас в теме
(6) Какой там файловый, вот есть инсталлятор!!! на УФ, сама 1С выпускает
осталось только дрова от сетевух и материнок добавить и УТ11 можно будет впаривать, как решение для сисадминов.
8. greenLiss 144 08.09.13 19:30 Сейчас в теме
для меня, не так интересен смысл программы, как сама программа, очень хочется посмотреть, как она написана и что применялось :) Спасибо большое +
22. TrashMaster 196 10.09.13 14:01 Сейчас в теме
(8), (9), (18), (20)
Есть ли необходимость добавить в "качалку" подключение внешних обработок с модулями?
9. Yashazz 4707 09.09.13 11:43 Сейчас в теме
Поскольку сам имел дело с асинхроном и WinHttp.WinHttpRequest в частности, выражаю респекты!
Единственно что, насколько понимаю, это всё тот же встроенный браузер 1С, а значит, покоцанный IE7, и на многих современных сайтах корректно работать не будет. Так, да?
11. TrashMaster 196 09.09.13 12:30 Сейчас в теме
(9) Yashazz, сначала уточню "не будет корректно отображать страницу". Да это именно ПолеHTMLДокумента и вот почему:
1) Скрипты отработают и этого достаточно для разбора страницы в браузере.
2) Везде где массовый разбор используются только ЧтениеXML + ПостроительDOM или ТекстовыйДокумент. Догадайтесь почему?
3) ПолеHTMLДокумента это отдельная тема: это встроенный объект, который надо знать, он же по наследству достался 8.3. С IE знаком хорошо, а вот ПолеHTMLДокумента дало неожиданных сюрприз.

Есть идея добавить ещё закладку с IE, а парсеры сделать универсальными. Но это "поле" все равно надо оставить.
15. TrashMaster 196 09.09.13 15:41 Сейчас в теме
(105) Gazza,
каким образом контролировать успех/неудачу, т.е. результат? ну к примеру на середине закачки, интернет вырубился? если все асинхронно, то 1С просто будет не в курсе, что там произошло.

Скачивание идет небольшими блоками, либо скачался - либо оборвался - см статус ошибки в WinHttp.

Писать на ВК обертку по каждому поводу - жизни не хватит. Есть тема сделать асинхронное подключение интерпретатора скриптов через ВК с поддержкой обратного вызова в обработку внешнего события. Это закрыло бы проблему передачи параметров, прозрачного выполнения произвольного кода и калбэка в 1с.
Руки на месте, но надеюсь отделаться по легкому - подсказкой )
16. cool.vlad4 2 09.09.13 15:50 Сейчас в теме
(15)
Скачивание идет небольшими блоками, либо скачался - либо оборвался - см статус ошибки в WinHttp.
э, тогда я не совсем понимаю, зачем асинхронность, если нет callback-а. у 1С, то один поток, если его занять на слежение этого статуса ошибки, то какой в этом смысл?
Писать на ВК обертку по каждому поводу - жизни не хватит.
да, ну. мне кажется здесь нет ничего сложного. самый быстрый черновой вариант на C# пишется за вечер. там уже все готовое есть. тот же WebClientAsync можно использовать и не париться.
Есть тема сделать асинхронное подключение интерпретатора скриптов через ВК с поддержкой обратного вызова в обработку внешнего события.
ну, во-первых на этом сайте уже кто-то делал ВК, где подключил python. Во-вторых эта задача на порядок сложнее того, что вам надо.
ЗЫ. в dotnet есть COMVisible классы(разве, что их надо зарегистрировать). Например Новый COMОбъект("System.Net.WebClient"). Но там, блин, асинхронные методы(например WebClientAsync) у меня не получилось передать, поскольку 1С знать не знает объекты, которые требуется передавать в качестве параметра (например Uri, а это уже не COMVisible)
17. TrashMaster 196 09.09.13 16:36 Сейчас в теме
(16) cool.vlad4,
Асинхронность нужна чтобы сделать многопоточность.

Корень проблемы сдеать Stream.SaveToFile асинхронно.

Stream, который пишем уже проверен и собран WinHttp.

Пример: файл 6 Гб сохраняется минуту (условно), в эту минуту все продолжает асинхронно скачиваться в память, но выполнение кода у нас стоит минуту на строке ADODB Stream.SaveToFile. Проходит эта минуты и видим, что потоки уже давно скачались а новые мы не запустили, потому, что файл писали. Получаем скачивание рывками и проигрыш в средней скорости.
Можно пойти на логические уловки, но замерзание программы на минуты неприемлемо, также как и усложнение кода в десять раз.

По идее ВК:
Асинхронный вызов делать можно (проверено)
Интерпретатор в адресном пространстве ВК - можно (проверено)
Далее внимание:
В ВК запускаем тексты скриптов в потоках. В секции синхронизации выполняем весь ввод-вывод с 1с и при необходимости делаем калбэк (не проверено, но не противоречит тестам 1 и 2).
Работу с COM-объектами придется портировать в скрипты, зато в них полная свобода действий.
18. AVK_Alex 4 10.09.13 10:22 Сейчас в теме
Скажите, а этой мега-супер навороченной штукой можно качать с юзерс-в8-1с-ру?
Ибо пробовал разными менеджерами - не хотят, редиски...
21. TrashMaster 196 10.09.13 13:32 Сейчас в теме
(18) AVK_Alex, прикрути авторизацию в модуле через SetRequestHead
23. AVK_Alex 4 11.09.13 12:33 Сейчас в теме
(21) так то разбираться надо... хочется же нахаляву :)
Может, автор авторизовалку прикрутит?
24. TrashMaster 196 11.09.13 14:10 Сейчас в теме
(23) AVK_Alex, "разбираться" это одну строку добавить в процедуру "запустить", в принципе можно обойтись и тем, что есть. Нужен браузер IE или встроенный в обработку. Авторизуйтесь в нем с Вашими учетными данными (как Вы это всегда делаете), затем прощёлкайте до станицы, где есть доступная по Вашей поддержке ссылка, далее по инструкции или картинкам в описании. Только все названия будут "Скачать дистрибутив", а имена сохраненных файлов "setup.exe". Сами понимаете - на каждом сайте своя структура - парсер с именем "простой" задачу успешно выполняет, но по этому и простой, что не учитывает специфику конкретного ресурса.
19. AVK_Alex 4 10.09.13 10:23 Сейчас в теме
20. adhocprog 1138 10.09.13 12:54 Сейчас в теме
25. Sasha255n 16.09.13 09:32 Сейчас в теме
Ну вообщем то скорее да чем нет. Автору однозначно плюс и конечно вопрос риторический а чем она т.е. эта качалка лучше обыкновенных не совсем понятно. А так да внешне все достаточно очень даже ничего. Скажу больше я бы так не смог. Так что автору плюс.
26. TrashMaster 196 16.09.13 09:45 Сейчас в теме
(25) Sasha255n, Лучше только этим: открытый код.
На 1С пока единственная, поэтому застолбил такое козырное название.
Спасибо за отзыв!
27. Dzenn 869 16.09.13 13:31 Сейчас в теме
сей продукт не скачивал, потребности пока нет, но выглядит шикаааарно :)
28. TrashMaster 196 16.09.13 14:32 Сейчас в теме
(27) DZENN, Спасибо! Тут лучше было показать "товар лицом", чем километр текста.
29. XiPyPg 26.09.13 10:47 Сейчас в теме
круть респект. скачаю буду пользоваться.
30. KrackMan 02.10.13 08:47 Сейчас в теме
Как выглядит: ТекущаяУниверсальнаяДатаВМиллисекундах() ? "Процедура или функция с указанным именем не определена".
31. TrashMaster 196 02.10.13 10:04 Сейчас в теме
(30) KrackMan, начиная 8.2.17 выглядит как глобальный контекст (тонкий клиент, веб-клиент, сервер, толстый клиент, внешнее соединение).
Для старых версий сойдет ТекущаяДата() и поставить таймаут на три знака меньше,
или хардкор:
Script = Новый COMОбъект("MSScriptControl.ScriptControl");
Script.Language="javascript";
Возврат Script.Eval("new Date().getTime()");


Советую обновиться, в новых версиях доделан HTTPСоединение
KrackMan; +1 Ответить
32. TrashMaster 196 08.10.13 14:54 Сейчас в теме
Выложил обновленную версию v.1 fix 1
Исправлен несущественный баг в интерфейсе.
Добавлена совместимость со старыми платформами 8.2 Выявлено в (30).

Просьба писать сюда об ошибках, если найдете.
33. smir 52 09.10.13 12:58 Сейчас в теме
Обязательно скачаю, выглядит замечательно. Даже для собственных нужд %)
34. пользователь 16.10.13 11:39
Сообщение было скрыто модератором.
...
35. пользователь 15.11.13 15:19
Сообщение было скрыто модератором.
...
36. KillHunter 7 17.11.13 18:22 Сейчас в теме
хардкор самый лучший вариант :):

Script = Новый COMОбъект("MSScriptControl.ScriptControl");
Script.Language="javascript";
Возврат Script.Eval("new Date().getTime()");
37. пользователь 24.11.14 13:38
Сообщение было скрыто модератором.
...
38. v3rter 31.01.17 14:35 Сейчас в теме
Проделанный объем работ впечатляет) Помню, в почившей Opera 12 была аналогичная фича Инструменты - Ссылки (Ctrl+Shift+L), в полученном списке ссылок можно было выделить мышкой нужные, скопировать Ctrl+C, сохранить в блокноте и заимпортировать в любую программу-качалку.
39. alex_4x 85 07.07.17 14:25 Сейчас в теме
Добрый день! Вижу вы занимаетесь скрещиванием ужей с ежами, а мне это тоже нужно.
Задача такая - из 1С нужно получить все открытые в IE, Опере, Firefox'е, Хроме - странички. Для начала просто получить список страниц (их URL-ы). Не подскажите как это сделать?
Можно на примере хотя бы одного любого браузера, так как возможно для каждого браузера это будут разные механизмы.

Спасибо!
40. Mopo3 331 20.04.20 23:39 Сейчас в теме
Михаил, нет ли обновленной свежей версии Качалки, которая работала бы под свежими 8.3?
Оставьте свое сообщение