Парсинг и анализ топ рейтинга Самиздата (samlib.ru) v2.02 (СКД, XPath, Управляемые и обычные формы)

11.01.19

Хочется почитать хорошую книгу? На сайте Самиздата samlib.ru публикуются сотни интереснейших книг... и тысячи, читать которые далеко не так интересно.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование		По подписке [?]	Купить один файл
Парсинг и анализ топ рейтинга Самиздата (samlib.ru) v2.02 (СКД, XPath, Управляемые и обычные формы) 1С 8.3+ .erf 87,43Kb 24	24	Скачать (2 SM)	Купить за 2 150 руб.
Загрузка рейтинга публикаций на самиздате 1.15 (8.1 ,без СКД, без XPach) .epf 24,79Kb 82	82	Скачать (1 SM)	Купить за 1 850 руб.

Хочется почитать хорошую книгу? На сайте Самиздата zhurnal.lib.ru публикуются сотни интереснейших книг... и тысячи, читать которые далеко не так интересно.

Можно найти интересную книгу по рейтингу, но дело это непростое. Я ориентируюсь на размер книги (люблю крупные формы), жанры (предпочитаю фантастику и приключения), рейтинг (книги с низким рейтингом, как правило, не блещут) и количество голосов (маленькое количество проголосовавших говорит о низкой релевантности рейтинга). Вручную просматривать этот рейтинг занимает слишком много времени. Для личного пользования я сделал обработку, которая загружает и фильтрует рейтинг согласно моим вкусам. Может быть, эта обработка пригодится и Вам.

v2.02 Переписано под СКД. Парсинг теперь делается средствами XPath через временный файл. Скорость загрузки страниц увеличилась в разы. Система хранит данные предыдущей загрузки рейтинга и позволяет отлавливать тренды с помощью фильтров СКД. Например, можно отловить быстро набирающие популярность, отсортировав по изменению количества проголосовавших. Пока убран индикатор загрузки. Парсинг осуществляется на сервере и индикация процесса без изменения конфигурации и без замедления парсинга оказалась твердым орешком.

Для работы нужна 8.3+. Работает в любой конфигурации.

Сделано, в основном, что б поиграться с еще неопробованными мной технологиями.

v1.15 Добавлен индикатор прогресса загрузки страниц рейтинга, добавлен список жанров исключений. (Например, если вы захотите отсеять любовные романы)

За основу взята //infostart.ru/public/15955/.

Заранее благодарен за все комментарии и замечания.

Акция! Вы можете скачать эту разработку в составе архива всех моих разработок, которые я предлагаю за StartMone, по Специальной цене: //infostart.ru/public/960899/#archive

СКД парсинг HTML XPath

+30 –

См. также

Модуль для интеграции с маркетплейсами - Wildberries, Ozon, Лемана Про, Aliexpress,Яндекс Маркет, Мегамаркет, Авито, Lamodа

WEB-интеграция Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Россия Платные (руб)

Функциональное решение для торговли на всех популярных маркетплейсах. Работает со схемами FBO и FBS. Простое в использовании и установке, не вносит изменения в код программы. Существенно упрощает работу с товарным ассортиментом, обработку заказов с площадок, работу с поставками, а также ведение аналитики по продажам и остаткам.

72000 руб.

19.07.2024 1428 52 0

Интеграция с сервисом vetmanager в 1С: Бухгалтерия 3.0

WEB-интеграция Программист Платформа 1С v8.3 Бухгалтерский учет 1С:Бухгалтерия 3.0 Бытовые услуги, сервис Платные (руб)

Внешняя обработка разрабатывалась для загрузки документов из Ветменеджер в 1С: Бухгалтерия 3.0

12000 руб.

02.02.2021 17781 49 50

Модуль для обмена "1С:Предприятие 8. УАТ. ПРОФ" с FortMonitor

WEB-интеграция 8.3.8 Конфигурации 1cv8 Автомобили, автосервисы Беларусь Украина Россия Казахстан Управленческий учет Платные (руб)

Расширение предназначено для конфигурации "1С:Предприятие 8. Управление Автотранспортом. ПРОФ". Функционал модуля: 1. Заполнение регистров сведений по подсистеме "Мониторинг", а именно: события по мониторингу, координаты по мониторингу, пробег и расход по мониторингу, текущее местоположение ТС по мониторингу 2. Заполнение путевого листа: пробег по мониторингу, время выезда/заезда, табличная часть ГСМ, места стоянок по геозонам. 3. Отчеты по данным загруженным в регистры сведений. 4. Предусмотрена автоматическая загрузка данных в фоновом режиме (условия работы данной загрузке читайте в описании товара) Модуль работает без включенной константы по настройкам мониторинга. Модуль формы предоставляется с открытым кодом, общий модуль защищен. Любой заинтересованный пользователь, имеет возможность скачать демо-версию расширения.

22656 руб.

25.05.2021 14164 41 8

Сервисы 1СПАРК Риски и 1С:Контрагент для «старых» конфигураций

WEB-интеграция Бизнес-аналитик Бухгалтер Пользователь Платформа 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Бухгалтерия государственного учреждения Россия Платные (руб)

Доступ к сервисам 1СПАРК Риски и 1С:Контрагент в «старых», но широко используемых конфигурациях.

6000 руб.

30.01.2019 24736 44 5

Автоматическое заполнение реквизитов контрагентов в 1С по ИНН для ERP 2.4, ERP 2.2, УТ 11.5, УТ 11.4, УТ 11.3, УТ 11.2, КА 2.4, КА 2.2, КА 2.0 и БП 3.0 (расширение конфигурации)

Обмен с ГосИС Мастера заполнения WEB-интеграция Бухгалтер Пользователь Платформа 1С v8.3 Бухгалтерский учет Оперативный учет Управляемые формы 1С:Управление производственным предприятием 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Универсальное расширение конфигурации для автоматической загрузки и заполнения реквизитов контрагентов (партнеров) из ОГРН для 1С:ERP Управление предприятием 2 (1С:ERP Управление предприятием 2, редакция 2.4), 1С:ERP Управление предприятием 2 (1С:ERP Управление предприятием 2, редакция 2.2), 1С:Управление торговлей 8 (Управление торговлей, редакция 11.5), 1С:Управление торговлей 8 (Управление торговлей, редакция 11.4), 1С:Управление торговлей 8 (Управление торговлей, редакция 11.3), 1С:Управление торговлей 8 (Управление торговлей, редакция 11.2), 1С:Комплексная автоматизация 8 (1С:Комплексная автоматизация, редакция 2.4), 1С:Комплексная автоматизация 8 (1С:Комплексная автоматизация, редакция 2.2), 1С:Комплексная автоматизация 8 (1С:Комплексная автоматизация, редакция 2.0) и 1С:Бухгалтерия 8 (Бухгалтерия предприятия, редакция 3.0).

3900 руб.

08.11.2017 63104 404 295

Интеграция 1С с API СДЭК, Деловые Линии, ПЭК, Boxberry, Почта России и др. Управление доставками в 1С 8.3

WEB-интеграция Рабочее место Оптовая торговля Розничная торговля Логистика, склад и ТМЦ Пользователь Платформа 1С v8.3 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Оптовая торговля, дистрибуция, логистика Россия Управленческий учет Платные (руб)

Программный продукт "Управление доставками в 1С" позволяет обмениваться с личным кабинетом СДЭК, Деловые Линии, ПЭК, DPD, Почта России и другими транспортных компаниями. Упрощает создание заявок и резервирование заказов прямо в интерфейсе 1С

18000 руб.

10.03.2016 62478 302 97

Интеграция 1С с OpenCart 2.x, 3x — модуль обмена данными

WEB-интеграция Оптовая торговля Розничная торговля Программист Управляемые формы 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 Розничная и сетевая торговля (FMCG) Оптовая торговля, дистрибуция, логистика Управленческий учет Платные (руб)

Модуль интеграции 1С с OpenCart 2.x, 3x позволяет обмениваться данными между OpenCart (самая популярная бесплатная cms для интернет-магазинов) и 1С:Предприятие 8.

6800 руб.

17.11.2015 119472 367 137

221

Драйвер облачной кассы для Бизнес.РУ Чеки

ККМ WEB-интеграция Программист Пользователь Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Универсальный драйвер для фискализации чеков для сервиса Бизнес.РУ. Чеки (https://online-check.business.ru/). Работает с любой кассой, подключенной к сервису, в том числе и без физической кассы (Аренда облачной ККТ в датацентре). Принцип работы аналогичен наличию физической кассы, подключенной к рабочему месту 1С. Фискализация выполняется с любого рабочего места через интернет. Нет ограничений на количество рабочих мест, касс, компьютеров. Поддерживает печать с нескольких рабочих мест на одну кассу. Работает в любой операционной системе (Windows, Linux) и в любом клиенте (Тонкий, Толстый, Web, Мобильный клиент).

6000 руб.

03.06.2021 13864 12 0

Комментарии

Подписаться на ответы Инфостарт бот

Свернуть все

1. СергейКа 670 16.12.10 17:32 Сейчас в теме

Неплохо было бы прикрутить обработку прерывания.
А то промахнулся с количеством страниц - и можно ждать до "морковкиного заговенья" :)
А так же добавить в описание, что на управляемой форме не работает.

2. milkers 2910 16.12.10 20:54 Сейчас в теме

(1) Спасибо. Поправил.

3. Yashazz 4780 21.12.10 17:46 Сейчас в теме

Времени копаться нету, а любопытно, потому вопрос: делали разбором DOM-модели?

4. milkers 2910 21.12.10 21:20 Сейчас в теме

(3)Нет. Поиск начала таблицы и конца таблицы. И обычный и парсинг.

6. milkers 2910 08.01.11 19:18 Сейчас в теме

(3) в кб.

5. tango 544 08.01.11 17:33 Сейчас в теме

а размер-то в чем?

7. graphbuh 255 21.08.14 15:14 Сейчас в теме

Интересно, а можно добавить функцию скачивания (допустим, в какую то директорию) и поиска по ключевым словам (допустим, используя яндекс). Учитывая конструкцию сайта это непросто, но всегда хочется невозможного )) уж такие мы , программисты

8. milkers 2910 21.08.14 15:58 Сейчас в теме

(7) graphbuh, можно сделать и гораздо лучше. Но если честно, даже не смотря на то что я на больничном жалко времени и сил, на то чтоб переделывать работающую вещь, особенно с не очень востребованным здесь функционалом. По хорошему, чтоб сделать утилиту современной надо сделать две вещи: избавиться от программного парсинга и передавать таблицу в компоновку данных, где пользователь сможет сам настраивать фильтры. Меня вполне устраивает текущий вариант.

9. milkers 2910 20.10.16 17:22 Сейчас в теме

(0) Выложил Парсинг и анализ топ рейтинга Самиздата v2.02 Переписано под СКД. Парсинг теперь делается средствами XPath через временный файл. Скорость загрузки страниц увеличилась в разы. Система хранит данные предыдущей загрузки рейтинга и позволяет отлавливать тренды с помощью фильтров СКД. Например, можно отловить быстро набирающие популярность, отсортировав по изменению количества проголосовавших. Пока убран индикатор загрузки. Парсинг осуществляется на сервере и индикация процесса без изменения конфигурации и без замедления парсинга оказалась твердым орешком.

Для работы нужна 8.3+. Работает в любой конфигурации.

10. desarz 64 09.11.16 17:44 Сейчас в теме

Преобразование значения к типу Число не может быть выполнено. Не работает однако :(

11. milkers 2910 09.11.16 21:02 Сейчас в теме

(10) desarz, Какая версия платформы, какая из обработок (их 2). Ну и в какой конфигурации запускали, в каком клиенте.

12. milkers 2910 12.02.18 16:40 Сейчас в теме

(0) Исправлена ошибка загрузки, возникшая при изменение дизайна страницы (добавлении рекламных блоков)

13. qazaas 15.10.18 16:43 Сейчас в теме

(0)(12)
{ВнешнийОтчет.ПарсингИАнализТопРейтингаСамиздата.Форма.ФормаОтчетаУправляемая.Форма(711)}: Ошибка при вызове конструктора (COMОбъект)
Скрипт = Новый COMОбъект("MSScriptControl.ScriptControl");
по причине:
-2147221164(0x80040154): Класс не зарегистрирован

P.S.: Что-то я не обнаружил там XPath.

14. milkers 2910 16.10.18 10:10 Сейчас в теме

(13) Напишите пожалуйста операционную систему, версию платформы и конфигурации 1С.
MSScriptControl.ScriptControl -не относится к XPath никак, вспомогательный инструмент, для подсчета времени формирования отчета.
Почему в Вашей системе не получается создать этот Com-объект - большой вопрос. У Вас не линукс случайно?
В принципе подсчет времени можно убрать из кода совсем, на результат это не влияет.

15. qazaas 16.10.18 12:10 Сейчас в теме

(14) Да это не очень важно. Если уж на то пошло, то могу и просто закомментировать это - не проблема. Я в 1С-ке разбираюсь)
У меня Windows 10, все обновления стоят. Microsoft Visual C++ Redistributable 2005, 2008, 2010, 2012, 2013, 2017 + последняя студия. Версия 1С 8.3.12.1616, конфигурация самописная.

И кстати, еще ругалось на "ПараметрыСеанса.ТекущийПользователь". Понял, что вы ее(обработку) использовали только в типовых конфигурациях, но лучше, думаю, изменить данную строку на "ПользователиИнформационнойБазы.ТекущийПользователь()".

Сейчас вот еще раз протестировал. Нашел еще одну ошибку - при выделении картинки "Самиздат" (достаточно просто по ней щелкнуть) появляется ошибка "Поле не обнаружено (Низ)" - указывает на функцию управляемой формы (я тестировал в управляемом режиме)

фПолучитьСуммуЧиселВыделеннойОбластиТабДок

строку

Для ЯчВерт = ВыделеннаяОбласть.Верх По ВыделеннаяОбласть.Низ Цикл

При отладке, в выделенной области свойство "Верх" имеется, а свойства "Низ" нет.

Про XPath - у вас в публикации написано, что она использует XPath. Так вот, проглядывать весь код, понятное дело, муторно, поэтому воспользовался поиском с ключевым словом "XPath", в надежде найти, что-то типа "ВычислитьВыражениеXPath", но увы - ничего не нашел. Потому и написал.

P.S. качал обработку с целью найти какие-либо новые методы для парсинга сайтов, но ваш метод я уже встречал. Эх... Но все равно спасибо за ваш труд.