IE 2017

Парсинг и анализ топ рейтинга Самиздата (samlib.ru) v2.02 (СКД, XPath, Управляемые и обычные формы)

Обмен - Интеграция с WEB

Хочется почитать хорошую книгу? На сайте Самиздата samlib.ru публикуются сотни интереснейших книг... и тысячи, читать которые далеко не так интересно.

Хочется почитать хорошую книгу? На сайте Самиздата zhurnal.lib.ru публикуются сотни интереснейших книг... и тысячи, читать которые далеко не так интересно.

Можно найти интересную книгу по рейтингу, но дело это непростое. Я ориентируюсь на размер книги (люблю крупные формы), жанры (предпочитаю фантастику и приключения), рейтинг (книги с низким рейтингом, как правило, не блещут) и количество голосов (маленькое количество проголосовавших говорит о низкой релевантности рейтинга). Вручную просматривать этот рейтинг занимает слишком много времени.  Для личного пользования я сделал обработку, которая загружает и фильтрует рейтинг согласно моим вкусам. Может быть, эта обработка пригодится и Вам.

v2.02  Переписано под СКД. Парсинг теперь делается средствами XPath через временный файл.  Скорость загрузки страниц увеличилась в разы.  Система хранит данные предыдущей загрузки рейтинга и позволяет отлавливать тренды с помощью фильтров СКД. Например, можно отловить быстро набирающие популярность, отсортировав по изменению количества проголосовавших. Пока убран индикатор загрузки. Парсинг осуществляется на сервере и индикация процесса без изменения конфигурации и без замедления парсинга оказалась твердым орешком.

Для работы нужна 8.3+. Работает в любой конфигурации.

Сделано, в основном, что б поиграться с еще  неопробованными мной технологиями.

v1.15 Добавлен индикатор прогресса загрузки страниц рейтинга, добавлен список жанров исключений. (Например, если вы захотите отсеять любовные романы)

За основу взята //infostart.ru/public/15955/.

Заранее благодарен за все комментарии и замечания.

Скачать файлы

Наименование Файл Версия Размер
Парсинг и анализ топ рейтинга Самиздата (samlib.ru) v2.02 (СКД, XPath, Управляемые и обычные формы) 1С 8.3+
.erf 82,93Kb
20.10.16
12
.erf 2.02 82,93Kb 12 Скачать
Загрузка рейтинга публикаций на самиздате 1.15 (8.1 ,без СКД, без XPach)
.epf 24,79Kb
20.10.16
82
.epf 24,79Kb 82 Скачать

См. также

Комментарии
1. Сергей Кучеров (СергейКа) 610 16.12.10 17:32 Сейчас в теме
Неплохо было бы прикрутить обработку прерывания.
А то промахнулся с количеством страниц - и можно ждать до "морковкиного заговенья" :)
А так же добавить в описание, что на управляемой форме не работает.
2. Олег Молочников (milkers) 1660 16.12.10 20:54 Сейчас в теме
3. Яков Коган (Yashazz) 2116 21.12.10 17:46 Сейчас в теме
Времени копаться нету, а любопытно, потому вопрос: делали разбором DOM-модели?
4. Олег Молочников (milkers) 1660 21.12.10 21:20 Сейчас в теме
(3)Нет. Поиск начала таблицы и конца таблицы. И обычный и парсинг.
5. Михаил Ражиков (tango) 475 08.01.11 17:33 Сейчас в теме
6. Олег Молочников (milkers) 1660 08.01.11 19:18 Сейчас в теме
7. Юрий Н (graphbuh) 141 21.08.14 15:14 Сейчас в теме
Интересно, а можно добавить функцию скачивания (допустим, в какую то директорию) и поиска по ключевым словам (допустим, используя яндекс). Учитывая конструкцию сайта это непросто, но всегда хочется невозможного )) уж такие мы , программисты
8. Олег Молочников (milkers) 1660 21.08.14 15:58 Сейчас в теме
(7) graphbuh, можно сделать и гораздо лучше. Но если честно, даже не смотря на то что я на больничном жалко времени и сил, на то чтоб переделывать работающую вещь, особенно с не очень востребованным здесь функционалом. По хорошему, чтоб сделать утилиту современной надо сделать две вещи: избавиться от программного парсинга и передавать таблицу в компоновку данных, где пользователь сможет сам настраивать фильтры. Меня вполне устраивает текущий вариант.
9. Олег Молочников (milkers) 1660 20.10.16 17:22 Сейчас в теме
(0) Выложил Парсинг и анализ топ рейтинга Самиздата v2.02 Переписано под СКД. Парсинг теперь делается средствами XPath через временный файл. Скорость загрузки страниц увеличилась в разы. Система хранит данные предыдущей загрузки рейтинга и позволяет отлавливать тренды с помощью фильтров СКД. Например, можно отловить быстро набирающие популярность, отсортировав по изменению количества проголосовавших. Пока убран индикатор загрузки. Парсинг осуществляется на сервере и индикация процесса без изменения конфигурации и без замедления парсинга оказалась твердым орешком.

Для работы нужна 8.3+. Работает в любой конфигурации.
10. Максим Сараев (desarz) 59 09.11.16 17:44 Сейчас в теме
Преобразование значения к типу Число не может быть выполнено. Не работает однако :(
11. Олег Молочников (milkers) 1660 09.11.16 21:02 Сейчас в теме
(10) desarz, Какая версия платформы, какая из обработок (их 2). Ну и в какой конфигурации запускали, в каком клиенте.
Оставьте свое сообщение