Парсинг и анализ топ рейтинга Самиздата (samlib.ru) v2.02 (СКД, XPath, Управляемые и обычные формы)

11.01.19

–

> >

Хочется почитать хорошую книгу? На сайте Самиздата samlib.ru публикуются сотни интереснейших книг... и тысячи, читать которые далеко не так интересно.

Скачать файлы

	Наименование	Файл	Версия	Размер
	Парсинг и анализ топ рейтинга Самиздата (samlib.ru) v2.02 (СКД, XPath, Управляемые и обычные формы) 1С 8.3+ .erf 87,43Kb 24	.erf	2.05	87,43Kb	24	Скачать
	Загрузка рейтинга публикаций на самиздате 1.15 (8.1 ,без СКД, без XPach) .epf 24,79Kb 82	.epf	V 2.03	24,79Kb	82	Скачать

Хочется почитать хорошую книгу? На сайте Самиздата zhurnal.lib.ru публикуются сотни интереснейших книг... и тысячи, читать которые далеко не так интересно.

Можно найти интересную книгу по рейтингу, но дело это непростое. Я ориентируюсь на размер книги (люблю крупные формы), жанры (предпочитаю фантастику и приключения), рейтинг (книги с низким рейтингом, как правило, не блещут) и количество голосов (маленькое количество проголосовавших говорит о низкой релевантности рейтинга). Вручную просматривать этот рейтинг занимает слишком много времени. Для личного пользования я сделал обработку, которая загружает и фильтрует рейтинг согласно моим вкусам. Может быть, эта обработка пригодится и Вам.

v2.02 Переписано под СКД. Парсинг теперь делается средствами XPath через временный файл. Скорость загрузки страниц увеличилась в разы. Система хранит данные предыдущей загрузки рейтинга и позволяет отлавливать тренды с помощью фильтров СКД. Например, можно отловить быстро набирающие популярность, отсортировав по изменению количества проголосовавших. Пока убран индикатор загрузки. Парсинг осуществляется на сервере и индикация процесса без изменения конфигурации и без замедления парсинга оказалась твердым орешком.

Для работы нужна 8.3+. Работает в любой конфигурации.

Сделано, в основном, что б поиграться с еще неопробованными мной технологиями.

v1.15 Добавлен индикатор прогресса загрузки страниц рейтинга, добавлен список жанров исключений. (Например, если вы захотите отсеять любовные романы)

За основу взята //infostart.ru/public/15955/.

Заранее благодарен за все комментарии и замечания.

Акция! Вы можете скачать эту разработку в составе архива всех моих разработок, которые я предлагаю за StartMone, по Специальной цене: //infostart.ru/public/960899/#archive

СКД парсинг HTML XPath

–

См. также

Управление доставками Boxberry, СДЭК, ЭкстраПочта, Почта России, Энергия, DPD, ПЭК, Grastin, Деловые Линии, КСЕ, Dalli

WEB-интеграция Рабочее место Оптовая торговля Розничная торговля Логистика, склад и ТМЦ Платформа 1С v8.3 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Оптовая торговля, дистрибуция, логистика Россия Управленческий учет Платные (руб)

Управление доставками в транспортных компаниях из 1С.

18000 руб.

10.03.2016 52798 268 95

Все службы доставки в Вашей 1С! Без изменения конфигурации! УТ, ERP, КА, УНФ

WEB-интеграция Рабочее место Оптовая торговля Розничная торговля Логистика, склад и ТМЦ Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

40+ служб доставки для 1С в одном модуле! Внешняя обработка, которая НЕ изменяет Вашу конфигурацию!

19200 руб.

22.03.2017 34558 13 47

Интеграция с сервисом vetmanager

WEB-интеграция Платформа 1С v8.3 Бухгалтерский учет 1С:Бухгалтерия 3.0 Бытовые услуги, сервис Платные (руб)

Данная обработка разрабатывалась для загрузки документов из Ветменеджер в 1С: Бухгалтерия 3.

12000 руб.

02.02.2021 15199 41 49

Заполнение по ИНН или наименованию реквизитов контрагента по данным сайта ФНС

Обмен с ГосИС WEB-интеграция Платформа 1С v8.3 Управляемые формы 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия государственного учреждения 1С:Документооборот 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Обработка является альтернативой механизму, разработанному фирмой 1С и заполняющему реквизиты контрагента по ИНН или наименованию. Не требуется действующей подписки ИТС. Вызывается как внешняя дополнительная обработка, т.е. используется, непосредственно, из карточки контрагента. Заполнение по ИНН или наименованию реквизитов контрагента по данным сайта ФНС (egrul.nalog.ru) для БП 2.0, БП 3.0, БГУ 1.0, БГУ 2.0, УТ 10.3, УТ 11.x, КА 1.1, КА 2.x, УПП 1.x, ERP 2.x, УНФ 1.5, УНФ 1.6, УНФ 3.0, ДО 2.1

2400 руб.

28.04.2016 86567 154 211

309

Интеграция с OpenCart 2.x, 3x

WEB-интеграция Оптовая торговля Розничная торговля Управляемые формы 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 Розничная и сетевая торговля (FMCG) Оптовая торговля, дистрибуция, логистика Управленческий учет Платные (руб)

Внешняя обработка, позволяет обмениваться данными между OpenCart (самая популярная бесплатная cms для интернет-магазинов) и 1С:Предприятие 8.

6800 руб.

17.11.2015 113028 331 133

206

Merlion Commander Версия 1.3.9.2 - июль 2022 г. (Интеграция с 1С: УT, редакция 11.4, 1С:Розница 2.3,1С:ERP Управление предприятием 2, УТ 10.3, редакция веб-сервиса MERLION API 3.0 от 18.08.2021)

Оптовая торговля Розничная торговля WEB-интеграция Платформа 1С v8.3 1С:Управление торговлей 11 Россия Платные (руб)

Расширении конфигурации "Управление торговлей, редакция 11" для работы с веб-сервисом Мерлион с помощью Merlion API. Расширение и набор подключаемых дополнительных обработок позволяет без изменения конфигурации получить возможность работы с API крупнейшего российского дистрибьютора http://merlion.com. Логика работы максимально приближена к работе веб-сервиса b2b. Вы сможете создать и исправить заказ, зарезервировать товар прямо из 1С, посмотреть актуальные остатки и цены, импортировать штрихкода EAN13 товаров, загружать заказ c автоматическим созданием номенклатуры в 1С и корректности создания. Можно выбирать характеристики по товарным группам и загружать товар с выбранными характеристиками, загружать изображения товара. Не требуется установки дополнительного ПО для работы с веб-сервисом. Кроссплатформенное решение для ОС Windows и Linux. Весь код модулей открыт и доступен для просмотра и внесения изменений.

8280 руб.

02.05.2017 38363 42 64

Сервисы 1СПАРК Риски и 1С:Контрагент для "старых" конфигураций

WEB-интеграция Платформа 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Бухгалтерия государственного учреждения Россия Платные (руб)

Доступ к сервисам 1СПАРК Риски и 1С:Контрагент в "старых", но широко используемых конфигурациях.

6000 руб.

30.01.2019 23679 39 5

Обмен с "Порталом поставщиков"

Оптовая торговля WEB-интеграция Бюджетный учет Обмен с ГосИС Платформа 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Государственные, бюджетные структуры Россия Бухгалтерский учет Управленческий учет Платные (руб)

Обмен данными с "Порталом поставщиков" Москвы и Московской области с целью создания оферт для закупок государственными учреждениями.

9600 руб.

13.12.2016 37347 31 38

Комментарии

В избранное Подписаться на ответы

Свернуть все

1. СергейКа 669 16.12.10 17:32 Сейчас в теме

Неплохо было бы прикрутить обработку прерывания.
А то промахнулся с количеством страниц - и можно ждать до "морковкиного заговенья" :)
А так же добавить в описание, что на управляемой форме не работает.

2. milkers 2804 16.12.10 20:54 Сейчас в теме

(1) Спасибо. Поправил.

3. Yashazz 4627 21.12.10 17:46 Сейчас в теме

Времени копаться нету, а любопытно, потому вопрос: делали разбором DOM-модели?

4. milkers 2804 21.12.10 21:20 Сейчас в теме

(3)Нет. Поиск начала таблицы и конца таблицы. И обычный и парсинг.

6. milkers 2804 08.01.11 19:18 Сейчас в теме

(3) в кб.

5. tango 499 08.01.11 17:33 Сейчас в теме

а размер-то в чем?

7. graphbuh 255 21.08.14 15:14 Сейчас в теме

Интересно, а можно добавить функцию скачивания (допустим, в какую то директорию) и поиска по ключевым словам (допустим, используя яндекс). Учитывая конструкцию сайта это непросто, но всегда хочется невозможного )) уж такие мы , программисты

8. milkers 2804 21.08.14 15:58 Сейчас в теме

(7) graphbuh, можно сделать и гораздо лучше. Но если честно, даже не смотря на то что я на больничном жалко времени и сил, на то чтоб переделывать работающую вещь, особенно с не очень востребованным здесь функционалом. По хорошему, чтоб сделать утилиту современной надо сделать две вещи: избавиться от программного парсинга и передавать таблицу в компоновку данных, где пользователь сможет сам настраивать фильтры. Меня вполне устраивает текущий вариант.

9. milkers 2804 20.10.16 17:22 Сейчас в теме

(0) Выложил Парсинг и анализ топ рейтинга Самиздата v2.02 Переписано под СКД. Парсинг теперь делается средствами XPath через временный файл. Скорость загрузки страниц увеличилась в разы. Система хранит данные предыдущей загрузки рейтинга и позволяет отлавливать тренды с помощью фильтров СКД. Например, можно отловить быстро набирающие популярность, отсортировав по изменению количества проголосовавших. Пока убран индикатор загрузки. Парсинг осуществляется на сервере и индикация процесса без изменения конфигурации и без замедления парсинга оказалась твердым орешком.

Для работы нужна 8.3+. Работает в любой конфигурации.

10. desarz 63 09.11.16 17:44 Сейчас в теме

Преобразование значения к типу Число не может быть выполнено. Не работает однако :(

11. milkers 2804 09.11.16 21:02 Сейчас в теме

(10) desarz, Какая версия платформы, какая из обработок (их 2). Ну и в какой конфигурации запускали, в каком клиенте.

12. milkers 2804 12.02.18 16:40 Сейчас в теме

(0) Исправлена ошибка загрузки, возникшая при изменение дизайна страницы (добавлении рекламных блоков)

13. qazaas 15.10.18 16:43 Сейчас в теме

(0)(12)
{ВнешнийОтчет.ПарсингИАнализТопРейтингаСамиздата.Форма.ФормаОтчетаУправляемая.Форма(711)}: Ошибка при вызове конструктора (COMОбъект)
Скрипт = Новый COMОбъект("MSScriptControl.ScriptControl");
по причине:
-2147221164(0x80040154): Класс не зарегистрирован

P.S.: Что-то я не обнаружил там XPath.

14. milkers 2804 16.10.18 10:10 Сейчас в теме

(13) Напишите пожалуйста операционную систему, версию платформы и конфигурации 1С.
MSScriptControl.ScriptControl -не относится к XPath никак, вспомогательный инструмент, для подсчета времени формирования отчета.
Почему в Вашей системе не получается создать этот Com-объект - большой вопрос. У Вас не линукс случайно?
В принципе подсчет времени можно убрать из кода совсем, на результат это не влияет.

15. qazaas 16.10.18 12:10 Сейчас в теме

(14) Да это не очень важно. Если уж на то пошло, то могу и просто закомментировать это - не проблема. Я в 1С-ке разбираюсь)
У меня Windows 10, все обновления стоят. Microsoft Visual C++ Redistributable 2005, 2008, 2010, 2012, 2013, 2017 + последняя студия. Версия 1С 8.3.12.1616, конфигурация самописная.

И кстати, еще ругалось на "ПараметрыСеанса.ТекущийПользователь". Понял, что вы ее(обработку) использовали только в типовых конфигурациях, но лучше, думаю, изменить данную строку на "ПользователиИнформационнойБазы.ТекущийПользователь()".

Сейчас вот еще раз протестировал. Нашел еще одну ошибку - при выделении картинки "Самиздат" (достаточно просто по ней щелкнуть) появляется ошибка "Поле не обнаружено (Низ)" - указывает на функцию управляемой формы (я тестировал в управляемом режиме)

фПолучитьСуммуЧиселВыделеннойОбластиТабДок

строку

Для ЯчВерт = ВыделеннаяОбласть.Верх По ВыделеннаяОбласть.Низ Цикл

При отладке, в выделенной области свойство "Верх" имеется, а свойства "Низ" нет.

Про XPath - у вас в публикации написано, что она использует XPath. Так вот, проглядывать весь код, понятное дело, муторно, поэтому воспользовался поиском с ключевым словом "XPath", в надежде найти, что-то типа "ВычислитьВыражениеXPath", но увы - ничего не нашел. Потому и написал.

P.S. качал обработку с целью найти какие-либо новые методы для парсинга сайтов, но ваш метод я уже встречал. Эх... Но все равно спасибо за ваш труд.