gifts2017

Конфигурация Парсер Сайтов Объявлений (Авито avito.ru)

Опубликовал Капитан Немо (capitan) в раздел Обмен - Интеграция с WEB

Вкратце: Например, вы можете автоматически несколько раз в день (любое заданное время) загружать свежие объявления в категории Телефоны (любой категории или произвольный запрос) и отправлять сообщения тем, которые содержат слово «iphone 6S» и цена ниже 50 000 руб. Затем отправлять себе на почту отчеты о загруженных объявлениях и результатах рассылки. А можете загружать данные в основную учетную систему.

Основное назначение конфигурации – загрузка объявлений с сайта авито.
Может быть загружена предварительная информация объявлений (быстро).

При этом загружаются:
Наименование, цена, код объявления авито, станция метро (если указана), дата размещения, URL, ссылка на первое изображение.
Затем возможна загрузка подробной информации по группе объявлений (для расширенной аналитики).

При этом загружаются:
Подробное описание, телефон, признаки компании, признаки магазина, имя продавца, предыдущая цена (если была).

Реализована возможность рассылки объявлений по нескольким алгоритмам.
В простейшем случае по группе объявлений, в сложном – формирование любой выборки по любым реквизитам и ключевым словам в тексте объявления.
В старших релизах эта возможность подключена к подсистеме напоминаний, таким образом можно сформировать задание на предварительную загрузку, полную загрузку объявлений и рассылку сообщений по ним в заданное время (периодически) по расписанию автоматически.
По всем выполняемым действиям можно сформировать отчет и включить его в рассылку так же регламентным заданием.

В старшем релизе реализованы функции загрузки справочника Магазины и рассылки сообщений по нему (автоматическое распознавание капчи)

Принцип работы.

Все действия имитируют работу пользователя с сайтом. Для некоторых вещей используются встроенные возможности 1С, для некоторых прямая работа с Internet Explorer.

Требования к программному обеспечению.

Операционная система windows любой версии.
Для некоторых операций – аккаунт авито.
Рассылка по магазинам (распознавание капчи) требует запуска с правами администратора.
Установленная версия 1С Предприятие 8.3.7.ххх достаточно бесплатной учебной версии.
Бесплатный компонент ActiveX CAPICOM от Microsoft

Возможны любые доработки по вашему техническому заданию.
Стоимость часа работы 1000 рублей

Код полностью открыт после покупки, кроме модулей парсинга. Они закрыты. Местным жителям не составит труда открыть, а остальным не нужно.

Конфигурация работает на управляемых формах.
Все объекты относящиеся к конфигурации имеют уникальный префикс, поэтому может быть легко встроена в любую стандартную или самописную конфигурацию 1С.

Исправление найденных ошибок бесплатное, так же как и обновления в течении года, если появятся новые релизы.
Автоматическое обновление на данном этапе не предусмотрено.
Будут высылаться измененные конфигурации соответствующих покупке версий.

Техподдержка в большей части оказывается на форуме, адрес которого здесь я опубликовать не могу согласно правилам размещения коммерческой публикации.
Возможно удаленное решение вопросов (тимвьюер, etc)
Стоимость часа работы техподдержки 500 рублей

Ограничений по количеству рабочих мест, компьютеров, сетевого использования нет.

Конфигурация из поставки полность готова к работе.
Установка производится распаковкой из архива в произвольный каталог компьютера или локальной сети и регистрацию базы в установленной версии 1С Предприятие 8.3.7.ххх

Гарантии

Собственно, никаких гарантий.
Кроме того, что конфигурация загруженная отсюда, не нанесет вреда вашему компьютеру при правильном использовании.
Парсер основан на структуре сайта авито, поменяется она, нужно будет изменять код 1С.
Сам сайт Авито тоже не всегда работает стабильно.

Согласно правилам размещения коммерческой публикации вы имеете гарантию возврата денег за младшую версию конфигурации.


Правовые аспекты использования

Ни российское, ни международное законодательство не запрещает хранить и обрабатывать информацию, полученную из свободных источников в т.ч интернет.
Более того, в общем случае объявления не являются объектами авторского права.

Использование для этого платформы 1С Предприятие только упрощает для вас интеграцию с другими учетными системами.
1С Предприятие 8.3 имеет бесплатную учебную версию, вы можете использовать ее.

Если вы заинтересовались, но не решаетесь, посмотрите видео на youtube
Возможности конфигурации

Регламентные задания

Полный плейлист youtube возможности конфигурации.

Причины купить

Экономическое обоснование

Клянусь своей треуголкой, если вы что-нибудь покупали на авито — вели в excel подобие базы объявлений.
Продавец, телефон, удалось ли дозвониться, etc.
Было бы удобнее вести это в базе данных — несомненно.
А если бы эта база еще и сама заполнялась ? Да еще и рассылала предложения уступить немного от назначенной цены ?
Надо продолжать?

До мая 2016 при покупке любой версии — час настройки в подарок (удаленно через тимвьюер все вам настрою и покажу как работать дальше).

Достоинства

Преимущества перед другими вариантами парсеров.

Они очевидны — вы сами ведете свою базу объявлений. Сами составляете запросы, сами обрабатываете информацию.
При этом данные у вас в настоящей базе данных, а не в текстовом файле .
И вам не надо платить за запросы.

Сравнение версий

  1. Демо. Позволяет загружать в базу 1С объявления со всеми реквизитами ( цены, телефоны и т.п.) с сайта Авито (avito.ru), и обрабатывать их в дальнейшем по вашим алгоритмам. Ограничение - без текущего дня. Стоимость бесплатно.
  2. Базовая версия. Позволяет загружать в базу 1С объявления со всеми реквизитами ( цены, телефоны и т.п.) с сайта Авито (avito.ru), и обрабатывать их в дальнейшем по вашим алгоритмам.  Стоимость 500 руб.
  3. Версия Проф. Все возможности базовой версии, плюс модуль рассылки сообщений. Стоимость 1500 руб.
  4. Версия Корп. Все возможности версии Проф, плюс регламентные задания для  модулей загрузки объявлений и рассылки сообщений. Стоимость 3000 руб.
  5. Версия Спаммер. Все возможности версии Корп, плюс загрузка и рассылка по магазинам авито, автоматическое распознавание капчи. Стоимость 5000 руб.

Скачать файлы

Наименование Файл Версия Размер
Инструкция 36
.pdf 1,88Mb
18.11.16
36
.pdf 1.0.0.1 1,88Mb Бесплатно
Демо 70
.zip 66,52Mb
18.11.16
70
.zip 1.0.0.1 66,52Mb Бесплатно
Конфигурация Парсер Сайтов Объявлений (Авито avito.ru). Базовая версия
18.11.2016
1000 руб.

Моментальная
доставка

Конфигурация Парсер Сайтов Объявлений (Авито avito.ru). Версия Проф
18.11.2016
1500 руб.

Моментальная
доставка

Конфигурация Парсер Сайтов Объявлений (Авито avito.ru). Версия Корп
18.11.2016
3000 руб.

Моментальная
доставка

Конфигурация Парсер Сайтов Объявлений (Авито avito.ru). Версия Спаммер
18.11.2016
5000 руб.

Моментальная
доставка

См. также

Подписаться Добавить вознаграждение

Комментарии

1. Алексей Мелко (Aziman) 21.03.16 13:05
Скажите, можно ли с помощью конфигурации версии проф получить данные о продаже жилья в Нижнем Новгороде, а потом отслеживать изменения в объявлениях(цене)?
2. Капитан Немо (capitan) 21.03.16 14:23
Если продавец изменяет цену, в объявлении будет указана новая цена и предыдущая.
Соответственно в 1С такое объявление попадет с заполненной предыдущей ценой.
Это можно будет увидеть прямо в форме списка справочника Объявления - такие цены будут выделены красным.
Или отчетом по объявлениям с фильтром по предыдущей цене.
Но если вы хотите полную динамику изменения цены понять (т.е. если продавец периодически изменяет цену) надо дописывать - периодический регистр сведений и в в него цену объявления заносить. Примерно час работы.
3. Капитан Немо (capitan) 21.03.16 14:25
(1) Aziman, Если продавец изменяет цену, в объявлении будет указана новая цена и предыдущая.
Соответственно в 1С такое объявление попадет с заполненной предыдущей ценой.
Это можно будет увидеть прямо в форме списка справочника Объявления - такие цены будут выделены красным.
Или отчетом по объявлениям с фильтром по предыдущей цене.
Но если вы хотите полную динамику изменения цены понять (т.е. если продавец периодически изменяет цену) надо дописывать - периодический регистр сведений и в в него цену объявления заносить. Примерно час работы.
4. Дмитрий Жулей (juleydim) 23.03.16 19:42
Пришлите информацию на почту о себе! у нас есть для вас готовая задача на парсинг! d.juley@glff.ru
Давно ищем специалистов которые могут реализовать!
5. Капитан Немо (capitan) 27.03.16 18:46
Понятно, что продать вагон кровельного железа - это стоит дорого, а вот программу написать - это как два байта об асфальт и стоит 5 копеек.
Обратите однако свой взор наверх и посмотрите стоимость часа работ, возможно она охладит ваш юношеский пыл.
6. Артём Андриянов (CSiER) 06.04.16 16:46
Спасибо за демо - было интересно посмотреть как сделано распознавание капчи... Но, как оказалось, авито решили не использовать капчу в мобильной версии (даже js файлы сжимать не стали).
7. Капитан Немо (capitan) 07.04.16 10:49
(6) CSiER, распознавание капчи нужно при отправке сообщений магазинам.
Это в старшей версии.
Поищите поиском по инфостарту - здесь есть публикация по распознаванию капчи методом подмены куки.
Мне правда сдается, что она не сработает на авито.
Я делал копированием картинки через буфер обмена.
8. Жолдашбек Косыгулов (c405512) 15.04.16 11:05
C Управление небольшой фирмой для Казахстана, редакция 1.5 получится настроить обмен автоматически ?
9. Капитан Немо (capitan) 15.04.16 12:32
С любой базой можно настроить обмен.
10. Виталий (vetrolet) 30.08.16 02:30
Добрый день! Подскажите, по какой причине не загружается телефон из объявления? Сделал все по инструкции, сначала загрузил объявление, затем подробную информацию. Гружу объявления по продаже квартир в Спб.
И еще вопрос, возможно ли доработать парсер так, чтобы загружались фотографии из объявлений, а не ссылки на них?
11. Капитан Немо (capitan) 30.08.16 10:51
(10) vetrolet, нет ничего постоянного в этом мире.
Верстальщики авито в наименовании класса ссылки вставили перенос строки.
Возможно это их косяк, возможно чтобы парсеры не расслаблялись.
В бесплатной версии пока я это исправлять не буду.
Тем более не вижу, чтобы конкретно вы ее вообще скачивали.
При наличии прямых рук все возможно сделать.
Принципиальной защиты от парсинга телефонов пока у авито нет.
Это же и ответ на ваш второй вопрос.
12. Виталий (vetrolet) 30.08.16 12:11
а в платных версиях в данный момент работает распознавание телефонов? И по фотографиям вы не ответили, возможна-ли доработка парсера для загрузки фотографий с авито?
13. Капитан Немо (capitan) 30.08.16 13:47
Я бы ответил немного по другому - те кого есть доступ к текстам модулей, у тех распознавание телефонов работает.
Давайте сразу расставлять точки над ё.
Мир ИТ находится в постоянном движении, сегодня что-то работает так, а завтра иначе.
1С 8.3 обновляется вообще каждую неделю.
Тут вариант точно такой же, либо вы платите за техподдержку, либо дорабатываете сами.
Можете меня поправить если я не прав.
А частные вопросы в плане доработок, все возможно - добро пожаловать в личные сообщения.
Для написания сообщения необходимо авторизоваться
Прикрепить файл
Дополнительные параметры ответа