gifts2017

Анализ сайта, создание файлов sitemap.xml и robots.txt, поиск внешних ссылок на сайте.

Опубликовал Вадим Купинов (izofen) в раздел Обмен - Интеграция с WEB

Программа помогает Web-мастерам создавать файлы  sitemap.xml и robots.txt, а также отслеживать появление внешних ссылок на Вашем сайте.

Можно создавать файл вручную, но при разрастании сайта отслеживать за изменениями становится проблематично. 

Программа выполняет три процедуры:

  1. Скачивает сайт, ищет в нем ссылки, скачивает найденные ссылки и снова ищет на нем ссылки, до тех пор пока вся структура сайта не будет скачана. Всю собранную информацию программа собирает в справочник «Скачанные ссылки с сайта». Найденные внешние ссылки записываются в справочник «Внешние ссылки». Анализ внешних ссылок позволит исключить посторонний код на Вашем сайте.  Данная программа запускается отчетом «Прочитать структуру сайта и записать в справочник».  Для предотвращения зацикливания в константах надо указать число максимальное возможное количество скаченных страниц с сайта.
  2. Перенос данных из справочника найденных скачанных ссылок в справочник ссылок SiteMap и Robots. В справочнике ссылок SiteMap и Robots хранится информация о создании файлов. А именно: дата создания страницы, приоритеты, сроки обновления и т.д. Информацию туда можно вносить вручную или на основе собранной информации предыдущей обработки. Для переноса информации запустите отчет «Перенести скачанные файлы в справочник файлы Sitemap». Обработка перенесет информацию, если аналогичная ссылка уже находилась в справочнике, будет изменена только дата. При отсутствии ссылки создастся новая с параметрами по умолчанию.  Справочник «ссылок SiteMap и Robots» можно редактировать вручную,
  3. Создать файл sitemap.xml и robots.txt. Файлы создаются в каталоге, указанном в константах.
    После создания файлы можно переписать на свой сайт или отредактировать справочник и заново пересоздать файл. Файлы создаются по описанию файлов прочитанных с страниц согласно протоколу
    http://www.sitemaps.org/ru/protocol.html


Конфигурация содержит в себе справочник ссылок для файлов sitemap.xml и robots.txt, а также отчет создания файлов sitemap  и robots.

При формировании файла укажите домен сайта. Возможно создание файлов для нескольких сайтов.

Программа проверена на сайте
www.mailvirtual.ru  

для технической поддержки обращайтесь по электронной почте
info@mailvirtual.ru  или ICQ  443039.

Программа тестировалась на сайте http://www.mailvirtual.ru  2122 страниц
При отправке вопроса укажите название сайта.  Спасибо за понимание.

Скачать файлы

Наименование Файл Версия Размер Кол. Скачив.
Информационная база
.dt 84,35Kb
14.06.15
8
.dt 01 84,35Kb 8 Скачать
Описание программы
.doc 263,00Kb
14.06.15
2
.doc 01 263,00Kb 2 Скачать

См. также

Подписаться Добавить вознаграждение

Комментарии

1. Максим Кузнецов (Makushimo) 17.06.15 07:00
назначение этой разработки в том, чтобы отлавливать вирусы и всякие атаки на сайт?
2. Вадим Купинов (izofen) 17.06.15 10:40
Совершенно верно.
Если сайт взломан, то скорее всего на нем разместят ссылку на гвн-сайт. Все думают что мой сайт этого избежит, но при анализе всплывают куча ссылок которые надо удалять. Кроме этого создается файл sitemap и robots c обновленной информацией, а goole и yandex это нравиться и они чаще его посещают. Если нужна база (url зоны RU и SU) больше 8 мил. записей для поиска таких уязвимостей могу выслать – безвозмездно, то есть даром.
3. Maxim Maxim (miavolas) 25.07.15 12:43
4. Вадим Купинов (vikupinov) 29.06.16 07:23
Все больше интересных обработок для связи с внешним миром
5. Трейдер Трейдерович (trader7777777) 27.07.16 10:44
Планируется ли развитие обработки или описание чего нибудь еще интересного из этой темы?
Для написания сообщения необходимо авторизоваться
Прикрепить файл
Дополнительные параметры ответа