Анализ сайта, создание файлов sitemap.xml и robots.txt, поиск внешних ссылок на сайте.

Обмен - Интеграция с WEB

Программа помогает Web-мастерам создавать файлы  sitemap.xml и robots.txt, а также отслеживать появление внешних ссылок на Вашем сайте.

Можно создавать файл вручную, но при разрастании сайта отслеживать за изменениями становится проблематично. 

Программа выполняет три процедуры:

  1. Скачивает сайт, ищет в нем ссылки, скачивает найденные ссылки и снова ищет на нем ссылки, до тех пор пока вся структура сайта не будет скачана. Всю собранную информацию программа собирает в справочник «Скачанные ссылки с сайта». Найденные внешние ссылки записываются в справочник «Внешние ссылки». Анализ внешних ссылок позволит исключить посторонний код на Вашем сайте.  Данная программа запускается отчетом «Прочитать структуру сайта и записать в справочник».  Для предотвращения зацикливания в константах надо указать число максимальное возможное количество скаченных страниц с сайта.
  2. Перенос данных из справочника найденных скачанных ссылок в справочник ссылок SiteMap и Robots. В справочнике ссылок SiteMap и Robots хранится информация о создании файлов. А именно: дата создания страницы, приоритеты, сроки обновления и т.д. Информацию туда можно вносить вручную или на основе собранной информации предыдущей обработки. Для переноса информации запустите отчет «Перенести скачанные файлы в справочник файлы Sitemap». Обработка перенесет информацию, если аналогичная ссылка уже находилась в справочнике, будет изменена только дата. При отсутствии ссылки создастся новая с параметрами по умолчанию.  Справочник «ссылок SiteMap и Robots» можно редактировать вручную,
  3. Создать файл sitemap.xml и robots.txt. Файлы создаются в каталоге, указанном в константах.
    После создания файлы можно переписать на свой сайт или отредактировать справочник и заново пересоздать файл. Файлы создаются по описанию файлов прочитанных с страниц согласно протоколу
    http://www.sitemaps.org/ru/protocol.html


Конфигурация содержит в себе справочник ссылок для файлов sitemap.xml и robots.txt, а также отчет создания файлов sitemap  и robots.

При формировании файла укажите домен сайта. Возможно создание файлов для нескольких сайтов.

Программа проверена на сайте
www.mailvirtual.ru  

для технической поддержки обращайтесь по электронной почте
info@mailvirtual.ru  или ICQ  443039.

Программа тестировалась на сайте http://www.mailvirtual.ru  2122 страниц
При отправке вопроса укажите название сайта.  Спасибо за понимание.

Скачать файлы

Наименование Файл Версия Размер
Информационная база
.dt 84,35Kb
14.06.15
9
.dt 01 84,35Kb 9 Скачать
Описание программы
.doc 263,00Kb
14.06.15
2
.doc 01 263,00Kb 2 Скачать

См. также

Комментарии
1. Максим Кузнецов (Makushimo) 151 17.06.15 07:00 Сейчас в теме
назначение этой разработки в том, чтобы отлавливать вирусы и всякие атаки на сайт?
2. Вадим Купинов (izofen) 12 17.06.15 10:40 Сейчас в теме
Совершенно верно.
Если сайт взломан, то скорее всего на нем разместят ссылку на гвн-сайт. Все думают что мой сайт этого избежит, но при анализе всплывают куча ссылок которые надо удалять. Кроме этого создается файл sitemap и robots c обновленной информацией, а goole и yandex это нравиться и они чаще его посещают. Если нужна база (url зоны RU и SU) больше 8 мил. записей для поиска таких уязвимостей могу выслать – безвозмездно, то есть даром.
3. Maxim Maxim (miavolas) 136 25.07.15 12:43 Сейчас в теме
4. Вадим Купинов (vikupinov) 29.06.16 07:23 Сейчас в теме
Все больше интересных обработок для связи с внешним миром
5. Трейдер Трейдерович (trader7777777) 27.07.16 10:44 Сейчас в теме
Планируется ли развитие обработки или описание чего нибудь еще интересного из этой темы?
6. writer info (writer_info) 10.02.17 14:05 Сейчас в теме
Автор пишет, что тестировал обработку на примере сайта какого то сайта , странно...я в принципе не нашел на этом ресурсе файла sitemap указываю в браузере http://mailvirtual.ru/sitemap.xml и не получаю ответа... решил сгенерировать такой файл указав простенькую ссылку http://1c-alfa-avto.ru/ и опять не работает..
Прошу откликнуться автора
Оставьте свое сообщение