BotSeer - BotSeer

BotSeer была веб-информационной системой и поисковым инструментом, который использовался для исследования веб-роботов и тенденций в Протокол исключения роботов развертывание и соблюдение. Он был создан и разработан Ян Сунь,[1] Исаак Г. Каунцилл,[2] Цзымин Чжуан[3] и К. Ли Джайлс. BotSeer теперь неактивен; исходный URL-адрес был https://web.archive.org/web/20100208214818/http://botseer.ist.psu.edu/

История

BotSeer служил ресурсом для изучения правил и поведения веб-роботов, а также информацией о создании эффективных файлов robots.txt и реализациях поисковых роботов. Он был общедоступен в Интернете в Колледже информационных наук и технологий в Государственный университет Пенсильвании.

BotSeer предоставил три основных сервиса, включая поиск в robots.txt, анализ смещения роботов и[4][5] и анализ журналов, созданный роботами. Прототип BotSeer также позволил пользователям выполнять поиск в шести тысячах файлов документации и исходных кодах 18 проектов поисковых роботов с открытым исходным кодом.

BotSeer проиндексировал и проанализировал 2,2 миллиона файлов robots.txt, полученных с 13,2 миллиона веб-сайтов, а также большой журнал веб-сервера о реальном поведении роботов и соответствующий анализ. Цели BotSeer заключались в том, чтобы помочь исследователям, веб-мастерам, разработчикам поисковых роботов и другим лицам в исследованиях и информационных потребностях, связанных с веб-роботами. Однако некоторые люди восприняли BotSeer отрицательно, утверждая, что это противоречит цели соглашения robots.txt.[6]

BotSeer также создал горшок меда[7] для проверки этики, производительности и поведения поисковые роботы.

использованная литература

  • «Веб-мастера могут формировать результаты поиска». Newsvine. Ассошиэйтед Пресс. 28 ноября 2007 г.. Получено 2011-12-11.

Заметки

  1. ^ "Ян Сунь". Архивировано из оригинал на 2014-01-04. Получено 2019-06-13.
  2. ^ Исаак Г. Каунцилл В архиве 17 мая 2014 г. Wayback Machine
  3. ^ Цзымин Чжуан В архиве 28 декабря 2007 г. Wayback Machine
  4. ^ Ян Сунь, З. Чжуан, И. Сунцилл, К.Л. Джайлз, Определение предвзятости поисковых систем из файла robots.txt В архиве 2015-04-02 в Wayback Machine, Материалы Международной конференции IEEE / WIC / ACM по веб-аналитике (WI 2007), 149-155, 2007.
  5. ^ http://www.zoomwebmedia.com/search-engine-optimization.php
  6. ^ BotSeer? - Форумы поисковых систем с лучшими методами SEO
  7. ^ Тест поведения и производительности веб-роботов на Wayback Machine (архивировано 22 декабря 2008 г.) (вместо несвязанный текущий сайт )

внешние ссылки

Смотрите также