Heritrix - Heritrix

Heritrix
Heritrix logo.png
Снимок экрана консоли администратора Heritrix.
Снимок экрана консоли администратора Heritrix.
Стабильный выпуск
3.4.0 / 3 августа 2020 г. (2020-08-03)
Репозиторий
Отредактируйте это в Викиданных
Написано вЯва
Операционная системаLinux /Unix-подобный /Windows (не поддерживается)
ТипПоисковый робот
ЛицензияЛицензия Apache
Интернет сайтgithub.com/ internetarchive/ heritrix3/ wiki

Heritrix это поисковый робот предназначен для веб-архивирование. Это было написано Интернет-архив. Он доступен под лицензия на бесплатное программное обеспечение и написано в Ява. Основной интерфейс доступен через веб-браузер, и есть командная строка инструмент, который при желании можно использовать для запуска сканирования.

Heritrix был разработан совместно Интернет-архивом и скандинавскими национальными библиотеками по спецификациям, написанным в начале 2003 года. Первый официальный выпуск был выпущен в январе 2004 года и постоянно улучшался сотрудниками Интернет-архива и другими заинтересованными сторонами.

Heritrix не был основным поисковым роботом, который использовался для сканирования содержимого веб-коллекции Internet Archive в течение многих лет.[1] Наибольший вклад в сборник по состоянию на 2011 г. Alexa Интернет.[1] Alexa сканирует Интернет в своих целях,[1] используя краулер с именем ia_archiver. Затем Алекса передает материалы в Интернет-архив.[1] Сам Internet Archive частично сканировал с помощью Heritrix, но только в меньшем масштабе.[1]

Начиная с 2008 года, Internet Archive начал улучшать производительность для своего собственного широкомасштабного сканирования, и теперь действительно собирает большую часть своего контента.[2][неудачная проверка ]

Проекты с использованием Heritrix

Ряд организаций и национальных библиотек используют Heritrix, среди них:[нужна цитата ]

Файлы дуги

Старые версии Heritrix по умолчанию сохраняли сканируемые веб-ресурсы в файле Arc. Этот формат файла не имеет отношения к ARC (формат файла).Этот формат используется Интернет-архивом с 1996 года для хранения своих веб-архивов. Совсем недавно он по умолчанию сохраняется в Формат файла WARC, который похож на ARC, но более точно определен и более гибкий. Heritrix также можно настроить для хранения файлов в формате каталогов, аналогичном формату Wget поисковый робот, который использует URL-адрес для присвоения имени каталогу и имени файла каждого ресурса.

Файл Arc хранит несколько заархивированных ресурсов в одном файле, чтобы избежать управления большим количеством небольших файлов. Файл состоит из последовательности URL-записей, каждая из которых имеет заголовок, содержащий метаданные о том, как был запрошен ресурс, за которым следует Заголовок HTTP и ответ. Размер файлов Arc составляет от 100 до 600 МБ.[нужна цитата ]

Пример:

filedesc: //IA-2006062.arc 0.0.0.0 20060622190110 текст / простой 761 1 ИнтернетАрхивURL IP-адрес Дата архива Тип содержимого Длина архиваhttp://foo.edu:80/hello.html 127.10.100.2 19961104142103 text / html 187HTTP/1.1 200 OkДата: Чт, 22 июня 2006 г., 19:01:15 GMTСервер: ApacheПоследнее изменение: Сб, 10 июн 2006 22:33:11 GMTContent-Length: 30Тип содержимого: текст / html<html>Привет, мир!!!</html>

Инструменты для обработки файлов Arc

Heritrix включает инструмент командной строки под названием Arcreader который можно использовать для извлечения содержимого файла Arc. Следующая команда выводит список всех URL-адресов и метаданных, хранящихся в данном файле Arc (в CDX формат):

arcreader IA-2006062.arc

Следующая команда извлекает hello.html из приведенного выше примера, предполагая, что запись начинается со смещения 140:

arcreader -o 140 -f дамп IA-2006062.arc

Другие инструменты:

Инструменты командной строки

Heritrix поставляется с несколькими инструментами командной строки:

  • htmlextractor - отображает ссылки, которые Heritrix извлечет для данного URL
  • hoppath.pl - воссоздает путь перехода (путь ссылок) к указанному URL из завершенного сканирования
  • manifest_bundle.pl - объединяет все ресурсы, на которые ссылается файл манифеста сканирования, в несжатый или сжатый tar-шар
  • cmdline-jmxclient - включает управление Heritrix из командной строки
  • Arcreader - извлекает содержимое файлов ARC (см. выше)

Дополнительные инструменты доступны как часть проекта warctools Internet Archive.[5]

Смотрите также

Рекомендации

По состоянию на это редактирование, в этой статье используется контент из «Re: Контроль над Интернет-архивом, кроме« Запретить / »?», который лицензирован таким образом, чтобы разрешить повторное использование в соответствии с Creative Commons Attribution-ShareAlike 3.0 Непортированная лицензия, но не под GFDL. Все соответствующие условия должны быть соблюдены.

  1. ^ а б c d е Крис (6 сентября 2011 г.). "Re: Контроль над Интернет-архивом помимо" Запретить / "?". Обмен стеками профессиональных веб-мастеров. Stack Exchange, Inc. Получено 7 января, 2013.
  2. ^ "Wayback Machine: теперь с 240 000 000 000 URL-адресов - Интернет-архив блогов". blog.archive.org. Получено 11 сентября 2017.
  3. ^ "О сайте - Интернет-архив (Библиотека Конгресса)". www.loc.gov. Получено 2017-10-29.
  4. ^ Веб-архивирование Technische aspecten bij - Koninklijke Bibliotheek. www.kb.nl. Получено 11 сентября 2017.
  5. ^ "warctools". 25 августа 2017 г.. Получено 11 сентября 2017 - через GitHub.
  1. Бёрнер М. (1997). «Ползем в вечность - строим архив всемирной паутины». Веб-методы. 2 (5). Архивировано из оригинал 1 января 2008 г.
  2. Мор, Г., Кимптон, М., Стек, М., Ранитович, И. (2004). "Знакомство с Heritrix, поисковым роботом архивного качества" (PDF). Материалы 4-го Международного семинара по веб-архивированию (IWAW’04). Архивировано из оригинал (PDF) на 2011-06-12. Получено 2007-03-09.CS1 maint: несколько имен: список авторов (связь)
  3. Сигурэссон, К. (2005). «Инкрементальное сканирование с Херитриксом» (PDF). Материалы 5-го Международного семинара по веб-архивированию (IWAW’05). Архивировано из оригинал (PDF) на 2011-06-12. Получено 2006-06-23.

внешняя ссылка

Инструменты из Интернет-архива:

Ссылки на связанные инструменты: