Поисковый движок - Search engine

Результаты поиска по запросу "лунное затмение" в веб- поиск изображений двигатель

А поисковый движок это программная система, предназначенная для выполнения поиск в Интернете (Поиск в Интернете), что означает поиск Всемирная паутина систематическим образом для конкретной информации, указанной в текстовом поисковый запрос в Интернете. Результаты поиска обычно представлены в виде строки результатов, часто называемой страницы результатов поисковой системы (Поисковая выдача). Информация может представлять собой сочетание ссылок на веб-страница, изображения, видео, инфографика, статьи, исследовательские работы и другие типы файлов. Некоторые поисковые системы также мои данные доступно в базы данных или же открытые каталоги. В отличие от веб-каталоги, которые обслуживаются только редакторами, поисковые системы также поддерживают в реальном времени информацию, запустив алгоритм на поисковый робот. Интернет-контент, который не может быть найден поисковой системой в Интернете, обычно описывается как глубокая паутина.

История

График (Полный список )
ГодДвигательТекущее состояние
1993W3КаталогАктивный
AliwebАктивный
JumpStationНеактивный
WWW ЧервьНеактивный
1994WebCrawlerАктивный
Go.comНеактивен, перенаправляет на Disney
LycosАктивный
InfoseekНеактивен, перенаправляет на Disney
1995Yahoo! ПоискАктивный, изначально функция поиска для Yahoo! Каталог
ДаумАктивный
МагелланНеактивный
ВозбудитьАктивный
SAPOАктивный
MetaCrawlerАктивный
AltaVistaНеактивно, приобретено Yahoo! в 2003 году с 2013 года перенаправляет на Yahoo!
1996RankDexНеактивен, включен в Baidu в 2000 г.
Собачья кучаАктивный, Агрегатор
ИнктомиНеактивно, приобретено Yahoo!
HotBotАктивный
Спросите ДживсаАктивный (переименован в ask.com)
1997AOL NetFindАктивный (переименован Поиск AOL с 1999 г.)
Северное сияниеНеактивный
ЯндексАктивный
1998GoogleАктивный
IxquickАктивен как Startpage.com
Поиск MSNАктивен как Bing
эмпасНеактивно (объединено с NATE)
1999AlltheWebНеактивен (URL-адрес перенаправлен на Yahoo!)
GenieKnowsАктивный, ребрендированный Yellowee (перенаправление на justlocalbusiness.com)
NaverАктивный
ТеомаАктив (© АПН, ООО)
2000BaiduАктивный
ExaleadНеактивный
ГигабластАктивный
2001KartooНеактивный
2003Info.comАктивный
ScroogleНеактивный
2004A9.comНеактивный
ClustyАктивный (как Yippy)
MojeekАктивный
СогоуАктивный
2005Найди меняНеактивный
KidzSearchАктивный, поиск в Google
2006Так-такНеактивен, объединен с Согоу
QuaeroНеактивный
Search.comАктивный
ЧаЧаНеактивный
Ask.comАктивный
Живой поискАктивен как Bing, имеет ребрендинг MSN Search
2007викисикНеактивный
SprooseНеактивный
Wikia SearchНеактивный
Blackle.comАктивный, поиск в Google
2008PowersetНеактивен (перенаправляет на Bing)
ПиколлаторНеактивный
ViewziНеактивный
БугамиНеактивный
LeapFishНеактивный
ForestleНеактивен (перенаправляет на Ecosia)
УткаУткаАктивный
2009BingАктивный интерактивный поиск с ребрендингом
YebolНеактивный
МугурдыНеактивен из-за отсутствия финансирования
Разведчик (бычок)Активный
NATEАктивный
EcosiaАктивный
Startpage.comАктивный, родственный двигатель Ixquick
2010БлеккоНеактивен, продан IBM
CuilНеактивный
Яндекс (Английский)Активный
ПарсиджуАктивный
2011YaCyАктивный, P2P
2012VoluniaНеактивный
2013QwantАктивный
2014ЭгеринАктивный, Курдский / Сорани
SwisscowsАктивный
2015ЙузАктивный
CliqzНеактивный
2016KiddleАктивный, поиск в Google

Идея индексирования информации возникла еще в 1945 году в Ванневар Буш The Atlantic Monthly статья "Как мы можем думать ".[1] Ванневар подчеркнул важность информации в будущем и необходимость для ученых разработать способ включения информации, найденной в журналах.[2] Он предложил устройство памяти под названием Memex, используется для сжатия и хранения информации, которая затем может быть извлечена быстро и гибко.[3] Сами поисковые системы в Интернете появились еще до появления Интернета в декабре 1990 года. Кто поиск пользователей датируется 1982 годом[4] и Информационная служба Knowbot Многосетевой поиск пользователей впервые был реализован в 1989 году.[5] Первая хорошо документированная поисковая система, выполнявшая поиск файлов с контентом, а именно FTP файлы, было Арчи, который дебютировал 10 сентября 1990 года.[6]

До сентября 1993 г. Всемирная паутина был полностью проиндексирован вручную. Был список веб-серверы Отредактировано Тим Бернерс-Ли и размещен на ЦЕРН веб сервер. Один снимок списка 1992 года остается,[7] но по мере того, как в сеть выходило все больше и больше веб-серверов, центральный список уже не успевал. На NCSA сайта были анонсированы новые серверы под заголовком «Что нового!»[8]

Первый инструмент, используемый для поиска контента (в отличие от пользователей) на Интернет был Арчи.[9] Название расшифровывается как «архив» без «v».,[10] Он был создан Алан Эмтадж[10][11][12][13] студент информатики в Университет Макгилла в Монреаль, Квебек, Канада. Программа загрузила списки каталогов всех файлов, находящихся на общедоступном анонимном FTP (протокол передачи файлов ) сайты, создающие базу данных имен файлов с возможностью поиска; тем не мение, Поисковая система Archie не индексировали содержимое этих сайтов, поскольку объем данных был настолько ограничен, что их можно было легко найти вручную.

Подъем Суслик (создан в 1991 г. Марк МакКахилл на Университет Миннесоты ) привело к появлению двух новых поисковых программ, Вероника и Джагхед. Как и Арчи, они искали имена и заголовки файлов, хранящиеся в индексных системах Gopher. Вероника (Vэри Eаси родент-Овозбужденный Nпо всему миру яndex к Cкомпьютеризованный Аrchives) обеспечил поиск по ключевым словам большинства заголовков меню Gopher во всех списках Gopher. Джагхед (Jонзи Uуниверсальный граммофер ЧАСиерархия Eкавитация Аnd Display) был инструментом для получения информации о меню с определенных серверов Gopher. Пока название поисковика "Поисковая система Archie "не было ссылкой на Комикс Арчи серии, "Вероника " и "Джагхед "- персонажи сериала, отсылающие к своему предшественнику.

Летом 1993 года поисковой машины для Интернета не существовало, хотя многочисленные специализированные каталоги поддерживались вручную. Оскар Нирстраз на Женевский университет написал серию Perl скрипты, которые периодически отображали эти страницы и переписывали их в стандартный формат. Это легло в основу W3Каталог, первая примитивная поисковая система в Интернете, выпущенная 2 сентября 1993 года.[14]

В июне 1993 года Мэтью Грей, затем в Массачусетский технологический институт, произвел, вероятно, первый веб-робот, то Perl -основан Странник по всемирной паутине, и использовал его для создания индекса под названием «Вандекс». Целью Wanderer было измерить размер Всемирной паутины, что он и делал до конца 1995 года. Вторая поисковая машина в сети. Aliweb появился в ноябре 1993 года. Aliweb не использовал веб-робот, но вместо этого зависели от уведомлений администраторов веб-сайтов о существовании на каждом сайте индексного файла в определенном формате.

JumpStation (создан в декабре 1993 г.[15] к Джонатон Флетчер ) использовал веб-робот для поиска веб-страниц и создания их индекса и использовал веб-форма как интерфейс к его программе запросов. Таким образом, это был первый WWW инструмент обнаружения ресурсов для объединения трех основных функций поисковой системы в Интернете (сканирование, индексирование и поиск), как описано ниже. Из-за ограниченных ресурсов, доступных на платформе, на которой он работал, его индексация и, следовательно, поиск были ограничены заголовками и заголовками, найденными на веб-страницах, с которыми столкнулся поисковый робот.

Одной из первых поисковых систем, основанных на полностью текстовых роботах, была WebCrawler, который вышел в 1994 году. В отличие от своих предшественников, он позволял пользователям искать любое слово на любой веб-странице, что с тех пор стало стандартом для всех основных поисковых систем. Это была также поисковая машина, которая была широко известна публике. Также в 1994 г. Lycos (который начался в Университет Карнеги Меллон ) был запущен и стал крупным коммерческим предприятием.

Первой популярной поисковой системой в Интернете была Yahoo! Поиск.[16] Первый продукт от Yahoo!, основан Джерри Янг и Дэвид Фило в январе 1994 г. Интернет-каталог называется Yahoo! Каталог. В 1995 году была добавлена ​​функция поиска, позволяющая пользователям выполнять поиск в Yahoo! Справочник![17][18] Он стал одним из самых популярных способов найти интересующие веб-страницы, но его функция поиска работала в его веб-каталоге, а не в полнотекстовых копиях веб-страниц.

Вскоре после этого появился ряд поисковых систем, которые боролись за популярность. К ним относятся Магеллан, Возбудить, Infoseek, Инктоми, Северное сияние, и AltaVista. Ищущие информацию могут также просматривать каталог вместо поиска по ключевым словам.

В 1996 г. Робин Ли разработал RankDex алгоритм оценки сайта для ранжирования страниц результатов поисковых систем[19][20][21] и получил патент США на технологию.[22] Это была первая поисковая система, которая использовала гиперссылки для измерения качества индексируемых веб-сайтов,[23] предшествующий очень похожему патенту на алгоритм, поданному Google два года спустя, в 1998 году.[24] Ларри Пейдж сослался на работу Ли в некоторых своих патентах США на PageRank.[25] Позже Ли использовал свою технологию Rankdex для Baidu поисковая система, основанная Робином Ли в Китае и запущенная в 2000 году.

В 1996 г. Netscape стремился предоставить единственной поисковой системе эксклюзивную сделку в качестве популярной поисковой системы в веб-браузере Netscape. Интерес был настолько велик, что вместо этого Netscape заключила сделки с пятью основными поисковыми машинами: за 5 миллионов долларов в год каждая поисковая машина будет попеременно отображаться на странице поисковой системы Netscape. Пятью движками были Yahoo !, Magellan, Lycos, Infoseek и Excite.[26][27]

Google переняла идею продажи поисковых запросов в 1998 году от небольшой поисковой компании под названием goto.com. Этот шаг оказал значительное влияние на бизнес SE, который превратился из тяжелого бизнеса в один из самых прибыльных предприятий в Интернете.[28]

Поисковые системы также были известны как одни из самых ярких звезд в безумном инвестировании в Интернет, которое произошло в конце 1990-х годов.[29] Несколько компаний впечатляюще вышли на рынок, получив рекордные прибыли за время своего существования. первичные публичные предложения. Некоторые закрыли свои общедоступные поисковые системы и продают корпоративные версии, такие как Northern Light. Многие поисковые компании оказались в ловушке пузырь доткомов, рыночный бум, вызванный спекуляциями, пик которого пришелся на 1990 год и закончился в 2000 году.

Около 2000 г. Поисковая система Google стал известен.[30] Компания добилась лучших результатов по многим поисковым запросам с помощью алгоритма под названием PageRank, как было объяснено в статье Анатомия поисковой системы написано Сергей Брин и Ларри Пейдж, более поздние основатели Google.[31] Этот итерационный алгоритм ранжирует веб-страницы на основе количества и PageRank других веб-сайтов и страниц, которые на них ссылаются, исходя из того, что хорошие или желательные страницы связаны больше, чем другие. Патент Ларри Пейджа на PageRank цитирует Робин Ли раньше RankDex патент как влияние.[25][32] Google также сохранил минималистичный интерфейс своей поисковой системы. Напротив, многие из его конкурентов встроили поисковую систему в Веб-портал. Фактически, поисковая система Google стала настолько популярной, что появились спуфинговые системы, такие как Искатель тайн.

К 2000 г. Yahoo! предоставлял поисковые услуги на основе поисковой системы Inktomi. Yahoo! приобрела Inktomi в 2002 году и Увертюра (который владел AlltheWeb и AltaVista) в 2003 году. Yahoo! перешла на поисковую систему Google до 2004 года, когда она запустила свою собственную поисковую систему, основанную на комбинированных технологиях своих приобретений.

Microsoft впервые запустил поиск MSN осенью 1998 года, используя результаты поиска Inktomi. В начале 1999 г. на сайте стали появляться объявления из Выглядит умным, в сочетании с результатами от Inktomi. На короткое время в 1999 году поисковая система MSN вместо этого использовала результаты AltaVista. В 2004 г. Microsoft начал переход на собственную технологию поиска, основанную на собственном поисковый робот (называется msnbot ).

Ребрендинг поисковой системы Microsoft, Bing, был запущен 1 июня 2009 года. 29 июля 2009 года Yahoo! и Microsoft заключили сделку, по которой Yahoo! Поиск будет работать на технологии Microsoft Bing.

По состоянию на 2019 год активные сканеры поисковых систем включают Google, Согоу, Baidu, Bing, Гигабласт, Mojeek, УткаУтка и Яндекс.

Подход

Поисковая система поддерживает следующие процессы почти в реальном времени:

  1. Веб-сканирование
  2. Индексирование
  3. Поиск[33]

Поисковые системы получают информацию сканирование сети с сайта на сайт. "Паук" проверяет стандартное имя файла robots.txt, обратился к нему. Файл robots.txt содержит директивы для поисковых роботов, указывающие, какие страницы сканировать. Проверив файл robots.txt и найдя его или нет, паук отправляет определенную информацию обратно в индексированный в зависимости от многих факторов, таких как заголовки, содержание страницы, JavaScript, Каскадные таблицы стилей (CSS), заголовки или их метаданные в HTML Мета-теги. После определенного количества просканированных страниц, проиндексированных данных или времени, проведенного на сайте, паук прекращает сканирование и продолжает свое движение. "[Нет] веб-сканер может фактически сканировать всю доступную сеть. Из-за бесконечного количества веб-сайтов, ловушек пауков, спама и других требований реальной сети поисковые роботы вместо этого применяют политику сканирования, чтобы определить, когда сканирование сайта должно считаться достаточно. Некоторые веб-сайты сканируются полностью, а другие - только частично ".[34]

Индексирование означает связывание слов и других определяемых токенов, найденных на веб-страницах, с их доменными именами и HTML -основные поля. Связи размещаются в общедоступной базе данных, доступной для поисковых запросов в Интернете. Запрос от пользователя может состоять из одного слова, нескольких слов или предложения. Индекс помогает как можно быстрее найти информацию, относящуюся к запросу.[33] Некоторые методы индексации и кеширование являются коммерческой тайной, тогда как сканирование Интернета - это простой процесс посещения всех сайтов на систематической основе.

Между визитами паук, кешированная версия страницы (часть или весь контент, необходимый для ее отображения), хранящаяся в рабочей памяти поисковой системы, быстро отправляется запрашивающему. Если визит просрочен, поисковая система может просто действовать как веб-прокси вместо. В этом случае страница может отличаться от проиндексированных поисковых запросов.[33] Кэшированная страница сохраняет внешний вид версии, слова которой были ранее проиндексированы, поэтому кешированная версия страницы может быть полезна для веб-сайта, когда фактическая страница была потеряна, но эта проблема также считается легкой формой Linkrot.

Архитектура высокого уровня стандартного поискового робота

Обычно, когда пользователь входит в запрос в поисковике это несколько ключевые слова.[35] В индекс уже есть названия сайтов, содержащих ключевые слова, и они мгновенно получаются из индекса. Реальная нагрузка обработки связана с созданием веб-страниц, которые являются списком результатов поиска: каждая страница во всем списке должна быть взвешенный согласно информации в указателях.[33] Тогда для элемента результатов поиска с наибольшей популярностью требуется поиск, реконструкция и разметка фрагменты показывающий контекст совпадающих ключевых слов. Это только часть обработки, необходимой для каждой веб-страницы результатов поиска, а для последующих страниц (рядом с верхними) требуется дополнительная обработка этой публикации.

Помимо простого поиска по ключевым словам, поисковые системы предлагают собственные операторы с графическим интерфейсом или командами и параметры поиска для уточнения результатов поиска. Они обеспечивают необходимые элементы управления для пользователя, вовлеченного в цикл обратной связи, который пользователи создают фильтрация и взвешивание при уточнении результатов поиска с учетом начальных страниц первых результатов поиска. Например, с 2007 года поисковая система Google.com позволяла фильтр по дате, щелкнув «Показать инструменты поиска» в крайнем левом столбце начальной страницы результатов поиска, а затем выбрав нужный диапазон дат.[36] Также возможно масса по дате, потому что у каждой страницы есть время модификации. Большинство поисковых систем поддерживают использование логические операторы И, ИЛИ, и НЕ, чтобы помочь конечным пользователям уточнить поисковый запрос. Логические операторы предназначены для буквального поиска, которые позволяют пользователю уточнить и расширить условия поиска. Двигатель ищет слова или фразы в точности так, как они были введены. Некоторые поисковые системы предоставляют расширенную функцию, называемую поиск близости, который позволяет пользователям определять расстояние между ключевыми словами.[33] Существует также концептуальный поиск где исследование предполагает использование статистического анализа страниц, содержащих искомые слова или фразы. Кроме того, запросы на естественном языке позволяют пользователю вводить вопрос в той же форме, в которой он задается человеку.[37] Такой сайт будет называться ask.com.[38]

Полезность поисковой системы зависит от актуальность из набор результатов он отдает. Хотя могут быть миллионы веб-страниц, содержащих определенное слово или фразу, некоторые страницы могут быть более релевантными, популярными или авторитетными, чем другие. Большинство поисковых систем используют методы классифицировать результаты, чтобы сначала обеспечить «лучшие» результаты. То, как поисковая система определяет, какие страницы лучше всего подходят и в каком порядке должны отображаться результаты, сильно различается от одной системы к другой.[33] Методы также меняются с течением времени по мере изменения использования Интернета и появления новых технологий. Развиваются два основных типа поисковых систем: первый - это система заранее определенных и иерархически упорядоченных ключевых слов, которые люди широко запрограммировали. Другой - система, которая генерирует "инвертированный индекс "путем анализа найденных текстов. Эта первая форма в гораздо большей степени полагается на сам компьютер, который выполняет основную часть работы.

Большинство поисковых систем - это коммерческие предприятия, поддерживаемые Реклама доход, и поэтому некоторые из них позволяют рекламодателям повысить рейтинг своих объявлений в результатах поиска за определенную плату. Поисковые системы, которые не принимают деньги за результаты поиска, зарабатывают деньги, запустив поиск похожих объявлений наряду с обычными результатами поиска. Поисковые системы зарабатывают деньги каждый раз, когда кто-то нажимает на одно из этих объявлений.[39]

С развитием технологий были разработаны новые способы поиска, такие как поиск 3D-моделей. Некоторые 3D-порталы используют поисковые системы по термину, форме, цвету, функциональности, эскизу / рисунку и т. Д.


Локальный поиск

Локальный поиск это процесс, оптимизирующий усилия местных предприятий. Они сосредоточены на изменениях, чтобы обеспечить согласованность всех поисковых запросов. Это важно, потому что многие люди определяют, куда они планируют пойти и что купить, на основе своих запросов.[40]

Рыночная доля

По состоянию на сентябрь 2020 г.,[41] Google это самая используемая поисковая система в мире с долей рынка 92,96%, а самые популярные поисковые системы в мире:

Восточная Азия и Россия

В России, Яндекс занимает 61,9% рынка по сравнению с 28,3% у Google.[42] В Китае Baidu - самая популярная поисковая система.[43] Собственный поисковый портал Южной Кореи, Naver, используется для 70 процентов онлайн-поисков в стране.[44] Yahoo! Япония и Yahoo! Тайвань являются наиболее популярными способами поиска в Интернете в Японии и на Тайване соответственно.[45] Китай - одна из немногих стран, где Google не входит в первую тройку поисковых систем по доле рынка. Ранее Google был ведущей поисковой системой в Китае, но был вынужден отказаться от нее из-за несоблюдения законов Китая.[46]

Европа

На рынках большинства стран Западной Европы доминирует Google, за исключением Чехия, куда Сезнам сильный конкурент.[47]

Предвзятость поисковой системы

Хотя поисковые системы запрограммированы на ранжирование веб-сайтов на основе некоторой комбинации их популярности и релевантности, эмпирические исследования указывают на различные политические, экономические и социальные предубеждения в предоставляемой ими информации.[48][49] и основные предположения о технологии.[50] Эти предубеждения могут быть прямым результатом экономических и коммерческих процессов (например, компании, которые размещают рекламу в поисковой системе, также могут стать более популярными в своих обычный поиск результаты) и политические процессы (например, удаление результатов поиска в соответствии с местным законодательством).[51] Например, Google не покажет определенные неонацистский сайты во Франции и Германии, где Отрицание холокоста незаконно.

Предубеждения также могут быть результатом социальных процессов, поскольку алгоритмы поисковых систем часто предназначены для исключения ненормативных точек зрения в пользу более «популярных» результатов.[52] Алгоритмы индексирования основных поисковых систем смещены в сторону охвата сайтов из США, а не из стран, не входящих в США.[49]

Google Bombing является одним из примеров попытки манипулировать результатами поиска по политическим, социальным или коммерческим причинам.

Несколько ученых изучали культурные изменения, вызванные поисковыми системами,[53] и представление некоторых спорных тем в их результатах, таких как терроризм в Ирландии,[54] отрицание изменения климата,[55] и теории заговора.[56]

Индивидуальные результаты и пузыри фильтров

Многие поисковые системы, такие как Google и Bing, предоставляют индивидуальные результаты на основе истории активности пользователя. Это приводит к эффекту, который получил название пузырьковый фильтр. Этот термин описывает явление, при котором веб-сайты используют алгоритмы выборочно угадывать, какую информацию пользователь хотел бы видеть, основываясь на информации о пользователе (например, о местонахождении, прошлых кликах и истории поиска). В результате веб-сайты, как правило, показывают только ту информацию, которая соответствует предыдущей точке зрения пользователя. Это ставит пользователя в состояние интеллектуальной изоляции без информации об обратном. Яркие примеры - Google персонализированный поиск результаты и Facebook персонализированный поток новостей. В соответствии с Эли Паризер, кто придумал этот термин, пользователи меньше сталкиваются с противоречивыми точками зрения и интеллектуально изолированы в собственном информационном пузыре. Паризер привел пример, в котором один пользователь поискал в Google по запросу "ВР" и получил инвестиционные новости о British Petroleum в то время как другой поисковик получил информацию о Разлив нефти Deepwater Horizon и что две страницы результатов поиска были «разительно разными».[57][58][59] По словам Паризера, эффект пузыря может иметь негативные последствия для гражданского дискурса.[60] С тех пор, как эта проблема была выявлена, появились конкурирующие поисковые системы, которые стремятся избежать этой проблемы, не отслеживая или не «всплывая» пользователей, например УткаУтка. Другие ученые не разделяют точку зрения Паризера, считая доказательства в поддержку его тезиса неубедительными.[61]

Религиозные поисковые системы

Глобальный рост Интернета и электронных СМИ в Араб и Мусульманин В течение последнего десятилетия мир поощрял приверженцев ислама в Ближний Восток и Азиатский субконтинент, чтобы попробовать свои собственные поисковые системы, свои собственные отфильтрованные поисковые порталы, которые позволили бы пользователям выполнять безопасный поиск. Больше, чем обычно безопасный поиск фильтры, эти исламские веб-порталы классифицируют веб-сайты как "халяль " или же "харам ", основанный на толковании «Закон ислама». ИмХалал появился в сети в сентябре 2011 года. Халяльный поиск появился в сети в июле 2013 года. Они используют харам фильтры по коллекциям из Google и Bing (и другие).[62]

В то время как недостаток инвестиций и медленные темпы развития технологий в мусульманском мире препятствовали прогрессу и препятствовали успеху исламской поисковой системы, ориентированной на основных потребителей, приверженцев ислама, такие проекты, как Muxlim сайт, посвященный мусульманскому образу жизни, действительно получил миллионы долларов от таких инвесторов, как Rite Internet Ventures, и он также не работал. Другие поисковые системы, ориентированные на религию, - это Jewogle, еврейская версия Google,[63] и SeekFind.org, что является христианским. SeekFind фильтрует сайты, которые атакуют или унижают их веру.[64]

Представление поисковой системы

Представление поисковой системы это процесс, в котором веб-мастер отправляет веб-сайт непосредственно в поисковую систему. Хотя отправка в поисковую систему иногда представляется как способ продвижения веб-сайта, обычно в этом нет необходимости, потому что основные поисковые системы используют поисковые роботы, которые в конечном итоге находят большинство веб-сайтов в Интернете без посторонней помощи. Они могут либо отправлять по одной веб-странице за раз, либо они могут отправлять весь сайт, используя карта сайта, но обычно требуется только отправить домашняя страница веб-сайта, поскольку поисковые системы могут сканировать хорошо спроектированный веб-сайт. Есть две оставшиеся причины для отправки веб-сайта или веб-страницы в поисковую систему: добавить совершенно новый веб-сайт, не дожидаясь, пока поисковая машина обнаружит его, и обновить запись веб-сайта после существенного изменения дизайна.

Некоторые программы для отправки в поисковые системы не только отправляют веб-сайты в несколько поисковых систем, но также добавляют ссылки на веб-сайты со своих собственных страниц. Это может оказаться полезным для повышения рейтинга веб-сайта, поскольку внешние ссылки являются одним из наиболее важных факторов, определяющих рейтинг веб-сайта. Однако Джон Мюллер из Google заявил, что это «может привести к появлению огромного количества неестественных ссылок для вашего сайта», что отрицательно скажется на его рейтинге.[65]

Смотрите также

Рекомендации

  1. ^ "Search Engine History.com". www.searchenginehistory.com. Получено 2020-07-02.
  2. ^ «Защищенный вход в систему Penn State WebAccess». webaccess.psu.edu. Получено 2020-07-02.
  3. ^ «Мемекс», Википедия, 2020-03-31, получено 2020-07-02
  4. ^ «RFC 812 - NICNAME / WHOIS». ietf.org.
  5. ^ «Программирование Knowbot: Системная поддержка мобильных агентов». cnri.reston.va.us.
  6. ^ Дойч, Питер (11 сентября 1990 г.). "[следующий] Сервер архивирования Интернета (был о Лиспе)". groups.google.com. Получено 2017-12-29.
  7. ^ «Серверы всемирной паутины». W3.org. Получено 2012-05-14.
  8. ^ "Что нового! Февраль 1994". Home.mcom.com. Получено 2012-05-14.
  9. ^ «История Интернета - Поисковые системы» (от Search Engine Watch ), Universiteit Leiden, Нидерланды, сентябрь 2001 г., веб-сайт: ЛейденУ-Арчи.
  10. ^ а б pcmag. "Арчи". pcmag.com. Получено 2020-09-20.
  11. ^ Александра Самуэль. "Познакомьтесь с Аланом Эмтаджем, черным технологом, который изобрел ARCHIE, первую поисковую систему в Интернете". ИТАКА. Получено 2020-09-20.
  12. ^ петля новостей барбадос. "Алан Эмтадж - барбадосец, которого вы должны знать". loopnewsbarbados.com. Получено 2020-09-21.
  13. ^ Дино Грандони, Алан Эмтадж. «Алан Эмтидж: человек, который изобрел первую в мире поисковую систему (но не запатентовал ее)». Huffingtonpost.co.uk. Получено 2020-09-21.
  14. ^ Оскар Нирстраз (2 сентября 1993 г.). "Каталог WWW ресурсов с возможностью поиска (экспериментальный)".
  15. ^ "Архив NCSA, что нового в декабрьской странице 1993 г.". 2001-06-20. Архивировано из оригинал на 2001-06-20. Получено 2012-05-14.
  16. ^ "Что такое первопроходец?". SearchCIO. TechTarget. Сентябрь 2005 г.. Получено 5 сентября 2019.
  17. ^ Оппиц, Маркус; Томсу, Питер (2017). Изобретая век облаков: как облачность продолжает изменять нашу жизнь, экономику и технологии. Springer. п. 238. ISBN  9783319611617.
  18. ^ "Yahoo! Search". Yahoo!. 28 ноября 1996 г. Архивировано с оригинал 28 ноября 1996 г.. Получено 5 сентября 2019.
  19. ^ Гринберг, Энди, "Человек, обыгрывающий Google", Forbes журнал, 5 октября 2009 г.
  20. ^ Яньхонг Ли, «К качественной поисковой системе», Интернет-вычисления IEEE, т. 2, вып. 4, стр. 24–29, июль / авг. 1998, Дои:10.1109/4236.707687
  21. ^ "О себе: RankDex", rankdex.com
  22. ^ USPTO, «Система и метод поиска гипертекстовых документов», Номер патента США: 5920859, Изобретатель: Яньхонг Ли, Дата подачи: 5 февраля 1997 г., Дата выдачи: 6 июля 1999 г.
  23. ^ "Baidu против Google: сравнение близнецов поиска". FourWeekMBA. 18 сентября 2018 г.. Получено 16 июн 2019.
  24. ^ Альтушер, Джеймс (18 марта 2011 г.). «10 необычных вещей о Google». Forbes. Получено 16 июн 2019.
  25. ^ а б «Метод ранжирования узлов в связанной базе данных». Патенты Google. В архиве из оригинала 15 октября 2015 г.. Получено 19 октября 2015.
  26. ^ "Yahoo! и Netscape Ink International Distribution Deal" (PDF). Архивировано из оригинал (PDF) на 2013-11-16. Получено 2009-08-12.
  27. ^ "Благодаря сделкам с браузером акции Netscape выросли на 7,8%". Лос-Анджелес Таймс. 1 апреля 1996 г.
  28. ^ Пурсель, Барт. Поисковые системы. Издательство Penn State Pressbooks. Получено 20 февраля, 2018.
  29. ^ Гэндал, Нил (2001). «Динамика конкуренции на рынке поисковых систем в Интернете». Международный журнал промышленной организации. 19 (7): 1103–1117. Дои:10.1016 / S0167-7187 (01) 00065-0.
  30. ^ «Наша история в глубине». W3.org. Получено 2012-10-31.
  31. ^ Брин, Сергей; Пейдж, Ларри. "Анатомия крупномасштабной гипертекстовой поисковой системы" (PDF).
  32. ^ Ошибка цитирования: указанная ссылка ранг экс был вызван, но не определен (см. страница помощи).
  33. ^ а б c d е ж Джавадекар, Ваман С (2011), «8. Управление знаниями: инструменты и технологии», Управление знаниями: текст и кейсы, Нью-Дели: Tata McGraw-Hill Education Private Ltd, стр. 278, г. ISBN  978-0-07-07-0086-4, получено 23 ноября, 2012
  34. ^ Дасгупта, Анирбан; Гош, Арпита; Кумар, Рави; Олстон, Кристофер; Панди, Сандип; и Томкинс, Эндрю. Открываемость Интернета. http://www.arpitaghosh.com/papers/discoverability.pdf
  35. ^ Янсен Б. Дж., Спинк А. и Сарацевич Т. 2000. Реальная жизнь, реальные пользователи и реальные потребности: изучение и анализ запросов пользователей в Интернете. Обработка информации и управление. 36(2), 207-227.
  36. ^ Читу, Алекс (30 августа 2007 г.). «Простой способ найти недавние веб-страницы». Операционная система Google. Получено 22 февраля 2015.
  37. ^ "Универсальные системы ответов на вопросы: видение в синтезе ", Mittal et al., IJIIDS, 5 (2), 119-142, 2011.
  38. ^ http://www.ask.com. Проверено 10 сентября 2015 года.
  39. ^ "как работает поисковая система?". GFO = 26 июня 2018 г.
  40. ^ «Что такое локальное SEO и почему так важен локальный поиск». Журнал поисковой системы. Получено 2020-04-26.
  41. ^ "Мировая доля рынка поисковых систем". StatCounter GlobalStats. Получено 6 октября, 2020.
  42. ^ «Живой Интернет - Статистика сайта». Живой Интернет. Получено 2014-06-04.
  43. ^ Артур, Чарльз (2014-06-03). «Китайские технологические компании готовы доминировать в мире». Хранитель. Получено 2014-06-04.
  44. ^ "Как Naver вредит производительности компаний". Журнал "Уолл Стрит. 2014-05-21. Получено 2014-06-04.
  45. ^ «Эпоха Интернет-империй». Оксфордский институт Интернета. Получено 15 августа 2019.
  46. ^ Уодделл, Каве (19 января 2016 г.). «Почему Google уходит из Китая - и почему он возвращается». Атлантический океан. Получено 2020-04-26.
  47. ^ Seznam принимает участие в Google в Чешской Республике. Доз.
  48. ^ Сегев, Эль (2010). Google и цифровой разрыв: предвзятость онлайн-знаний, Оксфорд: Издательство Чандос.
  49. ^ а б Воан, Ливен; Майк Телуолл (2004). «Предвзятость охвата поисковой системой: доказательства и возможные причины». Обработка информации и управление. 40 (4): 693–707. CiteSeerX  10.1.1.65.5130. Дои:10.1016 / S0306-4573 (03) 00063-3.
  50. ^ Янсен, Б. Дж. И Рие, С. (2010) Семнадцать теоретических конструкций информационного поиска и информационного поиска. Журнал Американского общества информационных наук и технологий. 61 (8), 1517-1534.
  51. ^ Центр Беркмана для Интернета и общества (2002 г.), «Замена Google на альтернативные поисковые системы в Китае: документация и снимки экрана», Гарвардская школа права.
  52. ^ Интрона, Лукас; Хелен Ниссенбаум (2000). «Формирование Интернета: почему важна политика поисковых систем». Информационное общество: международный журнал. 16 (3): 169–185. CiteSeerX  10.1.1.24.8051. Дои:10.1080/01972240050133634.
  53. ^ Хиллис, Кен; Пети, Майкл; Джарретт, Кайли (2012-10-12). Google и культура поиска. Рутледж. ISBN  9781136933066.
  54. ^ Рейли, П. (1 января 2008 г.). Спинк, профессор д-р Аманда; Циммер, Майкл (ред.). Террористы "гуглили": заметны ли террористы из Северной Ирландии в поисковых системах Интернета?. Информатика и управление знаниями. 14. Springer Berlin Heidelberg. С. 151–175. Bibcode:2008wsis.book..151R. Дои:10.1007/978-3-540-75829-7_10. ISBN  978-3-540-75828-0. S2CID  84831583.
  55. ^ Хироко Табучи "Как отрицатели изменения климата занимают лидирующие позиции в результатах поиска Google ", The New York Times, 29 декабря 2017 г. Проверено 14 ноября 2018 г.
  56. ^ Баллаторе, А (2015). "Google Chemtrails: методика анализа представления темы в поисковых системах". Первый понедельник. 20 (7). Дои:10.5210 / fm.v20i7.5597.
  57. ^ Паррамор, Линн (10 октября 2010 г.). "Пузырь фильтра". Атлантический океан. Получено 2011-04-20. С 4 декабря 2009 года Google стал персонализированным для всех. Итак, когда этой весной у меня было двое друзей из Google «ВР», один из них получил набор ссылок, посвященных инвестиционным возможностям в ВР. Другой получил информацию о разливе нефти ....
  58. ^ Вайсберг, Джейкоб (10 июня 2011 г.). «Проблема с пузырями: превращает ли веб-персонализация нас в солипсистов?». Шифер. Получено 2011-08-15.
  59. ^ Гросс, Дуг (19 мая 2011 г.). «Что от вас скрывает Интернет». CNN. Получено 2011-08-15. Когда происходил разлив нефти, у меня были друзья Google BP. Это две женщины, которые во многом были очень похожи. Было получено множество результатов об экологических последствиях происходящего и разлива. Другой только что получил информацию об инвестициях и вообще ничего о разливе.
  60. ^ Чжан, Юань Цао; Séaghdha, Diarmuid Ó; Quercia, Даниэле; Джамбор, Тамас (февраль 2012 г.). "Ауралист: введение интуиции в музыкальную рекомендацию" (PDF). ACM WSDM. Дои:10.1145/2124295.2124300.
  61. ^ О'Хара, К. (01.07.2014). «Поклоняясь эху». Интернет-вычисления IEEE. 18 (4): 79–83. Дои:10.1109 / MIC.2014.71. ISSN  1089-7801. S2CID  37860225.
  62. ^ «Новая одобренная исламом поисковая система для мусульман». News.msn.com. Архивировано из оригинал на 2013-07-12. Получено 2013-07-11.
  63. ^ "Jewogle - FAQ".
  64. ^ "Halalgoogling: мусульмане получают свой собственный" Google без греха "; должны ли христиане иметь христианский Google? - христианский блог". Христианский блог. 2013-07-25.
  65. ^ Шварц, Барри (2012-10-29). "Google: услуги отправки в поисковые системы могут быть вредными". Круглый стол поисковой системы. Получено 2016-04-04.

дальнейшее чтение

внешняя ссылка