Сервер новостей - News server

А сервер новостей представляет собой набор программного обеспечения, используемого для обработки Usenet статьи.[1] Он также может относиться к самому компьютеру, который в основном или исключительно используется для работы с Usenet. Доступ к Usenet доступен только через провайдера сервера новостей.

Статьи и посты

Конечные пользователи часто используют термин «публикация» для обозначения отдельного сообщения или файла, размещенного в Usenet. Для статей, содержащих простой текст, это синоним статьи. Для двоичного содержимого, такого как изображения и файлы, часто бывает необходимо разделить содержимое между несколькими статьями. Обычно за счет использования пронумерованных заголовков Тема: сообщения из нескольких статей автоматически собираются в единый блок при помощи читатель новостей. Большинство серверов не различают одиночные и составные публикации, работая только на уровне отдельных статей-компонентов. [2]

Заголовки и обзоры

Каждая новостная статья содержит полный набор строк заголовков, но обычно термин "заголовки" также используется при ссылке на Обзор новостей база данных.[2] Обзор представляет собой список наиболее часто используемых заголовков и дополнительную информацию, например размеры статей, обычно получаемую клиентским программным обеспечением с помощью NNTP. XOVER команда. Обзоры ускоряют чтение группы новостей как для клиента, так и для сервера, устраняя необходимость открывать каждую отдельную статью для представления их в виде списка.

Если требуются не обзорные заголовки, например, при использовании убить файл, может потребоваться более медленный метод чтения всех полных заголовков статей.[1] Многие клиенты не могут этого сделать и ограничивают фильтрацию тем, что доступно в сводках.[2]

Атрибуты сервера новостей

Операторы и пользователи коммерческих серверов новостей обеспокоены постоянно растущими требованиями к хранению данных и пропускной способности сети, а также их последствиями.[2] Завершение (способность сервера успешно принимать весь трафик), удержание (количество времени, в течение которого статьи становятся доступными для читателей) и общая производительность системы. В связи с возрастающими требованиями роли транзитного сервера и сервера считывания обычно подразделяются на системы нумерации, хранения и внешнего интерфейса. Эти фермы серверов постоянно контролируются как инсайдерами, так и посторонними, и измерения этих характеристик часто используются потребителями при выборе службы коммерческих новостей.

Скорость

Скорость применительно к Usenet - это то, насколько быстро сервер может доставить статью пользователю. Сервер, к которому подключается пользователь, обычно является частью фермы серверов, в которой много серверов выделено для выполнения нескольких задач. Скорость передачи данных по ферме - это первое, что влияет на скорость доставки.[нужна цитата ]

Скорость передачи данных по ферме может быть серьезно ограничена из-за операций с жестким диском. Получение статьи и обзорной информации может вызвать серьезную нагрузку на жесткие диски.[нужна цитата ] Для борьбы с этим была разработана технология кэширования и системы хранения файлов цилиндрической формы.[нужна цитата ]

Как только ферма может доставлять данные в сеть, поставщик имеет ограниченный контроль над скоростью для пользователя. Поскольку сетевой путь к каждому пользователю разный, у некоторых пользователей будут хорошие маршруты, и данные будут передаваться быстро. У других пользователей между ними и провайдером будут перегружены маршрутизаторы, что вызовет задержки. Практически все, что может сделать провайдер в этом случае, - это попытаться переместить трафик по другому маршруту. Если Интернет-провайдер имеет ограниченное подключение к сети, изменения маршрутизации могут иметь незначительный эффект.

Часто пользователь может уменьшить влияние сетевых проблем, используя несколько соединений. Некоторые серверы допускают до 60 одновременных подключений, но это сильно зависит от поставщика.[3]

Размеры статьи

Размеры статей ограничены тем, что принимает каждый сервер новостей. Чем больше размер статьи, тем больше места она занимает и, следовательно, тем меньше статей на каждом сервере. Обычно это означает, что сервер может работать с меньшими накладными расходами, что делает сервер более эффективным, но дает меньше статей для доступа пользователей.[нужна цитата ]

Удержание

Удержание просто определяется как долго сервер хранит статьи.[4] Исторически сложилось так, что большинство пользователей хотят, чтобы срок хранения был достаточно долгим, чтобы им не приходилось обращаться к серверу каждый день, но не слишком долгое хранение, которое может перегружать пользователей с медленными компьютерами или сетевыми соединениями.[1] В современную эпоху высокоскоростные соединения, большая емкость хранилища и расширенные инструменты поиска позволяют пользователям использовать обширное хранение без каких-либо недостатков.

Удержание обычно указывается отдельно для текстовых и бинарных статей, хотя оно также может варьироваться между разными группами в этих категориях. Время сильно зависит от объема памяти, доступного на серверах, и постоянного увеличения трафика. По данным на 2009 г., средние поставщики новостей обычно имеют срок хранения текста более 1000 дней и двоичного хранения более 200 дней.[нужна цитата ] Крупные поставщики новостей предлагают хранение текста до 2480 дней и хранения двоичных файлов до 850 дней и более.[нужна цитата ] Важно понимать, что время хранения различается для разных групп новостей в текстовых и двоичных категориях. HW Media от Omicron в настоящее время является сервером Usenet с наибольшим объемом хранения двоичных файлов, а Google - сервером Usenet с наибольшим объемом хранения текста.[нужна цитата ]

Конечным пользователям может быть сложно точно измерить срок удержания сервера. Один из распространенных методов - изучить самые старые статьи в группе и проверить дату, но это не всегда точно. Некоторые статьи в группе могут храниться дольше, чем другие, статьи с удаленных серверов не всегда приходят вовремя, а иногда заголовки даты просто неверны. Для обнаружения таких аномалий требуется выборка из многих или всех статей, желательно в нескольких группах новостей.

Серверы новостей не имеют неограниченного хранилища, и из-за этого они могут хранить сообщения только в течение определенного периода времени, прежде чем они должны будут удалить их, чтобы освободить место для новых сообщений. Это особая проблема для бинарные группы новостей которые передают большие объемы статей.

Для серверов новостей, предоставленных Интернет-провайдеры как часть пакета подписки пользователя, типичный срок хранения обычно составляет всего 2–4 дня.[нужна цитата ] Чтобы справиться с увеличением трафика Usenet, многие провайдеры обращаются к гибридной системе, в которой старые статьи, не найденные на сервере провайдера, будут запрашивать статью с другого сервера с более длительным хранением.

Завершение

Учитывая большое количество статей, передаваемых между серверами, и большой размер отдельных статей, их полное распространение на любую ферму серверов не гарантируется. Термин «завершение» используется для описания того, насколько хорошо сервис справляется с трафиком.[нужна цитата ]

Основное препятствие для расчета процента завершения - это количество опубликованных статей. Глядя только на один сервер, невозможно узнать, сколько статей было фактически вставлено по сети.[нужна цитата ] Статьи могут никогда не выйти за пределы исходного сервера или могут не попасть в транзитное облако. Очень большие статьи часто сбрасываются, и их размножение происходит хуже, чем у более мелких.[нужна цитата ]

Один из способов измерить завершенность - получить доступ к нескольким серверам и получить списки статей. Поскольку заголовки Message-ID: номинально уникальны во всей сети, сравнение списков в большинстве случаев является простой задачей. Практические ограничения этого типа измерения включают невозможность получения списков со всех серверов по всему миру, тот факт, что многие серверы отфильтровывают спам или нанять Смертные наказания Usenet, и что некоторые серверы маскируют незавершенность, скрывая составные двоичные наборы с отсутствующими статьями.[нужна цитата ] Также необходимо учитывать время распространения и удерживание; статья могла просто еще не прибыть на данный сервер, или она могла присутствовать, но срок ее действия уже истек.[нужна цитата ]

Работа сервера новостей

Пиринг

Все серверы Usenet взаимодействуют с одним или несколькими другими серверами для обмена статьями. Иногда появляются новые серверы. Хотя есть несколько веб-ресурсов, которые могут помочь в поиске сверстников, лучшим ресурсом является группа новостей. news.admin.peering (Портал групп Google).[нужна цитата ]

С 2020 года текстовые каналы обычно можно получить бесплатно, а полные двоичные каналы могут быть бесплатными или платными (в зависимости от того, сколько статей каждый сервер отправляет другому). Из-за большого количества данных в полном двоичном + текстовом фиде Usenet (может достигать 30 терабайт в день) и высокой стоимости передачи этих данных через провайдера IP-транзита, например Убедительный, Telia, или Зайо, большинство провайдеров Usenet будут участвовать в бинарном пиринге, только если они подключены к Интернет-обмену, например AMS-IX, ШЕСТЬ, или DeCIX.

Катушки

Когда сервер хранит текст статьи, он помещает его в область хранения на диске, обычно называемую «катушкой».[2] Есть несколько распространенных способов организации катушки:

  • Один файл на статью - это самая старая схема хранения, которая все еще широко используется на небольших серверах и реплицируется на многих клиентах. Его производительность - прямая функция основного Операционная система возможность создавать, удалять и находить файлы в каталоге, и часто этой схемы недостаточно, чтобы не отставать от современного трафика Usenet. Однако он обеспечивает максимальную гибкость в управлении объемом и расположением хранилища, используемого сервером. Почти все текущее программное обеспечение, использующее эту схему, хранит статьи с использованием B Новости 2.10 макет.
  • Циклическое хранение становится все более распространенным с 1990-х годов. В этом методе хранения статьи добавляются последовательно к большим индексированным файлам-контейнерам. Когда достигается конец файла, новые статьи записываются в начало файла, перезаписывая самые старые записи. На некоторых серверах эта перезапись не выполняется, вместо этого создаются новые файлы-контейнеры, а старые удаляются. Основные преимущества этой системы включают предсказуемые требования к хранилищу, если используется схема перезаписи, и некоторая свобода от зависимости от базовой производительности операционной системы. Однако существует меньшая гибкость для сохранения статей по возрасту, а не по используемому пространству, и традиционные инструменты обработки текста, такие как grep хуже подходят для анализа этих файлов. Определенная степень контроля долговечности изделий может быть осуществлена ​​путем управления подмножествами группы новостей в определенные наборы файлов-контейнеров.
  • В некоторых случаях реляционная база данных или подобное используется для удерживания катушки. Это чаще всего наблюдается с Интернет-форум программное обеспечение, которое также предлагает интерфейс NNTP.
  • Некоторые серверы, такие как ГОСТИНИЦА, позволяют использовать несколько схем хранения одновременно. На серверах новостей также использовались различные гибридные схемы хранения, в том числе различные организации, использующие метод «файл на статью», или контейнеры меньшего размера, вмещающие около 100 статей каждая.

Типы серверов

А читающий сервер предоставляет интерфейс для чтения и публикации статей, как правило, с помощью новостной клиент. А транзитный сервер обменивается статьями с другими серверами. Большинство серверов могут обеспечивать обе функции.

Транзитный сервер

Современные транзитные серверы обычно используют NNTP постоянно обмениваться новостями по Интернет и аналогичные постоянные подключения. В прошлом серверы обычно использовали UUCP протокол, который был разработан для периодических коммутируемых соединений. Другой для этого случая протоколы, в том числе Эл. почта, встречаются реже. Серверы новостей обычно подключаются к нескольким одноранговым узлам, а избыточность помогает распределить нагрузку и гарантировать, что статьи не потеряны. Небольшие сайты, называемые листовые узлы, подключены к еще одному крупному серверу.[2]

Статьи маршрутизируются на основе информации, содержащейся в строках заголовков, определенных в RFC 1036.[нужна цитата ] Особый интерес для транзитного сервера представляют:

  • ID сообщения - глобально уникальный ключ
  • Группы новостей - список из одного или нескольких группы новостей где статья предназначена для размещения
  • Распределение - (необязательно) дополнение к группам новостей, используемое для ограничения распространения статей.
  • Дата - время создания статьи
  • Дорожка - список серверов, через которые статья прошла на пути к локальному серверу
  • Истекает - (необязательно) время, когда требуется удалить статью
  • Утверждено - (необязательно) указывает на статью, которая была принята для модерируемая группа новостей
  • Контроль - (необязательно) содержит командные запросы

В большинстве случаев отправляющий сервер контролирует процесс передачи товара. Он сравнивает группы новостей и распространение каждой недавно поступившей статьи с набором шаблонов, называемых новостные ленты, перечисляя каждый удаленный сервер и группы новостей, которые желает получать его оператор. Некоторые отправители также исследуют Путь; если принимающий сервер указан в этой строке, он не предлагается. Также могут быть добавлены другие местные правила. Отправитель передает идентификаторы сообщений совпадающих статей на принимающий сервер. Получатель указывает, какие идентификаторы сообщений еще не сохранены локально, и эти статьи отправляются.[2]

Принимающий сервер проверяет входящие статьи. Сообщение обычно отбрасывается, если идентификатор сообщения дублируется уже полученной статьей (т. Е. Другой сервер отправил его тем временем), строки Date или Expires указывают на то, что статья слишком старая, синтаксис заголовка кажется недопустимым, заголовок "Утверждено" отсутствует для модерируемой группы новостей, или дополнительные местные правила запрещают его.[нужна цитата ] Большинство серверов также поддерживают список активных групп новостей. Если заголовок группы новостей новой статьи не соответствует активному списку, он может быть отброшен или помещен в специальную «нежелательную» группу новостей. После сохранения статьи сервер пытается повторно передать ее на любые серверы в своем собственном списке каналов новостей.[2]

Статьи с контрольными строками подвергаются особой обработке. Обычно они помещаются в специальные «контрольные» группы новостей и могут заставлять сервер автоматически выполнять исключительные действия. В новая группа и rmgroup команды могут вызывать создание или удаление групп новостей; контрольные группы может использоваться для согласования локального активного списка с общепринятым набором; и Отмена команды используются для запроса удаления конкретной статьи. у меня есть и отправьте меня иногда используются с UUCP для передачи списков предлагаемых и желаемых идентификаторов сообщений. Другие команды (версия, Сендис, и uuname) - это запросы деталей конфигурации сервера. Когда-то они использовались для создания сетевых карт, сейчас они вообще устарели.[2]

Читающий сервер

Сервер чтения - это сервер, который делает статьи доступными в иерархической диск каталог формат, созданный B Новости 2.10, или предлагает NNTP или IMAP команды для использования читателями новостей. Сервер чтения обычно также работает как транзитный сервер, но он может работать независимо или служить альтернативным интерфейсом для Интернет-форум. При получении новостей сервер этого типа должен выполнять дополнительные шаги по занесению статей в группы новостей и присвоению порядковых номеров внутри каждой группы. An Xref Обычно добавляется строка, в которой перечислены все группы, в которых появляется сообщение, и порядковые номера. В отличие от идентификаторов сообщений, количество и порядок статей на каждом сервере будут отличаться; но связанные серверы могут принудительно согласиться, работая в подчиненном режиме, повторно используя строки внешних ссылок своих братьев и сестер. Серверы чтения обычно также поддерживают Обзор новостей (NOV), которая позволяет читателям новостей быстро получать сводки сообщений и представлять сообщения в виде цепочек.[2]

Большинство серверов чтения поддерживают публикацию сообщений через NNTP или специальный в новостях программа.[нужна цитата ] Когда статья публикуется, процесс во многом такой же, как когда транзитный сервер получает новости, но с дополнительными проверками. Для публикации сервер обычно заполняет отсутствующие строки Path и Message-ID и проверяет синтаксис заголовков, предназначенных для чтения людьми, например Из и Предмет. Если статья размещена в модерируемой группе, сервер попытается отправить ее модератору группы новостей, если заголовок «Утверждено» отсутствует. На этом этапе также обычно применяются дополнительные проверки личности и фильтры.[2]

Гибридный или кеш-сервер

Небольшие сайты с ограниченной пропускной способностью сети могут работать «всасывая» или тайник серверы. Они выполняют ту же роль сервера чтения, что и обычные серверы новостей, но сами действуют как программы чтения новостей для обмена статьями с другими серверами чтения.[нужна цитата ] Гибридные серверы обеспечивают большую гибкость для оператора сервера, поскольку полученные группы могут быть настроены без ручного вмешательства оператора. Они также могут быть единственными доступными средствами для получения статей с удаленных серверов, которые не предлагают обычное кормление.

Поскольку гибридные серверы обычно используют функцию публикации для отправки новостей, заголовки статей переформатируются функцией публикации, и информация отслеживания может быть потеряна. Кроме того, отложенный процесс всасывания может привести к чрезмерной активности на серверах удаленных считывателей. По этим причинам использование гибридных серверов часто не рекомендуется или запрещается без предварительного согласования.[2]

использованная литература

  1. ^ а б c Пегораро, Роб (30 января 1990 г.). «Usenet:« Другой »Интернет». Вашингтон Пост. Получено 28 июля, 2020.
  2. ^ а б c d е ж г час я j k л Макдермотт, Джеймс; Филлипс, Джон (1 мая 1997 г.). Администрирование серверов новостей Usenet: подробное руководство по планированию, созданию и управлению новостными службами Интернета и интрасети. Эддисон-Уэсли. ISBN  020141967X.
  3. ^ «Объяснение подключений к серверу Usenet». ТехСоно Инжиниринг. Получено 28 июля, 2020.
  4. ^ «Сохранение групп новостей Usenet». Usenet.com. Получено 28 июля, 2020.

Смотрите также

  • Список серверов новостей

внешняя ссылка