Принципы работы поисковых серверов

Поисковый сервер – это довольно сложная программа, точнее комплекс программ, в которых используются специальные алгоритмы анализа содержимого веб‑сайтов в масштабах всего Интернета.

Интересный момент: на обработку того же запроса домашние животные у «Яндекса» ушло менее секунды. Невольно возникает вопрос: «А можно ли проанализировать весь Интернет за столь короткое время?» Однозначный ответ на это: «За столь короткое время проанализировать весь Интернет нельзя». Тем не менее факт остается фактом: на обработку запроса затрачено меньше секунды. Ответом на возникшее недоразумение будет описание принципов работы поисковых серверов.

Работа над запросом конкретного пользователя (а заодно и над всеми другими возможными запросами) началась задолго до его введения. Специальная программа, называемая «пауком», просматривает содержимое веб‑сайтов.

Ее задачи чем‑то схожи с задачами обычного веб‑браузера, только вместо того, чтобы показывать страницы на экране, «паук» передает их содержимое другой программе – «путешествующему пауку». Задача «путешествующего паука» – вычленение из загруженной страницы ссылок на другие сайты, по которым снова направляется «паук». Цикл этот повторяется многократно, точнее непрерывно.

На этом работа не заканчивается. За дело принимается программа‑индексатор, которая, используя определенные правила, анализирует полученные «пауками» страницы и формирует сложную базу данных поискового сервера. Вот эта самая база данных потом и выдает результаты поиска, которые появляются после обработки введенного запроса. На принципах работы индексатора остановимся поподробнее, так как именно от него зависит то, что войдет в результаты поиска.

В основе работы большинства современных поисковиков лежит индекс цитирования, который вычисляется индексатором в результате анализа ссылок на текущую страницу с других страниц Интернета. Чем их больше, тем выше индекс цитирования анализируемой страницы и тем выше эта страница будет отображена в результатах поиска. Кроме того, учитывается индекс цитирования страниц, которые ссылаются на страницу, изучаемую индексатором.

Кроме индекса цитирования учитываются также следующие параметры:

• наличие искомых слов в заголовке страницы или названии сайта;

• частота повторений искомых слов на странице;

• размер шрифта, которым на странице написаны слова из поискового запроса, а также выделение этих слов шрифтами и стилями;

• тематика ссылающихся сайтов и некоторые другие.

После ввода запроса пользователем за дело берется последнее звено поискового сервера – система выдачи результатов. В итоге анализа и сопоставления упомянутых выше показателей эта система определяет степень соответствия содержимого страницы условиям запроса. Чем эта степень больше, тем выше страница будет представлена в списке найденных ресурсов.

Возвращаясь к вопросу о скорости обработки запроса, отмечу, что такая высокая скорость обеспечивается за счет того, что страницы Интернета проиндексированы заранее, а результаты поиска составляются на основе информации из базы данных поискового сервера.

Такой способ, как несложно догадаться, имеет очевидный недостаток, заключающийся в том, что содержимое веб‑страниц может со временем изменяться, а «паук» не будет успевать найти их и обработать, следовательно, результаты поиска будут неточными. Еще раз, упомянув о времени, необходимом поисковому серверу для просмотра и индексации всего Интернета, скажу, что на это у разных поисковиков уходит от нескольких суток до нескольких недель в зависимости от алгоритма обработки информации. Так что сайты, появившиеся в Сети недавно, в результатах поиска представлены не будут.

Разработчики поисковых серверов борются с этим разными способами и с переменным успехом. Например, большинство современных поисковиков предоставляет такой сервис, как поиск по новостным лентам, обновляющимся каждые несколько минут, и поэтому они чаще индексируются поисковиками. Как бы там ни было, лучшего способа, чем предварительная индексация страниц, сегодня не существует.