Краткая история

Текстовый поиск, как уже отмечалось, имеет почти полувековую историю. Рассмотрим кратко некоторые наиболее значимые вехи его развития.

Ранние системы. Ранние текстовые информационные системы были ориентированы нафункцию поиска, поэтому назывались информационно-поисковыми системами (ИПС). Разработки простейших систем такого рода — дескрипторных ИПС — велись еще в 50-х годах. Одной из наиболее распространенных областей их применения был библиогра-фический поиск. Многие дескрипторные библиографические ИПС используются до настоящего времени.

Большое значение для дальнейшего развития технологий текстового поиска имели исследования и разработки экспериментальных прототипов, выполненные в 60-х годах. На этом этапе начали формироваться технологии полнотекстового поиска, то есть поиска по полному содержанию текстовых документов, представленных на ес-тественных языках.

Прежде всего получил распространение контекстный поиск. Так называется поиск документов, имеющих вхождения в них заданного контекста. Позднее были созданы методы контекстного поиска, учитывающие грамматические формы элементов контекста, фонетическую близость слов и т.д.

Наряду с техникой контекстного поиска в этот период были предложены новые подходы к построению поисковых систем, обеспечивающие существенное повышение качества поиска.

Новаторские исследования и разработки 60-х годов. В60-е годы был выполнен рядноваторских исследовательских проектов, которые оказали определяющее влияние на дальнейшее развитие технологий текстового поиска.

Один из таких пионерских проектов, посвященный проблемам полнотекстового поиска на основе естественных языков, был выполнен в 1962-1965 годах под руководством Джерарда Сэлтона (Gerard Salton) в Гарвардском и Корнельском университетах. Идеи, положенные в основу экспериментальной системы SMART (Salton's Magical Automatic Retriever of Texts), которая была создана участниками этого проекта, стали ключевыми для многих дальнейших разработок систем рассматриваемого класса. Важное достоинство системы SMART состояло в том, что она позволяла исследовать различные автоматизированные методы анализа текстов и оценивать качество текстового поиска, сравнивать результаты обработки запросов при различных методах поиска.

В этот же период группой Кирилла Клевердона (Cyril W. Cleverdon) из колледжа по аэронавтике в Крэнфильде (Англия) была предложена методология сравнения средств индексирования документов в системах текстового поиска, основанная на использовании специально разработанных указанной группой тестов для поисковой системы. Проведенные эксперименты в научной литературе стали называться крэнфильдскими экспериментами, и выполненные их авторами исследования позволили установить,вчастности, что автоматическое индексирование не уступает по качеству ручному индексированию. Этот вывод имел важное значение для развития функциональных возможностей систем текстового поиска.

Крэнфильдские эксперименты продемонстрировали также полезность тестовых коллекций текстовых документов и запросов для проведения сравнительной оценки систем текстового поиска. Одной из первых таких коллекций была созданная в Крэнфильде в конце 60-х годов коллекция из 1400 документов и 225 запросов. К сожалению, первоисточники, представляющие результаты исследований группы Кирилла Клевердона по сравнению систем индексирования и по анализу факторов, которые влияют на производительность средств индексирования], труднодоступны.

Крэнфильдские тесты получили широкое признание и в течение длительного временииспользовались при проведении экспериментов с системами текстового поиска. Впоследствии были созданы другие аналогичные тестовые коллекции. На использовании тестовых коллекций основана, в частности, деятельность по сравнению возможностей различных систем текстового поиска, общему анализу состояния их разработок и определению перспективных направлений развития, которая концентрируется вокруг авторитетной международной конференции по текстовому поиску TREC (Text Retrieval Conference), учрежденной в 1992 году в США.

По мнению специалистов, столь удачное стечение обстоятельств, когда в 60-х годах практически одновременно были созданы гибкий испытательный стенд для проведения экспериментов с различными методами поиска и качественная методология оценки их результатов, существенным образом способствовало быстрому прогрессу в области текстового поиска.

Теоретические достижения исследований 60-х годов стали в последующие два десятилетия основой многочисленных практических разработок систем текстового поиска с использованием различных моделей поиска и на основе различных естественных языков. Этот период характеризуется значительными продвижениями в разных аспектах методов и организации систем текстового поиска. Начала формироваться индустрия коммерческого программного обеспечения для систем тек-стового поиска, чаще называемых в тот период, как уже отмечалось, информационно-

поисковыми системами (Information Retrieval Systems, IRS).