Системы полнотекстного поиска

Сегодня рынок предлагает значительный перечень всевозможных поисковых утилит, программ и систем разного уровня. Программное обеспечение этого класса бывает двух типов{Градский П. Поисковые системы. // Санкт‑Петербургские ведомости // 26 июня 2002 года; Дериев И. Особенности национального поиска. // Компьютерное Обозрение // № 15, 17 – 23 апреля 2002. Уваров С. Ищущие да обрящут. http://nrd.pnpi.spb.ru/UseSoft/Journals/IntemetZone/izone229/pub/izone8.htm http://www.cronos.ru}.

Программные продукты использующие технологию прямого поиска, просто перебирают файлы и выполняют поиск в каждом из них. Недостатком этой технологии являются значительные временные затраты. Аналогичные утилиты традиционно присутствуют во всех операционных системах, файловых менеджерах и инструментальных пакетах.

1. Поисковик AVSearch. Если у вас совсем нет денег, то вам может помочь бесплатная программа Анатолия Вознюка – AVSearch (http://www.avtlab.ru). Однако этот программный продукт умеет работать только с текстовыми файлами и файлами формата RTF, правда во всех кодировках от СР866 до Unicode, что, в частности, обеспечивает «поддержку» и формата DOC, т.к. документы Microsoft Word исследуются как обычный текст. Программа осуществляет поиск во всех популярных архивах без использования внешних модулей. Ее интерфейс достаточно прост и удобен. В общем программа неплохая, но ее существенным недостатком является медлительность.

2. Поисковик SSScanner с достаточно высокой скоростью работает с документами Word, WordPerfect, PDF, HLP, а также с несколькими десятками языков и кодировок.

Имеется возможность нечеткого поиска (по контексту) с оценкой релевантности и формальный. Результаты отображаются в отдельном окне с выдержками из оригинальных документов. SSScanner стоит около $30, условно‑бесплатная версия имеет ряд ограничений.

В настоящее время программы прямого поиска уходят на второй план, их активно вытесняют программные продукты, использующие технологию поиска с индексированием. Программное обеспечение этого типа просматривает и анализирует указанные текстовые файлы, создавая собственную базу данных («индекс»), по которой затем и осуществляется поиск. Индексирование – процесс достаточно длительный, но зато поиск занимает считанные секунды. До недавнего времени основными недостатками данного ПО считались продолжительность операции первичного создания индекса и дополнительный расход дискового пространства. Однако для мощных современных компьютеров это не существенно. Некоторое неудобство по‑прежнему связано с необходимостью регулярного обновления индексов, однако и это не проблема.

Начнем свое рассмотрение этого сегмента рынка полнотекстовых поисковиков с западных образцов.

1. Поисковик Advanced Document Server http://ads.newmail.ru/1 занимает немного дискового пространства, распространяется бесплатно, имеет массу возможностей: поддержка документов Microsoft Office, PDF, некоторых баз данных; поиск в архивных файлах; встроенный Web‑сервер для удаленного доступа. Правда, имеется одно существенное «но»: для работы почти с каждым форматом необходимо «родное» ПО. Для DOC – Microsoft Word, для XLS – Excel, для PDF – полноценный Adobe Acrobat, а также Internet Explorer, архиваторы и пр.

И если многие, кто работает с документами Word, используют само приложение (хотя у Microsoft есть и специальная программа просмотра), то для PDF этот принцип уже не подходит. Помимо этого, применение средств автоматизации OLE в данном случае крайне негативно сказывается на производительности.

2. Программное обеспечение Greenstone предназначено для создания «цифровых библиотек», что подразумевает нечто большее, чем просто поиск с предварительным индексированием по документам DOC, PDF и пр. Этот программный продукт создает каталог документов, конвертирует их в HTML‑формат, обеспечивает к библиотеке удаленный доступ посредством броузера. Распространяется бесплатно, с исходными текстами. Правда, работает довольно медленно.

3. Поисковик dtSearch Desktop автоматически распознает различные кодировки, в том числе и кириллические (за исключением KOI‑8), а также пару десятков форматов файлов, среди которых стоит выделить DOC, XLS, RTF, PDF, DBX (Outlook Express), XML, плюс популярные базы данных (через ODBC). В БД и гипертекстовых документах возможен поиск по содержимому конкретных полей и тегов. Даже защищенные PDF индексируются, но получить их названия и другие атрибуты программа не может. Несомненным достоинством программы является поиск в архивах ZIP.

По виду поиска используются: морфологический, фонетический, поиск синонимов, а также поиск в словах с орфографическими ошибками. Помимо этого, dtSearch Desktop предлагает пользователю словарь (построенный в процессе создания индекса) и при вводе запроса выполняет в нем автоматический поиск.

В качестве недостатка можно отметить только английский интерфейс программы. Стоит dtSearch Desktop около $200.

Российское программное обеспечение. По своим поисковым возможностям отечественные разработки имеют определенное преимущество перед западными, поскольку их разработчики априори лучше иностранцев разбираются во всевозможных лингвистических нюансах нашего государственного языка.

1. Поисковик «Ищейка» http://www.isleuthhound.com или http://www.isleuthhound.ru) (iSleuthHound Technologies).

«Ищейка» – это полнотекстовая персональная поисковая система, работа с которой напоминает работу в поисковых системах Интернета, таких как AltaVista, Yahoo, Rambler. При первом запуске она создает базу данных по имеющимся документам и индексирует ее. Каждая база данных представляет собой зону поиска – пространство на жестком диске, состоящее из каталогов, в пределах которого программа мгновенно находит документы и файлы. Тест‑версия программы поддерживает возможность создания лишь двух зон поиска с индексированием в каждой максимально 500 файлов. Перед проведением поиска документов «Ищейке» необходимо указать зону поиска или создать новую, после чего ввести в окошке диалогового окна ключевые слова, которые должен содержать документ, и нажать кнопку Ищи!

Бесплатная версия «Ищейки» работает только с текстовыми и DOC‑файлами, профессиональная ($15) еще с RTF и HTML. Помимо этого для профессиональной версии имеется набор дополнительных подключаемых фильтров – для текста во всех кодировках, документов других приложений Microsoft Office и PDF.

Поддержка PDF появилась в программе недавно, и пока этот модуль «не понимает» русского языка, хотя представители компании обещают устранить этот недостаток в самое ближайшее время. Зато модуль великолепно работает с защищенными документами – не только индексирует их содержимое, но и способен корректно определить название и даже извлечь текст.

2. Интеллектуальная поисковая система «Следопыт» («МедиаЛингва»). Последняя версия программы для хранения информации использует Microsoft SQL Server Desktop Edition. В ней устранены практически все замечания и вопросы, которые возникали прежде.

По своей функциональности «Следопыт» напоминает dtSearch. В распоряжении пользователей несколько вариантов поиска: нечеткий, т.е. «на естественном языке», система сама отбросит «шумовые» слова, а остальные приведет к морфологической основе; строгий, при котором ищутся в точности те слова, что указаны в запросе; формальный – с логическими и другими операторами и возможностью комбинирования двух предыдущих.

Поддерживаются текстовые файлы в самых разных кодировках, документы основных приложений Microsoft Office, PDF‑файлы, в том числе и упакованные в zip‑архивы, а также папки (как сами сообщения, так и вложения) Microsoft Outlook. Следует отметить, что используемые фильтры достаточно «честные», они работают с DOC‑файлами именно как с документами Word, не индексируют PDF‑файлы, защищенные от копирования информации, и т.д. – естественно, это может быть расценено двояко. Тем не менее PDF‑фильтр из «Следопыта» показался одним из лучших при работе с русским языком.

Интерфейс программы достаточно удобен, за исключением нескольких нюансов. Например, окно просмотра найденных документов необходимо вызывать специально, при этом оно все время остается самым «верхним» и в некоторых случаях мешает работать с программой. Зато очень корректно извлекается текст из документов всех поддерживаемых форматов и подсвечиваются слова запроса.

Стоит только иметь в виду, что «Следопыт» работает лишь при запущенном приложении Microsoft SQL Server, это приложение устанавливается одновременно с установкой самого «Следопыта».

Программа распространяется в трех вариантах – персональном, профессиональном и корпоративном.

Персональный при цене в $10 лишен фактически всех наиболее интересных функций – не поддерживает морфологию и формальные запросы, не индексирует PDF и папки Outlook.

Профессиональный «Следопыт» обойдется в $48 и может явиться золотой серединой, так как корпоративная версия распространяется с довольно дорогими пакетами лицензий, хотя дополнительным сервисом является только работа с ресурсами локальной сети.

3. Документальная система поиска информации «Cros» http://www.cronos.ru(«Кронос‑Информ»), как и прежде, претендует на нечто большее, чем звание простого поисковика. Разработчики называют «Cros» «системой накопления и обработки информации». Под накоплением подразумевается, что «Cros» не просто создает «индекс» указанных ему текстовых файлов, он копирует их в собственный архив – банк документов, при этом сжимает их и индексирует. Поиск осуществляется уже по своему собственному архиву. Такое решение имеет сразу несколько эффектов: быстрота поиска и надежная защита банков документов от несанкционированного доступа.

«Cros» при загрузке в него автоматически распознает все основные форматы и кодировки текстовых файлов, поддерживает архивы электронных документов и с высокой скоростью осуществляет поиск информации в них по любым сочетаниям слов и свойств документов. Программа обладает развитыми средствами навигации (простой, но мощный язык запросов), сортировки и просмотра найденных фрагментов документов, а также автоматизированной компоновки отчетов.

Имеется также отдельно распространяемый Web‑интерфейс (в виде Web‑сайта для IIS, Apache или другого сервера с поддержкой CGI), обеспечивающий подключение к «Cros» удаленных пользователей и выполнение с банком данных всех основных операций.

Данное программное обеспечение устойчиво работает в ОС Windows, нетребовательно к ресурсам, удобно и просто в эксплуатации. Существуют как локальная, так и сетевая версии этого программного продукта.

Если сравнивать с имеющимися аналогами, то «Cros» практически не имеет ограничений по объему накапливаемой информации, при этом значительно экономит пространство на жестком диске.

Имеется бесплатная демонстрационная версия с усеченными возможностями, она работает с одним банком данных объемом до 5000 документов. Цена однопользовательской версии «Cros» – $140, при установке на несколько компьютеров в одной и той же организации предлагаются существенные скидки.

4. «Евфрат 99» (Cognitive Technologies). Этот продукт тоже представляет собой не «чистый» поисковик, а систему организации электронного документооборота в персональном масштабе, что подразумевает максимальную автоматизацию создания и ввода типичных офисных документов, а также их организацию, регистрацию, хранение, архивирование и, соответственно, поиск.

«Евфрат @SOHO» – это практически полноценная рабочая среда со своим рабочим столом, корзиной, средствами работы с файлами и т.д. Помимо всех этих «прибамбасов» программа «понимает» документы Microsoft Office, индексирует их и выполняет контекстный поиск и даже автоматически следит за обновлением указанных документов и папок. Основной ее недостаток – отсутствие поддержки прочих форматов, в частности PDF, но имеются и кое‑какие приятные дополнительные возможности вроде встроенной OCR для ввода документов со сканера. Стоимость программы $20.

«Евфрат Office» поддерживает форматы документов MS Office 95/97/2000 (DOC, XLS, PPT), текстовые (RTF, HTML, TXT (ASCII, ANSI, KOI‑8)), графические документы – черно‑белые и цветные – TIF, PCX, JPG, BMP, GIF и другие. Работает «черновой» режим просмотра (с учетом оригинального оформления и форматирования документа). Имеется функция экспорта во внешние приложения, поддерживающие необходимый формат.

«Евфрат Office» осуществляет полнотекстовый и реквизитный поиск документов по запросу любой сложности с использованием логических операций «И», «ИЛИ», «НЕ», контекстный поиск (запрос по выделенным словам документа в режиме просмотра его текста). Скорость поиска достаточно высока и не зависит от количества зарегистрированных документов и сложности запроса.

Имеется дополнительно устанавливаемый модуль Евфрат Document Server, который обеспечивает одновременную работу нескольких пользователей с единой базой данных.

Краткое резюме. В конце нашего обзора хотелось бы отметить, что выбор программного обеспечения у вас есть – это весьма эффективные dtSearch Desktop, «Ищейка», «Следопыт», «Cros» и «Ефрат», за обладание которыми придется расстаться с некой толикой зеленых общечеловеческих ценностей.

Ну а если ваше прижимистое руководство денег на программное обеспечение не дает, а результаты требует, то не стоит забывать про AVSearch. Правда, временные и трудовые затраты в данном случае значительно возрастают.

Сравнительный анализ поисковых систем, проведенный НПК «Кронос‑Информ»