Поиск с применением специальных средств

Этот полностью автоматизированный метод может оказаться весьма эффективным для проведения первичного поиска.

Одна из технологий этого метода основана на применении специализированных программ-спайдеров, которые в автоматическом режиме просматривают Web-страницы, отыскивая на них искомую информацию. Фактически это автоматизированный вариант просмотра с помощью гипертекстовых ссылок, описанный выше (поисковые машины для построения своих индексных таблиц используют похожие методы). Нет нужды говорить, что результаты автоматического поиска обязательно требуют последующей обработки.

Применение данного метода целесообразно, если использование поисковых машин не может дать необходимых результатов (например, в силу нестандартности запроса, который не может быть адекватно задан существующими средствами поисковых машин). В ряде случаев этот метод может быть очень эффективен.

Выбор между использованием спайдера или поисковых серверов являет собой вариант классического выбора между применением универсальных или специализированных средств.

Т.о., автономные поисковые программы-роботы, то есть специализированные программы, устанавливаемые на компьютер пользователя и облегчающие ему поиск и иногда получение информации из сети, относятся ко второму типу поисковиков.

Поиск информации с помощью таких программ имеет одно неоспоримое преимущество: имеется возможность выбора ПС и настроек параметров поиска в полном соответствии с запросами пользователя.

Иногда встречаются определения “глубокий веб” или “невидимый веб”. Они означают колоссальный массив информации, недоступный для глобальных поисковых машин.

Даже самый полный и всесторонний, как считается, механизм поиска, на Google, индексирует всего лишь 34% страниц имеющихся в Сети. Данные по другим роботам еще хуже: AltаVista имеет представление примерно о 28% содержимого сети, Northern Light - о 20%, Excite - о 14%, Infoseek - о 10%, Lycos - лишь о 3%. (Использованы материалы исследования за 19 августа 2002 года)

При этом, как выясняется, более полные поисковые системы менее надежны, поскольку чаще ссылаются на уже несуществующие или измененные страницы.

Почему и какая именно информация сегодня для обычных методов не доступна?

Это информация, хранящаяся в базах данных. Информация на сайтах, где содержание страниц быстро меняется, как, например, на сайтах СМИ, где значительная часть информации просто не успевает индексироваться роботами-поисковиками и уходит в базы данных глубокого залегания, не просматриваемые поисковыми механизмами.

Временной фактор играет важную роль. Роботы поисковых систем индексируют лишь некоторые страницы наиболее популярных сайтов, к тому же довольно редко - робот может не обращаться к странице месяцами, тогда как информация на многих из них обновляется ежедневно. Некоторые поисковые системы индексируют новостные сайты, но фактически снимают поверхностный слой информации, доступный на момент индексации.

Кроме того, содержимое многих файлов по тем или иным причинам закодировано в специальных форматах, осилить которые обычные машины не могут. Требуется специально настроенное программное обеспечение.

В настоящее время предпринимаются попытки создать программные продукты – программы-спайдеры (от англ. “spider” – паук), ориентированные на поиск в “невидимой” части Всемирной Паутины непосредственно с компьютера пользователя. Среди недавних разработок заслуживает внимание Copernic 2001.

Copernic 2001 представляет из себя классический пример программы-робота. Эта программа проста в обращении и одновременно очень мощная по своим возможностям. Робот просматривает единовременно множество поисковых серверов, разбитых на группы (что позволяет предварительно ограничить область поиска), причем повторяющиеся ссылки удаляются. Результаты поиска выводятся в окне программы и могут сохраняться в виде html-файлов. Copernic умеет также сохранять найденные документы на диске для их последующего просмотра и производить поиск среди них.

Как и другие аналогичные разработки, эти программные пакеты принимают поисковый запрос, посылают его на какое-то число сайтов с базами данных, осуществляют при помощи действующих там механизмов поиск и возвращают пользователю результат в консолидированной форме. Преимуществом названного продукта является его способность осуществлять поиск, причем одномоментно, в разных тематических (новости, здоровье) и функциональных (книги, работа) зонах, а также ряд дополнительных функций, например, умение систематизировать и суммировать найденную информацию, которая обычно поступает к пользователю в виде разрозненных фрагментов. Другая отличительная особенность заключается в том, что пользователь может запрограммировать поиск, который будет осуществляться в автоматическом режиме в заданные промежутки времени. Эти характеристики особенно важны для мониторинга конкурентов на рынке.

Но у этой программы есть несколько существенных недостатков. Первое, нельзя подключить свои службы поиска, и нельзя производить поиск на русских серверах. Но запросы на русском языке обработаются корректно и ссылки будут выданы. Но количество их явно не соответствует реальной картине.

Ведущая американская компания в области деловой разведки Fuld & Co завершила анализ и составление списка 170 компьютерных программ предназначенных для поиска и анализа необходимой информации в Сети.

Анализ рынка таких программ (для 2000 года) не дает ясной картины положения дел в этой области. Во-первых, отмечается рост количества фирм, предлагающих программные продукты под названием "программы деловой разведки". В большинстве случаев эти программы едва ли способны обеспечить хранилища данных и качественный анализ.

Пакеты программ деловой разведки, способные идентифицировать и анализировать информацию, встречаются намного реже. Компания Fuld & Co. выделяет следующие, лучшие, по мнению компании, программные пакеты:

Cipher Systems' Knowledge. Works Version 5

Docere Intelligence's Market Signal Analyser

Strategy Software's Strategy! Version 2.5

Wincite Systems' Wincite Version 6.1

WisdonBuilder's Wisdom Builder 2.3.0

Megaputer Intelligence's TextAnalisys 2.0

Intelliseek's Corporate Intelligence Service

Vigil technologies' E-Sense

Plumtree Software's Plumtree Corporate Portal version 3.0

Powerize's Powerize.com.Web Site

Knowledge Computing's Competitive Intelligence Spider Version 1.2.1

C4-U's C-4-U Scout