Порядок выполнения

1. Прочитать и уяснить материалы разделов лекционного курса "Мировые информационные ресурсы", относящихся к теме работы: "Информационные ресурсы", "Информационные системы и технологии", "Компьютерные сети", "Понятие об Интернет", "Адресация в сети Интернет", "Работа в Интернет", "Основные ресурсы Интернет".

2. Ознакомиться с общими сведениями о предмете лабораторной работы (см. выше в описании данной работы) и рекомендуемыми дополнительными материалами.

3. Уяснить цель работы.

4. Подготовить необходимые программные и технические средства (см. выше в описании данной работы).

5. Приступить к выполнению работы:

5.1. Изучить возможности двух поисковых систем Интернет согласно варианту задания:

1). http://www.bing.com

2). http://www.google.com

3). http://www.mail.ru

4). http://www.nigma.ru

5). http://www.yandex.ru

При изучении функций и возможностей исследуемых поисковых систем следует использовать доступную документацию и интерактивные справочные системы.

5.2. Принять список критериев оценки эффективности поисковых систем. Предлагаются следующие критерии:

1). Полнота поиска.

2). Точность поиска.

5.3. Назначить весовые коэффициенты (веса) принятым критериям, заполнив табл. 2.1. Весовой коэффициент - параметр, отражающий значимость, относительную важность, «вес» данного критерия в сравнении с другими критериями. Например, для точности поиска весовой коэффициент принимаем равным 0.8, для полноты поиска – 0.2. Сумма всех весов должна быть равной 1.

Таблица 2.1. Весовые коэффициенты

5.4. Получить тему для запросов согласно варианту для оценки эффективности поисковых систем. Предлагаются следующие темы:

1) Бухгалтерия. Аудит

2) Рынок. Финансовый анализ

3) Налоговый учет

4) Рынок ценных бумаг

5) Налоги и налогообложение

5.5. Сформулировать минимум три запроса по теме.

Запрос должен включать в себя несколько (не менее двух) ключевых слов и относиться к данной теме. Примеры запросов: "автомобили ВАЗ", "материалы ремонт квартира июль", "горные лыжи Кавказ" и т.п. Важно соблюдать следующее правило: количество слов в запросе по каждой теме должно быть одинаковым.

5.6. Выполнить каждый запрос в каждой исследуемой поисковой системе.

Если результаты поиска в какой-либо поисковой системе Вас не удовлетворили, сформируйте более точный запрос (изменив и ключевые слова), позволяющий найти исчерпывающую информацию об объекте. Повторите поиск в каждой поисковой системе.

5.7. Из полученных списков результатов выбрать следующую информацию:

1. Общее количество найденных документов (Д);

2. Количество релевантных документов различной ценности (РД).

При определении количества релевантных документов должно быть использовано понятие "когнитивная релевантность" или "пертинентность" (см. выше разд. "Общие сведения" в описании работы). Количество релевантных документов оценивается при просмотре текста первых 10 найденных документов. При этом определяется ценность найденной информации (степень удовлетворения найденном документом Ваших информационных потребностей). Ценность информации определяется по 3-х бальной шкале: 2 - имеет ценность (документ полностью пертинентный), 1 - имеет частичную ценность (документ частично пертинентный), 0 - не имеет ценности (документ полностью непертинентный).

Результаты выполнения запросов свести в табл. 2.2.

Таблица 2.2. Результаты выполнения запросов

5.8. Выполнить первичную обработку результатов, сведя их в табл. 2.3:

5.8.1. Вычислить средние арифметические значения показателей Д, РД(2), РД(1) и РД(0) для каждой поисковой системы.

5.8.2. Определить место каждой поисковой системы по критерию "Полнота поиска". Для определения места использовать среднее количество найденных документов Д. Система, которая нашла больше документов, считается лучшей. Самой лучшей системе присваивается место 1, самой худшей – место 2.

5.8.3. Для каждой поисковой системы ЭБ определить коэффициент точности поиска P для каждой системы по следующей формуле:

где

a – число релевантных документов, выданных поисковой системой в ответ на запрос: a = РД(2) + 0.5 * РД(1);

b - число полностью непертинентных документов, выданных поисковой системой в ответ на запрос, b = РД(0).

5.8.4. Определить место каждой поисковой системы по критерию "Точность поиска". Система, имеющая большее значение коэффициента точности поиска P, считается лучшей. Самой лучшей системе присваивается место 1, самой худшей – место 2.

5.8.5. Вычислить коэффициент поискового шума S по следующей формуле:

S = 1 – P

5.9. Вычислить рейтинг каждой исследуемой системы R по следующей формуле:

где

m - количество критериев оценки,

i - номер критерия оценки поисковой системы,

wi - весовой коэффициент для критерия оценки i,

qi - место поисковой системы по критерию оценки i.

N - количество исследуемых систем.

5.10. Определить лучшую поисковую систему Интернет из исследуемых.

6. Оформить результаты работы по предлагаемой форме

6.1. Предварительные результаты экспериментов и назначенные значения параметров, представленные в виде табл. 2.1 и 2.2.

6.2. Основные результаты работы, представленные в виде табл. 2.3.

Таблица 2.3. Результаты сравнительного анализа поисковых систем Интернет

6.3. Сформулированные выводы: достигнута ли цель работы; приемлема ли точность значений количественных и качественных характеристик, полученных в ходе выполнения работы; предложения по повышению точности результатов; предложения по расширению (изменению) состава сравниваемых характеристик.