Материалы по баннерным системам

□ Статья «Баннерная реклама в баннерообменных сетях» вводит в тему баннерной
рекламы, рассказывает про форматы баннеров и про повышение эффективности
такой рекламы. Статья находится по адресу http://www.r-e-k-l-a-m~a.ru/index.
sema?a=texts&id=12.

□ О том, как выбрать подходящую баннерную сеть и как повысить CTR отдельного
баннера, говорится в статье «Как выбрать баннерную сеть», которая расположена
по адресу http://www.expertplus.ru/stati/stati-52.html.

Материалы по партнерским программам

□ На сайте Affi Hate. ru собрана обширная информация по различным партнерским
программам. Есть тематический каталог партнерских программ и полезные
статьи.

□ Специальный раздел для обсуждения партнерских программ есть на фору-
ме Searchengines.ru, адрес раздела — http://forum.searchengines.ru/forumdisplay.
php?f=35.

Материалы по дизайну GUI и юзабилити

□ Ресурс Webmascon.com представляет собой хорошую подборку материалов по
юзабилити, проектированию интерфейсов, по дизайну и веб-графике.

□ Серия статей «Ководство» посвящена графическому дизайну, проектированию
интерфейсов и типографике. Автор статей — Артемий Лебедев, адрес — http://
www.artlebedev.ru/kovod stvo/.

□ В разделе «Web-дизайн» на сайте «Библиотека сайтостроительства» находится
большая подборка полезных статей на тему юзабилити сайта и создания, адрес —
http://www.i2r.ru/static/255/.

Материалы по e-mail маркетингу

□ В «Энциклопедии интернет-рекламы» Тимофея Бокарева есть раздел про e-mail
маркетинг. Прочитать материал можно по адресу http://book.promo.ru/book/.

Материалы по мониторингу и анализу конверсии

□ Советуем ознакомиться с серией статей про инструмент веб-аналитики Google
Analytics на сайте Guicci. Первая статья находится по адресу http://guicci
ru/2006/12/13/google-analytics-chast-l-otkrovenie-dlya-seo-spetsialista/.

□ В рассылке «Продвижение сайта. Профессиональные советы экспертов» была
опубликована статья «Отслеживание коммерческой эффективности сайта». Про-
читать статью можно по адресу http://www.optimization.ru/subscribe/125.html.

Заключение

Возможно, читателя немного удивило, что в нашей книге нет общепринятой сегодня
конкретики в стиле «как украсть миллион за десять легких уроков», пошаговых
руководств, детальных описаний сервисов и инструментов, простых решений, а есть
лишь общие идеи, методы и проблемы.

Дело в том, что у нас не было цели наспех научить читателя оптимизировать или
«раскручивать» сайты. Цель этой книги иная — предложить подумать о том, что
происходит на рынке информации, о новых социальных процессах, рождение ко-
торых мы сегодня наблюдаем, и понять, как научиться добиваться устойчивого
успеха в этой «кипящей» среде.

На наших глазах Интернет становится главным информационным каналом. Это
ставит перед каждой коммерческой компанией, группой людей и, возможно, даже
перед каждым отдельным человеком новую задачу — состояться в информационном
пространстве. Найти и занять свое место в сетевом, виртуальном, информационном
мире. Без этого скоро будет сложно рассчитывать и на успех в реальной жизни.

Продвижение сайта в поисковых системах является наиболее популярным способом
занять свою сетевую нишу. Любая компания стремится, чтобы ее легко находили
потенциальные клиенты, поэтому поисковую оптимизацию, в силу ее массовости,
смело можно назвать социальным явлением.

Но когда на маленьком пятачке, в диапазоне видимости в результатах поиска по
«вкусному» запросу сталкиваются интересы множества сторон, вряд ли возможно
избежать конфликтов. Интересы поисковых систем часто могут не совпадать с
интересами владельцев сайтов. Интересы оптимизаторов иногда близки к инте-
ресам поисковиков, а иногда резко противоречат друг другу. Интересы проектов,
конкурирующих за посетителей «из поиска», просто прямо противоположны. При
этом правила этой сложной «игры в позиции» четко не определены и регулярно
меняются, что приводит к столкновению интересов специалистов, использующих
разные методы продвижения, от «белых» до «черных».

В такой ситуации разумному и осмотрительному владельцу сайта необходим внут-
ренний ориентир, точка опоры, система координат для принятия решений о том,
можно или нельзя использовать тот или иной прием в конкретной ситуации. В этой
книге мы постарались показать читателям, что таким ориентиром должно стать
простое правило: что бы вы ни делали, думайте о благе пользователей, которые
увидят результаты вашей работы. Остальное приложится.

Интернет еще слишком молод, и цивилизованного рынка поисковой оптимизации
пока не существует. Но он обязательно возникнет, и главной идеей этого рынка
будет забота о людях, которые ищут в Интернете информацию: максимально раз-
нообразную, точно соответствующую запросу за минимальное время поиска, — вот
характеристика поисковых технологий будущего.

Успехов вам!

Приложение 1. Роботы поисковых систем

Что такое роботы поисковых систем? Какую функцию они выполняют? Каковы
особенности работы поисковых роботов? Здесь мы постараемся дать ответ на
эти и некоторые другие вопросы, связанные с работой роботов.

Определения и терминология

В английском языке существует несколько вариантов названий поисковых робо-
тов: robots, web bots, crawlers, spiders; в русском языке фактически прижился один
термин — роботы, или, сокращенно, — боты.

На сайте www.robotstxt.org дается следующее определение роботам:

Веб-робот — это программа, которая обходит гипертекстовую структуру WWW,
рекурсивно запрашивая и извлекая документы.

Ключевое слово в этом определении — рекурсивно, то есть имеется в виду, что
после получения документа робот будет запрашивать документы по ссылкам из
него и т. д.

Имена роботов

Большинство поисковых роботов имеют свое уникальное имя (кроме тех роботов,
которые по каким-то причинам маскируются под пользовательские браузеры).

Имя робота можно увидеть в поле User-agent серверных лог-файлов, в отчетах
систем серверных статистик, а также на страницах помощи поисковых систем.

Так, робота «Яндекса» собирательно называют Yandex, робота «Рамблера» —
StackRambler, робота Yahoo! — Slurp и т. д. Даже пользовательские программы,
собирающие контент для последующего просмотра, могут специальным образом
представляться с помощью информации в поле User-agent.

Кроме имени робота в поле User-agent может находиться больше информации:
версия робота, предназначение и адрес страницы с дополнительной информацией.
Приведем в качестве примера полное имя робота Google (рис. П1.1).

Mozilla/5.0 (compatible; Googlebot/2.1; +http://wvvw.google.com/bot.html)

'--------------- 1-------------- ' '-------- 1—¹ V ¹-------------------------- —1--------------------- ¹

Совместимость Имя Версия Дополнительная

информация

Рис, П1.1. Структура полного имени робота Google

Немного истории

Еще в первой половине 1990-х годов, в период развития Интернета, существовала
проблема веб-роботов, связанная с тем, что некоторые из первых роботов могли
существенно загрузить веб-сервер, вплоть до его отказа, из-за того, что делали
большое количество запросов к сайту за слишком короткое время.

Системные администраторы и администраторы веб-серверов не имели возможно-
сти управлять поведением робота в пределах своих сайтов, а могли лишь полностью
закрыть доступ роботу не только к сайту, но и к серверу.

В 1994 году был разработан протокол robots.txt, задающий исключения для
роботов и позволяющий пользователям управлять поисковыми роботами в пре-
делах своих сайтов. Об этих возможностях вы читали в главе 7 «Как сделать сайт
доступным для поисковых систем».

В дальнейшем, по мере роста Сети, количество поисковых роботов увеличивалось,
а функциональность их постоянно расширялась. Некоторые поисковые роботы не
дожили до наших дней, оставшись только в архивах серверных лог-файлов кон-
ца 1990-х. Кто сейчас вспоминает робота T-Rex, собирающего информацию для
системы Lycos? Вымер, как динозавр, по имени которого назван. Или где можно
найти Scooter — робот системы Altavista? Нигде! А ведь в 2002 году он еще активно
индексировал документы.

Даже в имени основного робота «Яндекса» можно найти эхо минувших дней: фраг-
мент его полного имени «compatible; Win 16;» был добавлен для совместимости
с некоторыми старыми веб-серверами.

Что делают роботы поисковых систем

Какие же функции могут выполнять роботы?

В поисковой машине функционирует несколько разных роботов, и у каждого из них
свое предназначение. Перечислим некоторые из задач, выполняемых роботами:

□ обработка запросов и извлечение документов;
О проверка ссылок;

□ мониторинг обновлений;

□ проверка доступности сайта или сервера;

□ анализ контента страниц для последующего размещения контекстной рекламы;

□ сбор контента в альтернативных форматах (данные в форматах RSS и Atom).

В качестве примера приведем список роботов «Яндекса» из SearchenginesWiki
по адресуhttp://wiki.searchengines.ru/WikipediaSEO/PoiskovyeSistemy/Jandeks/
RobotyJandeksa?v=kip.

«Яндекс» использует несколько видов роботов с разными функциями. Идентифи-
цировать их можно по строке User-agent:

1. Yandex/1.01.001 (compatible; Win 16; I) — основной индексирующий робот;

2. Yandex/1.01.001 (compatible; Win 16; Р) — индексатор картинок;

3. Yandex/1.01.001 (compatible; Win 16; H) - робот, определяющий зеркала сай-
тов;

4. Yandex/1.03.003 (compatible; Win 16; D) — робот, обращающийся к странице
при добавлении ее через форму Добавить URL;

5. Yandex/1.03.000 (compatible; Win 16; M) — робот, обращающийся при открытии
страницы по ссылке Найденные слова;

6. YandexBlog/0.99.101 (compatible; DOS3.30; Mozilla/5.0; В; robot) - робот, ин-
дексирующий xml-файлы для поиска по блогам;

7. YandexSomething/1.0 — робот, индексирующий новостные потоки партнеров
«Яндекс-Новостей» и robots. txt для робота поиска по блогам.

Кроме того, в «Яндексе» работает несколько проверяющих роботов — «простуки-
валок», которые только проверяют доступность документов, ноне индексируют их.

1. Yandex/2.01.000 (compatible; Win 16; Dyatel; С) — «простукивалка» «Яндекс.

Каталога». Если сайт недоступен в течение нескольких дней, он снимается с
публикации. Как только сайт начинает отвечать, он автоматически появляется
в Каталоге.

2. Yandex/2.01.000 (compatible; Win 16; Dyatel; Z) — «простукивалка» «Яндекс.
Закладок». Ссылки на недоступные сайты помечаются серым цветом.

3. Yandex/2.01.000 (compatible; Win 16; Dyatel; D) — «простукивалка» «Яндекс.
Директа». Она проверяет корректность ссылок из объявлений перед модерацией.
Никаких автоматических действий не предпринимается.

В июне 2010 года «Яндекс» изменил вид своего представления в User-Agent с це-
лью унификации и большей информативности имен. Новые User-Agent позволяют
легко определить по имени робота его принадлежность к тому или иному сервису
«Яндекса».

1. Mozilla/5.0 (compatible; YandexBot/3.0) — основной индексирующий робот.

2. Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) — робот, определяющий
зеркала сайтов.

3. Mozilla/5.0 (compatible; YandexImages/3.0) — индексатор «Яндекс.Картинок».

4. Mozilla/5.0 (compatible; YandexVideo/3,0) — индексатор «Яндекс.Видео».

5. Mozilla/5.0 (compatible; YandexMedia/3.0) — робот, индексирующий мультиме-
дийные данные.

6. Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) — робот поиска по блогам,
индексирующий комментарии постов.

7. Mozilla/5.0 (compatible; YandexAddurl/2,0) — робот, обращающийся к странице
при добавлении ее через форму «Добавить URL».

8. Mozilla/5.0 (compatible; YandexFavicons/1.0) — робот, индексирующий пикто-
граммы сайтов (favicons).

9. Mozilla/5.0 (compatible; YandexDirect/3.0) — робот, индексирующий страницы
сайтов, участвующих в Рекламной сети «Яндекса».

10. Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) — «простукивалка» «Яндекс.

Директа».

11. Mozilla/5.0 (compatible; YandexMetrika/2.0) — робот «Яндекс.Метрики».

12. Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) — «простукивалка» «Яндекс.

Каталога».

13. Mozilla/5.0 (compatible; YandexNews/3.0) — индексатор «Яндекс.Новостей».

И все-таки наиболее распространенные роботы — это те, которые запрашивают,
получают и архивируют документы для последующей обработки другими меха-
низмами поисковой системы. Здесь уместно будет отделить робота от индексатора.

Поисковый робот обходит сайты и получает документы в соответствии со своим внут-
ренним списком адресов. В некоторых случаях робот может выполнять базовый анализ
документов для пополнения списка адресов. Дальнейшей обработкой документов
и построением индекса поисковой системы занимается уже индексатор поисковой
машины. Робот в этой схеме является всего лишь «курьером» по сбору данных.

Поведение роботов на сайте

Чем отличается поведение робота на сайте от поведения обычного пользователя?

1. Управляемость. Прежде всего «интеллигентный» робот должен запросить с сер-
вера файл robots. txt с инструкциями по индексации.

2. Выборочное выкачивание. При запросе документа робот четко указывает типы
запрашиваемых данных в отличие от обычного браузера, готового принимать
все подряд. Основные роботы популярных поисковиков в первую очередь будут
запрашивать гипертекстовые и обычные текстовые документы, оставляя без
внимания файлы стилей оформления CSS, изображения, видео, ZIP-архивы
и т. п. В настоящее время также востребована информация в форматах PDF,
Rich Text, MS Word, MS Excel и некоторых других.

3. Непредсказуемость. Невозможно отследить или предсказать путь робота по
сайту, поскольку он не оставляет информации в поле Referer - адрес страницы,
откуда он пришел; робот просто запрашивает список документов, казалось бы,
в случайном порядке, а на самом деле в соответствии со своим внутренним
списком или очередью индексации.

4. Скорость. Небольшое время между запросами разных документов. Здесь речь
идет о секундах или долях секунды между запросами двух разных документов.
Для некоторых роботов есть даже специальные инструкции, которые указыва-
ются в файле robots. txt, по ограничению скорости запроса документов, чтобы
не перегрузить сайт.

Как может выглядеть HTML-страница в глазах робота, мы не знаем, но можем
попытаться себе это представить, отключая в браузере отображение графики и сти-
левого оформления.

1. Вид главной страницы сайта «Энциклопедия поисковых систем» в обычном
браузере показан на рис. П1.2.

Интервью (13)
Ключевые слове (7)
Контекстная рекламе (5)
Метатэги (1)

Поисковые системы (25)
События (8)
Софт-обзор (1?)
Ссылочное ранжирование (12)
Статьи (29)

Теоретические вопросы (16)
Технические приемы (15)
Реклама;

и а I и ~/о доступнее

NetPromoter - раскрутка,
продвижение и оптимизация
сайта

Выбрать и купить домашний
кинотеатр

Авк

Технологии вашего успеха
А(11_ооК: оптимизация сайтов,
продвижение сайтов в
поисковых системах

Рассылки:

Ш Продвижение сайта:
вопросы подписчиков ~ ответы
экспертов

Новости поисковых систем
|ваш(ипо1

PK I

С ш р • и с Subscribe. Ru

Одним из основных факторов, влияющих на выдачу в поисковиках,
безусловно, является фактор наличия внешних ссылок на сайт, как
одна из важнейших характеристик популярности данного ресурса.
Это факт общеизвестный, и поэтому при продвижении ресурсов ему
уделяется самое пристальное внимание. Как следствие,...»>

"Большой брат" для рекламы

^ Прислано в раздел Статьи от Юрий Агапов 02.11.2005 @ 10:12

В 2004 году интернет-реклама, по данным Deutscb Bank, подорожала
в среднем на 11%, а оборот этого рынка на 73% вырос. Такие цифры
могут удивить, учитывая, что после кризиса 2001-го оценки успехов
э-коммерчесхой отрасли находятся на более скромном уровне. Однако
следует... >»

Обзор технических решений для интернет-магазинов

Прислано в раздел Софт-обзор от Юрий Агапов 12.10.2005 @ 18:36

Одними из ключевых решений для электронной коммерции, являются
технические решения, то есть системы управления сайтом. Логически
их можно разделить на системы упра;зления наполнением ресурса, так
называемые CMS и программы для продвижения, ведения,

мониторинга и анализа статистики. Рынок технических решений для...
>»

Как разработать реальный план получения доходов

Прислано в раздел Статьи от Юрии Агапов 06.10,2005 © 01:32

Отрывок из книги Ральфа Уилсона «Планирование стратегии
Интернет-маркетинга», Материал предоставили журнал
«Интернет-маркетинг» и электронная библиотека статей
Гребенников-Инфо. Как разработать реальный план получения
доходов Прежде чем перейти к рассмотрению основ планирования
маркетинга вашей компании в Интернете, следует внимательно
рассмотреть источники получения... >»

Поисковая оптимизация: от внешнего к внутреннему

Прислано в раздел Статьи от бгау 02,09,2005 @ 16:24

Что самое трудное в работе оптимизатора? Вопрос риторический. Дня
профессионала, будь то свободный специалист или целая компания,
вывод сайта по перспективным запросам на первую страницу или в
первую пятерку - не проблема. Эта - нормальные трудовые будни,
Никто и не обещал, что будет легко. А вот когда клиент, вложивший в
продвижение своего ресурса немалые средства, замечает, что «за
один день и бедственную ночь» его сайт вывалился за пределы
первой двадцатки, начинаются настоящие проблемы. Как объяснить
человеку, что все его вложения аннулированы одним-единственным
фактором: незначительной сменой поискового алгоритма, каким-то
крошечным новшеством в учете внешних факторов?»>

• 06.12.2005 К a noodle начнет
оплачивать издателям за
распределение cookies

♦ 06,12.2005 Яндекс.Маркет следит га

наличием товаров

♦ 05,12.2005 Новая турбо поисковая
система Каггоот. вступает в гонку с
Yahoo! и Google

♦ 05.12.2005 У PactbinoK@Mail,Ru - 5
миллионов подписчиков

• 0212,2005 AOL Mobile Search - новый
сервис службы Америка Онлайн

• 01.12.2005 ©Miail.Ru доставит письма
пользователей Деду Морозу

♦ 01.12.2005 Yahoo! Mart Beta - Yahoo!
расширяет RSS платформу

• 29.11.2005 TiVo объявляет о запуске
поиска, ре кланы на телевидении

♦ 29.11.2005 Интеллектуальная
поисковая система Nigma.ru обзавелась
собственны» индексом

• 25.11.2005 UmaxSearch расширяет
возможности вебмастеров

♦ 24.11.2005 Mad.Ru ЗапустмП сервис
блогов

• 23.11.2005 Google начинает
тестирование нового сервиса для
рекламодателей ClicMo-Call

* 23.11.2005 AOL обновила AOL Instant
Messenger - клиент службы мгновенных
сообщений

* 22.11.2005 Библиотека Конгресса
начинает создавать Всемирную
Цифровую Библиотеку

Архив новостей..,:

Аудит продвижения сайга:

|http//www.site.ru/ 'j >» I

рта Регистрация (.мта
г*J в Л'і Л + каталогах

Ддс.-ьшз I

Регистрдцм. лрк псддврхк. 1PS.RU

Сергей Баиров: "Мв1Ргото1ег развивается в соответствии с
требованиями рынка"

•О Прислано в раздел Интервью от бгау 22.08.2005 ® 13:34

В эпоху лавинообразного роста числа новых интернет-проектов,
продвижение ресурса в Сети становится насущным вопросом для
любого сайта, претендующего на популярность, Решение этой
задачи невозможно без творческого подхода, но и качественный
инструментарий играет в данном процессе далеко не последнюю
роль. О предлагаемых рынку инструментах для продвижения сайта в
Сети в интервью рассказывает Сергей Баиров, исполнительный
директор компании МеФгог^ег.»>

Semonltor - программа для раскрутки и оптимизации сайта

Прислано в раздел Интервью от Gray 15,08,2005 @ 22:31

Рис. П1.2. Главная страницы сайта «Энциклопедия поисковых систем» в обычном
браузере

2. Вид той же страницы, когда в браузере выключена графика и стили, а таблицы
представлены обычным (нормальным) потоком, показан на рис. П1.3.

Главная Нррости I

Дрс^с-редкзы

Поиск

Фору*

Интервью (IT)
Кгаоч_№Ыв слова ГО
Контекстная реклама (S)
МетвіїгиО)
Поисковые системы (25)
События (Б)
Софт-ойчор (17)
Осыяпчнпр мииддш*
(12)

Статьи (29)

Теоретические вопросы

(16)

Технические приемы (15)

00 форумам РУйета! "Бятрнкс" ц NetPromoter представляют щст программ ддя управления сайтами и поисковой оптимизации

п озволяет разглядывать собеседника Page, Promoter п опуч нл Мадшле/Rusgian Edition Best Бегун подводит итоги

Рис. П1.3. Та же страница при отключенном отображении графики и стилей

3. Вид той же самой страницы, полученной из базы поисковой системы «Рамблер»
по ссылке Восстановить текст в результатах поиска, показан на рис. П1.4.

Таким образом, можно сделать вывод, что поисковые роботы закачивают в свой ин-
декс HTM L-структуру страницы, но без элементов оформления и без картинок.

Обновлено: ВДШВД&МЕ*