Проектирование экспериментов

Проектирование эксперимента заключается в том, чтобы создать такие условия, которые гарантировали бы влияние на зависимую переменную только одной изучаемой зависимой переменной, исключив при этом влияние побочных факторов. Например, нашей целью является изучение влияния местоположения на прилавке магазина бананов на величину их продажи.

Вы случайным образом разбиваете все овощные магазины на две группы: контрольную и экспериментальную. Обе группы по возможности должны быть эквивалентными во всех аспектах, т.е. иметь одинаковое количество больших и малых магазинов, расположенных и в центре, и в пригороде, и т.п. Определяете объем продажи бананов за какой-то период времени в магазинах обеих групп. Затем только в магазинах экспериментальной группы определенным, одинаковым, образом меняете местоположение бананов и спустя определенное время вновь определяете (измеряете) объем продажи бананов в магазинах обеих групп. По результатам данного эксперимента определяете влияние местоположения бананов на прилавке на объем их продаж. Однако выявленное изменение объема продаж в экспериментальных магазинах обусловлено не только изменением положения бананов на прилавке, но также и рядом других побочных факторов: возможной рекламой производителей, погодой и т.п. Однако эти влияния характеризует изменение объема продаж в магазинах контрольной группы. Таким образом, разница в изменениях объема продаж в контрольной и экспериментальной группах характеризует влияние на изменение объема продаж бананов (зависимая переменная) их местоположения на прилавке магазина (независимая переменная).

Теперь необходимо оценить степень достоверности полученных результатов. Используется внутренняя и внешняя достоверности.

Внутренняя достоверность определяет, в каких пределах изменение зависимой переменной действительно обусловлено изменением зависимой переменной. Например, если в предыдущем примере не обеспечилось полностью условие эквивалентности контрольной и экспериментальной групп, скажем, магазины этих групп посещают посетители, различные по возрасту и материальному положению. Эти различия тогда будут относиться к неконтролируемым побочным факторам, и данный эксперимент не будет удовлетворять требованиям внутренней достоверности. Результаты таких экспериментов обладают малой ценностью.

При проектировании эксперимента экспериментатор должен обратить внимание на следующие факторы, определяющие внутреннюю достоверность:

— наличие побочных явлений или факторов, влияющих на результаты эксперимента;

— биологические, социальные, психологические изменения исследуемого объекта в процессе эксперимента;

— однородность с точки зрения точности и чувствительности инструментов измерения в течение всего эксперимента;

— идентичность характеристик обеих групп.

Внешняя достоверность характеризует пределы, в которых можно использовать выявленные зависимости, полученные в ходе эксперимента.

Например, можно ли распространять на другие типы магазинов выявленную (если она есть) зависимость между объемом продаж и расположением бананов на прилавке магазина?

При определении внешней достоверности необходимо учитывать следующие факторы:

- обладает ли нужным уровнем репрезентативности выборка испытываемых единиц?

- характеризует ли с достаточной полнотой выборка популяцию в целом?

- соответствуют ли условия эксперимента реальным условиям?

Например, при тестировании рекламы оценивается реакция покупателей на разные виды рекламы, причем это тестирование осуществляется в специальной демонстрационной комнате. Однако реальная реакция покупателей на различные методы продвижения товара, в том числе на рекламу, в демонстрационной комнате и реальном торговом зале может различаться.

Для того чтобы сделать заключение о наличии причинной связи в маркетинге, необходимо проверить выполнение трех условий:

1. Наблюдается ли совместная вариация, совместное изменение параметров?

2. Правильно ли события упорядочены во времени?

3. Исключено ли возможное влияние других факторов?

Поясним сущность каждого из этих условий.

1. Наблюдается ли совместная вариация, совместное изменение параметров?

Свидетельства о наличии совместных изменений могут иметь как качественный, так и количественный характер.

Пример качественного свидетельства: можно предположить, что чем лучше в магазине сервис, тем выше продажи. Это значит, что в магазинах с хорошим сервисом должны быть высокие продажи, а там, где сервис плохой, - низкие. Если это не так, значит гипотеза под вопросом.

Пример количественного свидетельства совместной вариации. В одном из исследований использовалась случайная выборка из тысячи респондентов для изучения связи между образованием и покупкой модной одежды. Исследование показало, что среди респондентов с высоким образованием доля покупателей модной одежды выше. Похоже, что образование действительно способствует ее покупкам. Но можем ли мы заключить, что высокое образование ведет к увеличению покупок модной одежды? Конечно, нет! Мы можем пока лишь сказать, что наше наблюдение не противоречит этой гипотезе.

2. Правильно ли события упорядочены во времени?

Надо убедиться, что события X и Y произошли в правильной последовательности, то есть либо сначала X, потом Y, либо одновременно. Но никак не сначала Y, а потом X.

Заметим, что взаимосвязанные события X и Y могут быть оба результатом чего-то третьего. Например, человек может совершать много покупок в каком-либо магазине (X) и иметь платежную или дисконтную карточку этого магазина (Y). Что здесь причина, а что -- следствие? Ведь понятно, что если у человека есть карточка магазина, его тянет зайти в этот магазин. И наоборот - если ему этот магазин удобен, то велика вероятность, что именно он захочет пользоваться карточкой.

Рассмотрим снова гипотезу, что сервис в магазине приводит к росту продаж. Надо убедиться, что сначала персонал был специально обучен или нанят новый персонал, а в последующие месяцы росли продажи. Либо, допустим, одновременно идет обучение персонала и независимо от этого - повышение продаж. Оба эти варианта не противоречат гипотезе о существовании причинной связи. Но ведь может оказаться и не так: возможно магазин, заметив подъем продаж, направил часть дополнительной выручки на дополнительное обучение персонала.

3. Исключено ли возможное влияние других факторов?

Вернемся к примеру об анализе влияния образования на покупку модной одежды. Совместная вариация с образованием здесь, как мы видели, наблюдается. А как с влиянием других факторов? Ведь модная одежда дороже, а образованные люди обычно зарабатывают больше! Если разделить респондентов еще и по доходу, мы увидим, что эта корреляция - ложная. Иллюзия же создавалась из-за того, что среди лиц с высоким образованием относительно состоятельных триста из пятисот, а среди лиц с низким образованием - только двести из пятисот.

Существуют следующие внешние переменные:

1. История, то есть в период проведения эксперимента может что-то произойти.

2. Созревание. Эффект созревания состоит в том, что в ходе эксперимента меняются в лучшую сторону сами объекты тестирования. Может меняться, совершенствоваться, например, магазин: улучшаться обслуживание, расширяться ассортимент и т. д. Таким образом, созревание -- частный случай истории.

3. Тест-эффекты. Под тест-эффектом понимается влияние самого факта замера на результаты эксперимента.

4. Инструментальная погрешность. Этот эффект возникает, когда по тем или иным причинам приходится менять инструменты измерения, например, отдельные шкалы в анкете.

5. Статистическая регрессия. Эффекты статистической регрессии означают дрейф крайних, отличающихся от остальных, оценок в сторону средней величины. Известно, что люди, склонные выражать восторженные или, наоборот, крайне негативные позиции, более других подвержены изменениям. Разница в результатах претеста и посттеста может быть следствием именно этого временного дрейфа, а не показанной респондентам рекламы.

6. Смещение отбора. Этот эффект - результат изначально ошибочного назначения объектов тестирования: они могут оказаться исходно различными по значениям зависимых переменных.

7. Смертность. Речь тут идет о неизбежном иногда выбывании объектов тестирования между замерами. Чаще всего причиной являются их отказы от участия.

Способы контроля внешних переменных.

Есть четыре способа контроля внешних переменных или, по-другому, помех. Это - рандомизация, выравнивание, статистический контроль и дизайн-контроль.

1. Рандомизация (Randomization)

Рандомизация - это разнесение объектов тестирования по группам с использованием случайных чисел. Каждой из этих групп, например, показывается свой вариант рекламного ролика. В результате такого разнесения внешние факторы распределяются более или менее равномерно. Важно отметить, что рандомизация не спасает при малых выборках: внешние переменные недостаточно усредняются. Чтобы убедиться в допустимости рандомизации, надо сравнивать средние значения внешних переменных в группах, образованных в результате ее проведения.

2. Выравнивани е (Matching)

Этот метод состоит в разбиении совокупности объектов тестирования на классы схожих по внешним характеристикам и отборе по одинаковому числу схожих объектов в каждую группу. У этого метода два недостатка. Во-первых, по всем параметрам выровнять невозможно. Во-вторых, если выравнивание произвели не по тем параметрам, по которым надо, вся работа становится бесполезной.

3. Статистический контроль (Statistical control)

Речь идет о применении метода дисперсионного анализа для оценки значимости влияния независимых переменных на зависимые. При этом учитываются также и внешние переменные.

4. Дизайн-контроль (Design control)

Дизайн-контроль означает применение планов экспериментов, специально разработанных для исключения влияния определенных внешних переменных. О том, какие именно дизайны тут применимы, мы узнаем из следующего подраздела.

Выводы:

Хотя маркетинговые эксперименты в будущем будут, вероятно, использоваться еще чаще, особенно, когда задачей исследования является выбор из имеющегося ряда ограниченных маркетинговых альтернатив, экспериментирование не обойдется без проблем.

Один из главных недостатков методов тестирования рынков заключается в их высокой стоимости, превышающей порой несколько сотен тысяч долларов при проведении тестирования всего в нескольких городах при весьма ограниченной исследовательской программе.

Затраты включают в себя не только обычные исследовательские издержки, ассоциируемые с разработкой и структурированием средств сбора данных и выборки/заработной платой полевого штата, который занимается сбором данных, но и ряд других косвенных расходов. Например, тестируемый рынок должен отражать маркетинговую стратегию, которую предполагается использовать в национальном масштабе, если результаты окажутся полезными. Таким образом, этот тест сопряжен также с необходимостью включать маркетинговые затраты на рекламу, продажу лично потребителю, организацию витрин и т. д.

При выводе на рынок новой продукции появляются также затраты, ассоциируемые с производством на продажу. Производство продукции в малом объеме обычно неэффективно. Немедленное же переключение на крупномасштабное производство может оказаться невообразимо расточительным, если продукция потерпит неудачу на рынке. Обычно затраты на вывод новой продукции с использованием пробного маркетинга на 2 % территории Соединенных Штатов составляют около 3,1 миллиона долларов.

Кроме того, тестируемый продукт становится известным конкурентам. Последние могут быстро изготовить подобный продукт и оказаться первыми на рынке. Следует отметить, что имеется временная задержка между проведением экспериментов и принятием маркетинговых решений, а фактор времени зачастую является решающим. Экспериментаторы сталкиваются с дилеммой. С одной стороны, получение достоверных результатов требует проведения достаточно длительных экспериментов. Однако в этом случае возрастают затраты, увеличивается временной лаг между началом эксперимента и принятием маркетинговых решений, могут измениться условия проведения эксперимента.

Рыночные эксперименты никогда так хорошо не контролируются, как лабораторные. Например, дистрибьюторы и розничные торговцы в экспериментальном регионе, в котором производитель проводит линию на низкие затраты на рекламу, могут сами начать проведение интенсивной рекламной кампании. Конкуренты могут сознательно исказить результаты эксперимента, изменив свою рекламную и ценовую политику, организовав кампанию по закупке в больших количествах экспериментального товара, чтобы исказить результаты эксперимента, и т.п.

Пробный маркетинг называют самой опасной игрой из всего арсенала маркетинга, потому что эта игра открывает громадные возможности непозволительных осечек, характер которых можно видеть на примерах:

Date: 2015-08-15; view: 1279; Нарушение авторских прав