Третий способ улучшения реальности: высокая надежность за счет сокращения несистематической изменчивости

Предположим, что Лендбург получил возможность испытать каждый высотомер в реальном полете и решил провести эксперимент первого типа. Что ему пришлось бы для этого сделать? Просто совершить бы несколько полетов с разными высотомерами. Однако при этом оценить качество работы с высотомером было бы довольно трудно. Ведь Чарлзу нужно было бы не только считывать показания шкал, но и контролировать истинность этих показаний, оценивая высоту своего полета визуально, наблюдая территорию, над которой он летал. Положим, ему удалось бы одновременно делать и то и другое. Пусть очень грубо, но он все-таки смог бы определять высоту полета, например по высоте гор, подлетая к ним достаточно близко, причем высоту пришлось бы изменять довольно часто (и терять на этом горючее). Могло случиться и так, что Чарлз, подобно испанскому пилоту, допустил бы очень серьезную ошибку. Даже если бы число проб в таком полете было бы столь же большим, как в искусственном эксперименте, они дали бы гораздо менее надежные результаты. Оценки высоты зависели бы от таких побочных переменных, как особенность восприятия территории (вспомним эксперимент с ночными посадками), степень сосредоточенности и, наконец, просто умение вести самолет на нужной высоте. Несистематическая изменчивость в поведении испытуемого, а следовательно, и разброс экспериментальных данных были бы очень большими. И если бы эксперименты не продолжались в течение долгого времени, то результаты одного эксперимента явно не совпали бы с результатами другого.

Напротив, искусственный эксперимент, который провел Чарлз, требовал вполне ясных ответов, которые полностью определялись считыванием показаний высотомера. Ошибки в этих ответах можно вычислить совершенно точно. Оценки работы испытуемого в одном эксперименте будут близки к тем, которые могут быть получены в другом эксперименте, проведенном при тех же условиях. Благодаря сокращению несистематической изменчивости этих оценок искусственный эксперимент достигает более высокой надежности по сравнению с экспериментом, дублирующим реальность.

Повторим, что надежность эксперимента можно повысить двумя путями. В эксперименте с поиском эта цель достигалась с помощью увеличения числа проб. В исследовании с высотомерами надежность была повышена благодаря сокращению несистематической изменчивости. Внутреннюю валидность эксперимента можно улучшить, не только повышая надежность, но и устраняя систематическое смешение: это было показано в эксперименте с ночными посадками самолета.