Главная Случайная страница


Полезное:

Как сделать разговор полезным и приятным Как сделать объемную звезду своими руками Как сделать то, что делать не хочется? Как сделать погремушку Как сделать так чтобы женщины сами знакомились с вами Как сделать идею коммерческой Как сделать хорошую растяжку ног? Как сделать наш разум здоровым? Как сделать, чтобы люди обманывали меньше Вопрос 4. Как сделать так, чтобы вас уважали и ценили? Как сделать лучше себе и другим людям Как сделать свидание интересным?


Категории:

АрхитектураАстрономияБиологияГеографияГеологияИнформатикаИскусствоИсторияКулинарияКультураМаркетингМатематикаМедицинаМенеджментОхрана трудаПравоПроизводствоПсихологияРелигияСоциологияСпортТехникаФизикаФилософияХимияЭкологияЭкономикаЭлектроника






Основные этапы конструирования педагогического теста





Процесс создания теста, его научного обоснования, перера­ботки и улучшения можно разбить на ряд этапов.

1.Определение цели тестирования, выбор вида теста и подхода к его созданию.

2.Анализ содержания учебной дисциплины.

3.Определение структуры теста и стратегии расположения заданий.

4.Разработка спецификации теста, априорный выбор длины теста и времени его выполнения.

5.Создание предтестовых заданий.

6.Отбор заданий в тест и их ранжирование согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий.

7.Экспертиза содержания предтестовых заданий и теста.

8.Экспертиза формы предтестовых заданий.

9.Переработка содержания и формы заданий по результатам экспертизы.

 

10.Разработка методики апробационного тестирования.

11.Разработка инструкций для учеников и для преподавателей, проводящих апробацию теста.

12.Проведение апробационного тестирования.

13.Сбор эмпирических результатов.

14.Статистическая обработка результатов выполнения теста.

15.Интерпретация результатов обработки в целях улучшения качества теста. Проверка соответствия характеристик теста научно обоснованным критериям качества.

16.Коррекция содержания и формы заданий на основании данных предыдущего этапа. Чистка теста и добавление новых заданий для оптимизации диапазона значений параметра трудности и улучшения системообразующих свойств заданий теста. Оптимизация длины теста и времени его выполнения на основании апостериорных оценок характеристик теста. Оптимизация порядка расположения заданий в тесте.

17.Повторение этапа апробации для выполнения очередных шагов по повышению качества теста.

18.Интерпретация данных обработки, установление норм теста и создание шкалы для оценки результатов испытуемых.

Возникает своеобразный цикл, так как после чистки теста раз­работчику приходится возвращаться к этапу сбора эмпирических данных, причем, как правило, не один раз, а два, три и более. В оп­ределенном смысле этот цикл бесконечен, но не потому, что все за­дания плохи и разработчик не имеет достаточного опыта создания теста. Просто процесс конструирования теста довольно труден, по­скольку необходим всесторонний подход к оценкам качества теста и характеристик тестовых заданий, к проверке их системообразую­щих свойств.

К тому же можно считать, что задача оптимального подбора состава теста не имеет единственного решения, так как не все здесь определяется качеством тестового материала, а многое еще зави­сит от уровня подготовки группы учеников. Задания, хорошо ра­ботающие на одной выборке учеников, могут оказаться совершен­но бесполезными на другой, так как они будут или слишком легкими, или слишком трудными и их не выполнит правильно ни один ученик группы.

Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается пра­вильным отбором проверяемого содержания и умением разра­ботчика корректно отобразить его в заданиях теста. Крайне важен этап обработки эмпирических результатов тестирования, для вы­полнения которого необходимы специальные программные сред­ства для профессиональной разработки тестов [55].

Конечно, далеко не всегда в процессе создания тестов необ­ходимо достижение профессионального уровня качества, осо­бенно если отвлечься от целей приема абитуриентов и аттестации выпускников. В повседневной деятельности педагога необходи­мы тесты разного, иногда невысокого качества, ориентированные на задачи текущего контроля. Выполнение последней задачи впол­не по силам отдельному педагогу или группе педагогов. Однако и в этом случае можно самостоятельно сделать ряд расчетов, осно­ванных на минимальном математическом аппарате и позволяю­щих значительно продвинуться от предтестовых заданий к насто­ящему тесту.

Выводы

1.Теория педагогических измерений носит междисциплинарный характер, объединяя достижения педагогики и психологии с достижениями математики, статистики и теории измерений.

2.Разработка понятийного аппарата теории педагогических измерений имеет важное значение для повышения качества тестов.

3. При формулировании понятийного аппарата необходимо классифицировать виды тестов, чтобы привести вводимые определения в соответствие с различными видами тестов и целями их создания..

4. Педагогические тесты можно использовать для входного, текущего и итогового контроля при оценке результатов осуществленного учебного процесса.

5. Педагогические тесты разрабатываются в рамках двух подходов, позволяющих по-разному интерпретировать результаты их выполнения.

6. Наблюдаемые результаты выполнения теста получаются в результате взаимодействия множества испытуемых со множеством заданий теста.

7. Профессионально разработанные тесты обеспечивают представление об истинных баллах учащихся, определяемых с помощью специальных методов по наблюдаемым результатам выполнения теста.

8. Процесс конструирования теста включает ряд этапов, выполнение которых обязательно. Исключение любого этапа ведет к неизбежной потере качества теста.

ВОПРОСЫ И ЗАДАНИЯ

1.Каковы функции входного тестирования? Есть ли смысл разрабатывать входные тесты в школе?

2.Каковы цели разработки формирующих тестов? Есть ли различия между формирующими тестами и традиционными средствами текущего контроля?

3.Какова цель итогового тестирования?

4.В рамках какого подхода, по вашему мнению, следует разрабатывать тесты для проведения выпускных экзаменов в школе?

5.Правильно ли в вашей школе оценивают эффективность работы преподавателей?

6.Какой процесс называется стандартизацией теста?

7.Перечислите факторы, влияющие на устойчивость норм теста.

8.Какие тесты, по вашему мнению, необходимо разрабатывать в первую очередь для повышения эффективности учебного процесса в школе?

9.Сформулируйте определения предтестового задания, тестового задания, педагогического теста. Сравните свой ответ с содержанием соответствующих разделов пособия.

10.В чем проявляются преимущества предтестового задания по сравнению с традиционными контрольными заданиями?

11.Каковы общие требования к предтестовым заданиям? Сравните свой ответе предлагаемым в пособии перечнем общих требований.

12.Охарактеризуйте факторы, снижающие точность тестовых измерений.

13.Можно ли с помощью традиционных средств контроля получить представление об истинных баллах учеников?

14.Три ученика отвечали на 6 заданий теста, ранжированных по нарастанию трудности. По результатам ответов получились профили:

первый: 111000; второй: 101010; третий: 000111.

Кто, по вашему мнению, лучше усвоил содержание проверяе­мого курса? Сколько ошибок в профиле ответов каждого из трех учеников? У кого из трех учеников будет выше истинный балл? Правомерна ли постановка последнего вопроса по отношению к результатам третьего ученика?

15. Перечислите основные этапы разработки теста.



СОДЕРЖАНИЕ ТЕСТА


Целеполагание на этапе планирования

Содержания теста

При создании теста внимание разработчика прежде всего при­влекают вопросы отбора содержания, которое можно определить как оптимальное отображение содержания учебной дисциплины в системе тестовых заданий. Требование оптимальности предпо­лагает использование определенной методики отбора, включаю­щей вопросы целеполагания, планирования и оценки качества содержания теста.

Этап целеполагания является наиболее трудным и вместе с тем наиболее важным: от результатов его выполнения в первую очередь зависит качество содержания теста. В процессе целеполагания пре­подавателю необходимо решить вопрос о том, какие результаты уче­ников он хочет оценить с помощью теста. Ответ казалось бы прост, по крайней мере, он кажется таким тем, кто неоднократно проверя­ет знания учеников на уроках традиционными средствами. Однако наделе эта видимая простота зачастую оборачивается низким каче­ством результатов контроля, когда разные по подготовке ученики получают одинаковые оценки либо преподаватель приходит к не­правильному выводу о достижении целей обучения, в то время как ученики не получили самых важных знаний или не научились их применять.

Основания для ошибок в выводах педагога далеко не всегда связаны с технологическими недостатками традиционных средств контроля. Иногда они обусловлены недоработками пе­дагога на этапе целеполагания, когда центр тяжести проверки смещается на второстепенные цели обучения, а иногда этап це­леполагания отсутствует вовсе, поскольку часть педагогов уве­рена в непогрешимости; своего опыта и интуиции, особенно при условии многолетней работы в школе. Однако никакие даже очень совершенные методы контроля и никакой опыт не дадут оснований для надежных выводов о достижении целей обучения до тех пор, пока нет уверенности в правильной постановке целей контроля и в их правильном, несмещенном отображении в содержании теста.

В отличие от отбора содержания традиционных средств конт­роля, который производится в основном интуитивно на основании практического опыта педагога, отбор содержания теста имеет чет­кую целевую направленность, а это при условии правильной по­становки целей является серьезной заявкой на его высокое каче­ство. Образно говоря, при создании теста в сознании разработчика содержание контроля преломляется сквозь призму поставленных целей измерения, и если они сформулированы правильно, то есть большая уверенность в том, что тест состоится.

Правда, сама по себе правильная постановка целей создания теста довольно непроста, к тому же положение осложняется рядом обстоятельств. С одной стороны, различные школы в современной педагогике при формулировке целей используют разные системы понятий и представлений, часто плохо сочетающиеся между собой. С другой стороны, использование отличающихся слов и выраже­ний естественного языка в качестве терминов порождает изрядную путаницу, нередко контекст ряда педагогических подходов недо­статочен для осуществления терминообразующей функции.

Вместе с тем в течение целого ряда лет особой потребности в формировании единых подходов к формулировке целей просто не возникало. Существовавшая в нашей стране на протяжении десяти­летий преимущественная ориентация на традиционные средства контроля снимала потребность в этом процессе, так как расплывча­тость и неопределенность действующих образовательных целей не приходила в рассогласование с требованиями практики, далекой от проблем создания объективных средств измерения. И наконец, не­редко положение осложняли сами исследователи, которые, образно говоря, прорицали, но не слышали друг друга. В целом это привело к тому, что до сих пор не выработаны общие правила выбора осно­ваний для классификации целей, не найдены разделяемые всеми принципы для количественной оценки степени их достижения.

Таким образом, сложившиеся на сегодняшний день представ­ления о наиболее общих целях контроля не позволяют непосред­ственно перейти к разработке средств измерения. Для формулиро­вок образовательных целей характерны излишняя общность, расплывчатость, многообразие и неопределенность. Поэтому для создания средств измерения в первую очередь необходима предва­рительная операционализация целей.

Процесс операционализации заключается в придании содер­жанию и форме представления целей характеристик, позволяющих отобразить цели в содержании стандартизованных средств измерения [7]. Идея операционализации очень близка отдельным положениям работы М.В. Кларина [12], где вместо сло­ва «операционализация»'используется иной, довольно удачный термин «конкретизация». Дело разумеется не в термине, а в сути предлагаемого процесса.

Конкретизация целей

Конкретизация, по мнению М.В. Кларина, должна начинаться с описания направленности воздействия обучения на ученика, про­яснения характера воздействия и детализации его результатов. В этой связи Кларин выделяет ряд вопросов, решение которых с не­обходимостью сопутствует процессу конкретизации. Ответ на пер­вый вопрос направлен на характеристику образовательных усло­вий, создаваемых для реализации целей. Ответ на второй — связан с выявлением внутренних параметров учащихся, их способностей к усвоению нового учебного материала. И наконец, ответ на тре­тий вопрос нацелен на характеристику результатов образователь­ного процесса.

Приведенные Клариным узловые моменты процесса конкре­тизации нуждаются в некоторых уточнениях — изменении не со­держания, а просто порядка постановки вопросов. Поскольку по­рядок постановки вопросов подчинен определенной иерархии, то для отражения сущности происходящих при контроле процес­сов второй и третий вопросы, несомненно, следует поменять ме­стами. Судить о внутренних параметрах учащегося можно толь­ко на основе анализа внешней стороны учебной деятельности, проявляющейся в результатах обучения. По сути, идея перехода от внешнего к внутреннему, идея интериоризации, составляет ядро теории педагогических измерений, когда по наблюдаемым результатам контроля с той или иной степенью точности пыта­ются сделать вывод о внутренних устойчивых характеристиках — параметрах ученика.

, Конечно, не следует забывать о том, что при контроле препо­даватель как бы совершает обратный ход, поскольку на деле имен­но множество параметров испытуемых в процессе взаимодействия с заданиями порождает наблюдаемые результаты выполнения те­ста, т.е. то, что в процессе контроля принято называть результа­тами обучения. При этом выявление степени достижения целей обучения, замкнутых на определенную предметную область, осу­ществляется через контроль учебной деятельности школьников путем сопоставления наблюдаемых и ожидаемых результатов обу­чения.

Непосредственно для целей создания средств измерения наи­больший интерес представляет ответ на третий вопрос, связанный с операционализацией результатов обучения. Процесс операцио-нализации характеризуется рядом этапов, которые схематично изображены на рис. 3.1.

Рис. 3.1. Этапы операционализации результатов обучения

Далее планируемые результаты обучения в сознании препо­давателя-предметника преломляются сквозь призму содержания зна­ний по преподаваемой им учебной дисциплине, и содержание теста начинает обретать свои контуры. Конечно, многое здесь зависит от выбранных средств оценки, так как далеко не всякое содержание дис­циплины и не в любой форме может быть отражено в тесте.

В состав требований к планируемым результатам обучения обычно включают систему изучаемых объектов, описание видов учебной деятельности и качества усвоения учебного материала.

Первым компонентом требований является характеристика объектов изучения с учетом глубины их освещения учителем и пла­нируемого уровня усвоения учащимися. Группой исследователей НИИ СиМО АПН была предложена обще предметная схема, орга­низующая множество объектов изучения в определенную структу­ру на основе морфологического и функционального анализа содер­жания предметов [13]. К важнейшим элементам системы научных знаний исследователи отнесли понятия и факты, законы, теории, идеи, знания о способах деятельности, методологические и оценоч­ные знания.

В этой же работе приводится вывод о том, что использование теории учебной деятельности, разработанной психологами нашей страны (С.Л. Рубинштейн, Н.А. Менчинская, Н.Ф. Талызина), «дает широкие возможности для ее характеристики в программных описаниях, объединяя своими подходами различные учебные пред­меты и различный по характеру материал обучения». Помимо это­го, в работе [13] выдвигается на рассмотрение проблема, связанная с необходимостью выделения видов умений, их классификации и систематизации.

В качестве основы решения проблемы предлагается структура умений, выделенная И.И. Кулибабой [15]. В нее входят умения:

• специальные, формирующиеся в процессе изучения отдельных учебных предметов;

• рационального учебного труда, включающие умения пользоваться различными источниками знаний для решения познавательных задач, планировать и организовывать свою учебную деятельность, контролировать и корректировать результаты учебной деятельности, а также управлять ею в процессе учения;

• интеллектуальные, представляющие собой ядро учебной деятельности и объединяющие все учебные предметы.

классификация целей

При создании теста ставится задача отобразить в его содержании то главное, что должны знать ученики в результате обучения, поэто­му ограничиться простым перечислением целей обучения нельзя. В тест хотелось бы включить все, но, к сожалению, это невозможно, поэтому часть целей приходится просто отбросить и не проверять степень их достижения учащимися. Для того чтобы не утратить са­мое главное, необходимо структурировать цели и ввести определен­ную иерархию в их взаимное расположение. Без сомнения, здесь нет и не может быть готовых общих рецептов, поскольку в каждой дис­циплине свои приоритеты. К тому же отдельные цели заметно свя­заны между собой, и потому простого представления о системе це­лей как об упорядоченной совокупности без рассмотрения связей между элементами явно недостаточно.

Для случая, когда представление об элементах как о несвя­занных составляющих можно считать адекватным системе целей обучения, работа по построению системы целей была проведена Б.С. Блумом (B.S. Bloom) [40]. В настоящее время классификация целей (или, как ее иначе называют, таксономия целей), является наиболее известной в мировой педагогической литературе. Она же и является наиболее технологичной с точки зрения большинства зарубежных разработчиков педагогических тестов. В своей класси­фикации Б.С. Блум выделяет:

1) знание названий, имен, фактов;

2) фактуальные знания;

3) знание определений и понимание их смысла;

4) сравнительные, сопоставительные знания;

5) классификационные знания;

6) знание противоположностей, противоречий, синонимичных и антонимичных объектов;

7) ассоциативные знания;

8) причинные знания;

9) алгоритмические, процедурные знания;

 

10)обобщенные, системные знания;

11)оценочные знания;

12)процессуальные знания;

13)абстрактные знания;

14)структурные знания;

15)методологические знания.

Классификация знаний Б.С. Блума приведена в несколько из­мененном и сокращенном виде для облегчения этапа целеполагания при разработке теста, в учебном пособии [2]. Сама по себе си­стема тоже не полна и допускает возможность расширения или изменения, обусловленную спецификой дисциплины.

Более полное описание целей, взятое из работы Кларина [12], приводится в приложении 3.1. Предлагаемая в приложении таксо­номия целей подразделяется на две группы. К одной группе отне­сены цели когнитивной (познавательной) области, а к другой — цели аффективной (эмоционально-деятельностной) области.

В последнее время таксономия Б.С. Блума подвергалась зна­чительной критике в связи с недостаточным отражением со­временных достижений в области психологии обучения. Общий критический анализ существующих концептуальных моделей пла­нирования при отборе содержания контроля был проделан в 1987 г. Ромберг, Зариния (Romberg, Zarinnia). К числу недостатков ими были отнесены излишняя упрощенность моделей, не позволяющая использовать современные теории процесса обучения, избыточное внимание к оценке результата обучения, а не к процессу формиро­вания результата, использование линейной зависимости между отдельными составляющими модели.

В последние годы особые осложнения в оценке учебных достижений вызывает смещение акцентов на выявление уровня владения интеллектуальными и практическими умениями, которые, по своей сути, слабо алгоритмизируемы, сложны и неоднозначны при проверке и требуют, как правило, создания концептуальных моделей, альтернативных существующим. ;

Из апробированных на практике в настоящее время наиболь­шее применение находит трехмерная модель, включающая содер­жание, технику измерения и планируемый уровень познавательной деятельности, необходимый для выполнения заданий теста [25].

Первая составляющая модели — содержание — обеспечивает содержательную валидность инструментария, его соответствие учебным программам.

Под второй составляющей — техникой измерения — в основном понимается используемый тип заданий. Необходимость введения второй составляющей вызвана тем, что в настоящее время произош­ло значительное расширение используемых в практике массового тестирования форм. Помимо традиционных заданий с выбором ответа, применяются задания со свободным ответом как в краткой, так и в развернутой форме, экспериментальные задания и др. Разнообразие форм обусловило введение различных технологий, особенности которых должны быть отражены в концептуальной модели.

Третьей составляющей модели является познавательная дея­тельность, на оценку которой направлено измерение. В тра­диционном подходе, использующем таксономию Б.С. Блума, уровень мыслительной деятельности, необходимой ученику для ответа на предложенное задание, определялся экспертом. В но­вой концептуальной модели задания конструируются таким об­разом, что они предоставляют различные возможности для от­вета и уровни познавательной деятельности планируются в концептуальной модели теста.

Детальная разработка категорий познавательной деятельности, требований к уровню ее развития, к проявлению различных уров­ней сформированности интеллектуальных умений осуществляется в настоящее время в различных странах мира. СОЛО-таксономия (SOLO — Structure of the Observed Learning Outcomes), предложен­ная в 1982 г. (Biggs and Collis), — один из примеров разработки со­временной модели структуры познавательной деятельности. На се­годняшний день СОЛО-таксономия прочно вошла в практику деятельности многих тестовых центров. Она достаточно успешно применяется в международных исследованиях качества образования в различных странах мира, в частности для оценки достижений уча­щихся по математике и естествознанию (Collis (1987), Collis and Romberg and Jurdak(1986), ChikandWatsonandCollis(1988), Marshall and others (1991) и др.). СОЛО-таксономия включает отдельные ас­пекты содержательно-деятельностной модели и этим может быть сравнима с таксономией Блума. Помимо этого, в ней есть элементы теории Пиаже об этапах развития познавательной деятельности. СОЛО-таксономия имеет иерархическую структуру, может быть ис­пользована как для разработки инструментария, так и при интер­претации результатов тестовых измерений.

Современная модель предлагает качественное описание ответов учащихся. Это означает, что уже на этапе разработки инструмента­рия должна быть четко очерчена познавательная деятельность, ле­жащая в основе выполнения каждого задания теста. Тогда на одном конце шкалы познавательной деятельности будут представлены за­дания на воспроизведение фактов и простейших алгоритмов, вклю­чающих только один шаг деятельности, — словом, задания, позво­ляющие учащимся продемонстрировать умения решать простейшие задачи, используя для этого рутинные процедуры или одноуровне­вую познавательную деятельность; на другом конце шкалы — зада­ния, предлагающие учащимся продемонстрировать большое разно­образие интеллектуальных и практических умений.

В ряде появившихся в нашей стране работ таксономия Б.С. Блу-ма также неоднократно подвергалась критике, в частности, из-за того, что в ней произошло методологически недопустимое смеше­ние конкретных результатов обучения (знания, понимание и т.д.) с операциями, представляющими необходимое условие их дости­жения (анализ, синтез, оценка). В этой связи в пособии предлага­ется иная классификация целей. В ее основу положен уровневый системный подход описания достижений учащихся (И.Я. Лернер, В.П. Беспалько и др.), который позволяет сгруппировать результа­ты обучения в зависимости от уровней учебной деятельности.

Первый уровень связан с непосредственным воспроизведени­ем по памяти содержания изученного материала и его узнаванием.

Второй уровень предполагает понимание и применение знаний в знакомой ситуации по образцу, выполнение действий с четко обо­значенными правилами.

Третий уровень включает применение знаний в измененной или незнакомой ситуации.

Таким образом, предлагаемый подход к классификации осно­ван на выделении уровней усвоения знаний и операций, со­путствующих их проявлению (табл. 3.1).

ОПЕРАЦИОНАЛИЗАЦИЯ ПЛАНИРУЕМЫХ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ

После постановки целей в общем виде переходят к операциона-лизации планируемых результатов обучения. Процесс операциона-лизации строится на описании учебных целей в виде результатов оп­ределенной учебной деятельности так, чтобы о степени достижения цели можно было судить вполне однозначно. Идея подобного пере­хода не всегда встречается отечественными исследователями поло­жительно. По поводу перехода от целей обучения, ориентированных на качественные изменения во внутренних характеристиках уча­щихся, к внешним проявлениям в виде результатов учебной деятель­ности написано немало критических работ, например [26, 35].

Таблица 3.1. Классификация целей обучения

 

Уровень усвоения учебного материала Требования к достижениям учащихся (уровню подготов­ки учащихся) в обобщенных терминах Формулировки требований в терминах внеш­ней деятельности
1. Воспро­изведение знаний Знать терминологию, специфические факты даты, события, имена людей и т.д.), категории, критерии, методы, принципы, законы, тео­рии и т.д. Дать определение, называть, формули­ровать, описывать, установить соответ­ствие (между термином и определени­ем), показывать (находить), распозна­вать (находить), пересказывать, пере­числять (особенности), выбирать и т.д.
2. Пони­мание и примене­ние зна­ний в зна­комой ситуации Понимать факты, зако­ны, принципы, крите­рии, теории; понимать прочитанный текст. Применять знания для объяснения, сравнения, для решения качествен­ных и количественных задач; правильно ис­пользовать методы, алго­ритмы, процедуры; стро­ить графики, диаграм­мы, таблицы и др. Объяснять, соотносить, характеризо­вать (приводить характеристики), сравнивать, устанавливать (различие, зависимость, причины), выделять су­щественные признаки, рассчитывать (определить по формулам или алго­ритму), решить, составить что-то по готовой схеме, выполнить в соответст­вии с правилами, продемонстрировать, измерить, продолжить/закончить (предложение), вставить пропущенные слова (буквы) и т.д.
3. Приме­нение знаний в изменен­ной или незна­комой ситуации Интегрировать знания из разных разделов для решения различных про­блем, анализировать, обобщать, оценивать, конструировать, плани­ровать деятельность, эксперимент Составить устный или письменный ответ на проблемный вопрос, написать сочинение, проводить исследование, формулировать гипотезу (выводы), обосновать свою точку зрения или точ­ку зрения автора, предсказывать по­следствия, отличать факты от мнений (суждений), факты от гипотез, выводы от положений, анализировать инфор­мацию, находить ошибку, высказывать суждение, свое мнение, суждения о соответствии выводов и фактов, давать отзыв или рецензию, высказывать суж­дение о значении (роли) идей, о точно­сти (измерений), высказывать сужде­ние о качестве (точности, эффективно­сти, экономичности) проделанной ра­боты, о выбранном способе решения или используемых методах, строить модель (изменять модель), реконст­руировать, составить план эксперимен­та, рассказа, решения, изменить план и т.д.

 

Представляется, что ситуация с переходом далеко не столь опас­на, как это любят утверждать представители критического направ­ления. Скорее наоборот, ориентация на внешние стороны деятель­ности учащихся несет в себе ряд положительных моментов. В частности, неизмеримо повышается технологичность описания целей, в связи с чем появляется возможность корректного перехо­да к диагностике степени их достижения.

Повышению конкретизации описания результатов учебной де­ятельности, по мнению Кларина, способствует использование ряда глаголов, непосредственно характеризующих действия ученика [12]. В приведенном им примере из работы [43] цель «изучить ис­пользование символических обозначений на погодной карте» раз­ворачивается в виде совокупности учебных результатов, характе­ризующих деятельность ученика, который должен уметь:

• воспроизводить по памяти символы, употребляемые на карте погоды;

• опознавать символы на карте;

• читать карту, используя символы;

• составлять карту, пользуясь символами;

• уметь по заданной карте дать прогноз погоды.

Несмотря на расхожее среди отечественных теоретиков мнение о возможности операционализации только результатов низкого познавательного уровня, процессу операционализации, несомнен­но, подлежат и довольно сложные цели более высокого уровня. Для этого нужны определенные навыки тех, кто берется за создание тестов. В приобретении подобных навыков разработчикам тестов может помочь ориентировочный перечень глаголов, который при­водит Кларин для конкретизации учебных целей. В случае необхо­димости конкретизации общих целей он рекомендует использовать глаголы:

анализировать, вычислять, высказывать, демонстрировать, знать, интерпретировать, использовать, оценивать, понимать, пре­образовывать, применять, создавать...

для конкретизации целей творческого типа —

варьировать, видоизменять, модифицировать, перегруппировать, перестроить, предсказать, поставить вопрос, синтезировать, сис­тематизировать...

для обозначения целей в области развития устной и письмен­ной речи — выделить, выразить в словесной форме, записать, обозначить, подчеркнуть (не в буквальном смысле), продекламировать, произнес­ти, прочитать, разделить на составные части, рассказать...

Основные категории конкретизированных учебных целей, раз­работанные Клариным в несколько измененном виде, удобном для задач измерения, приводятся в табл. 3.2.

Таблица 3.2. Конкретизированные цели обучения

 

Обобщенные учебные цели, планируемые преподавателем Примеры конкретизированных учебных целей, достигнутых учеником
Знание на уровне запо­минания и воспроизве­дения Знает смысл употребляемых терминов, основные понятия и определения, формулы, законы, принципы
Знания на уровне по­нимания Понимает и интерпретирует термины, интерпретирует понятия и определения, преобразует словесный материал в математические выражения, интерпретирует словесный материал на схемах и графиках
Умения по применению знаний в известной си­туации Умеет применять термины, понятия и определения в знакомой ситуации по образцу, а также формулы, законы и принципы в знакомой ситуации
Умения по применению знаний в незнакомой ситуации Использует законы и принципы в новых ситуациях, осуществляет перенос известных методов на незнакомые ситуации
Анализ Видит ошибки и упущения в логике рассуждений, корректирует неполные или избыточные постановки задач, выделяет скрытые предположения, проводит различия между фактами и следствиями

Очередной этап операционализации связан с переходом от пла­нируемых результатов обучения к тому, что можно отобразить в средствах педагогического измерения, например в тесте. На этом этапе операционализация позволяет структурировать, расчленять, а иногда, наоборот, укрупнять, уточнять и детализировать содер­жание дисциплины для его отображения в содержании теста. Имен­но этот этап обеспечивает переход от теоретического уровня ана­лиза целей обучения к эмпирическому и позволяет концептуально правильно подойти к выделению эмпирических индикаторов — заданий теста.

Последний этап операционализации сопряжен с задачами пла­нирования содержания теста. В процессе планирования автору теста приходится думать о том, что далеко не весь набор целей обуче­ния по разным причинам можно отобразить в содержании теста. Конечно, чем глубже и полнее отображение, тем выше содержа­тельная валидность теста, тем больше оснований доверять тесто­вым баллам учащихся. Однако этот вывод носит исключительно теоретический характер. На практике же приходится думать не только о требованиях тестовой технологии, но и о реальных воз­можностях школьников определенного возраста, которые должны выполнять тест без излишнего напряжения и усталости. В этой свя­зи набор целей необходимо структурировать, чтобы в тест попали самые важные цели учебного процесса.

Выделение целей различного уровня иерархии позволяет уточ­нить определенные предметные области, разделы, темы, содержа­ние которых необходимо отразить в тесте. Отсюда остается один шаг до оценки степени реализации целей, для чего знание пред­метных областей выражается правилами измерения с перечисле­нием элементов содержания в совокупности с желаемыми, плани­руемыми при обучении уровнями владения этими элементами. Таким путем общие цели обучения обретают свою конкретизацию и возникает прагматическое определение знания учебной дисцип­лины: когда испытуемый правильно выполняет на определенном уровне усвоения такие-то задания таких-то разделов теста.

Планирование содержания теста

После определения целей тестирования и их конкретизации необходимо разработать план и спецификацию теста. В соответ­ствии с поставленными целями каждое задание теста предназначе­но для проверки у испытуемых уровня владения определенными знаниями, умениями или навыками.

При разработке плана делается примерная раскладка про­центного соотношения содержания разделов и определяется необ­ходимое число заданий по каждому разделу дисциплины исходя из важности раздела и числа часов, отведенных на его изучение в про­грамме.

Раскладку начинают с подсчета планируемого исходного числа заданий в тесте, которое затем в процессе работы над тестом будет неоднократно меняться в сторону увеличения или уменьшения. Обычно предельное число не превышает 60—80 заданий, посколь­ку время тестирования выбирают в пределах 1,5—2 ч, а на выпол­нение одного задания отводится в среднем не более 2 мин. Пример предварительной раскладки заданий при составлении плана теста для оценки знаний, умений школьников по одному из разделов алгебры показан в табл. 3.3.

Таблица 3.3. План теста по разделу «Алгебраические уравнения»

 

 

 

 

 

 

 

 

 

 

 

 

 

№ п/п Контролируемое содержание Число заданий Номера заданий
  Определение уравнения    
  Эквивалентность уравнений   4,5,31
  Виды уравнений    
  Линейные уравнения решение   11,15-19
исследование    
  Решение квадратных уравнений неприведенных   12,26
приведенных   24,25
неполных   20-23
  Исследование квадратных уравнений    
  Теорема Виета .2 13,14
  Биквадратные уравнения решение   28,30
исследование    
  Методы решения уравнений подстановка    
разложение на множители   •27
  Уравнения второй степени решение    
исследование    
  Задачи на составление алгебраических уравнений    

Конечно, план теста начинает обретать некоторую определен­ность уже на этапе целеполагания, когда преподаватель примерно представляет, сколько и какие задания по различным темам он хо­тел бы включить в тест. Однако такие примерные оценки не про­сто нежелательны, а скорее недопустимы. Тест неизбежно окажется перегруженном второстепенным материалом, а главные вопро­сы могут быть упущены либо для них просто не останется места. Отсюда легко понять важность разработки такого плана, который оптимально отображает содержание учебной дисциплины в содер­жании теста.

После выполнения первого шага по планированию содержания разрабатывается спецификация теста, в которой фиксируется структура, содержание проверки и процентное соотношение зада­ний в тесте. Иногда спецификацию делают в развернутой форме, содержащей указания на тип заданий, который будет использовать­ся для оценки достижений учащихся в соответствии с намеченны­ми целями создания теста, время выполнения теста, число заданий, особенности проведения тестирования, которые могут повлиять на характеристики теста и т.д.

Спецификация в развернутой форме включает1:

1) цель создания теста, обоснование выбора подхода к его созданию, описание возможных сфер применения теста;

2) перечень нормативных документов (базисных программ, требований к уровню подготовки выпускников и др.), используемых при планировании содержания теста;

3) описание общей структуры теста, включающее перечень субтестов (если они есть) с указанием подходов к их разработке;

4)количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте;

5) число параллельных вариантов теста либо ссылку на кластер, содержащую число и номера заданий кластера;

6) вес каждого задания, рекомендуемый автором теста;

7) рекомендуемое время выполнения теста, в том числе на каждый субтест, среднее время выполнения одного задания с учетом специфики формы;

8) соотношение заданий по различным разделам и видам учебной деятельности школьников;

9) рекомендации по контингенту учащихся для апробации теста;

 

10)охват требований стандартов (для аттестационных тестов);

11)перечень требований, не вошедших в тест (для аттестационных тестов);

1 Развернутая форма спецификации разработана коллективом тестологов под руководством Г.С. Ковалевой и применялась в 1998-1999 гг. для создания аттес­тационных тестов Российского центра тестирования выпускников общеобразо­вательных учреждений.

 

12) рекомендуемую автором стратегию расположения заданий в тесте.

Один из наиболее распространенных подходов к созданию крат­кой спецификации основан на сопряжении системы знаний и уме­ний с процентным соотношением заданий по различным разделам или по различным содержательным линиям проверяемой дисцип­лины в тесте (пункт 8 развернутой спецификации). Пример реали­зации подобного сопряжения приведен в табл. 3.4. Предлагаемый в ней перечень знаний и умении носит достаточно общий харак­тер. В него включены:

А — знание понятий, определений, терминов;

В — знание законов и формул;

С — умение применять законы и формулы для решения задач;

D — умение интерпретировать результаты на графиках и схе­мах;

Е — умение проводить оценочные суждения.

Таблица 3.4. Гипотетическая спецификация теста

 

 

 

 

№ п/п Планируемые к проверке знания и умения Содержательные линии (разделы) дисциплины Суммарное число по каждому пункту
I (20%) 11(10%) III (30%) IV (40%)
  А (10%)          
  В (20%)          
  С (30%)          
  D (30%)          
  Е(10%)        
Итого          

Несмотря на абстрактный характер и отсутствие явной связи с какой-либо дисциплиной, предлагаемый перечень вполне нагляд­но демонстрирует тот путь, которым обычно идет разработчик тес­тов. Подобного рода перечень знаний и умений, ориентированный на конкретную дисциплину, составляется всегда при планирова­нии содержания теста. Естественно, что в приведенный перечень знаний и умений необходимо ввести некоторые пропорции сооб­разно тем акцентам, которые делаются преподавателем в учебном процессе. Пусть, например, в предлагаемом гипотетическом переч­не установлены следующие пропорции:

А - 10%, В - 20%, С - 30%, D - 30%, Е - 10%.

Для подсчета количества заданий, отводимых на проверку каж­дого пункта перечня, необходимо задаться первоначальным общим числом заданий в тесте, т. е. выбрать длину теста.

Вопрос оптимальной длины теста неоднократно будет рас­сматриваться в процессе изложения материала пособия, сейчас же, на этапе планирования, целесообразно задаться априорной перво­начальной длиной теста. Она устанавливается с учетом цели созда­ния теста, возраста тестируемых учеников и объема содержания проверки. Как уже указывалось ранее, нередко в качестве перво­начальной длины выбирают 60—80 заданий. Особенно в тех случа­ях, когда речь идет об итоговом тестировании старшеклассников на протяжении 2 ч (120 мин) или трех—четырех уроков.

Если при выборе первоначальной длины остановиться на 60 заданиях, то в табл. 3.4 можно заполнить последнюю графу, где про­ставлено число заданий, планируемое для проверки знаний и уме­ний в тесте. В последней графе число заданий выбрано пропорци­онально весу каждого из пунктов А, В, С, D, E в общей раскладке 60 заданий теста. Затем для заполнения таблицы определяется об­щее число заданий по каждому разделу дисциплины (последняя строка). В рассматриваемом примере спецификации таких разде­лов планируется четыре. Вес каждого из разделов в процентах ука­зан в первой строке табл. 3.4.

Конечно, при заполнении таблицы в распределении заданий удается лишь приближенно отобразить пропорции разделов. К тому же не во все ячейки должны быть вписаны числа (например, ячей­ка на пересечении второго столбца и пятой строки), поскольку не­которые умения могут оказаться несовместимыми с содержанием отдельных разделов. Однако даже в таком приближенном видении общей раскладки заданий есть огромная польза для планирования теста.

Естественно, что в процессе работы над тестом первоначаль­ная раскладка заданий будет претерпевать всяческие изменения. Это объясняется тем, что не все задания окажутся удачными и уме­стными в той мере, как это считается на этапе планирования теста. Поэтому с одной частью заданий разработчику приходится рас­статься после экспертизы содержания, с другой — в процессе уг­лубленного анализа результата статистической обработки эмпирических данных выполнения теста. В этой связи после коррекции теста необходима доработка спецификации для приведения ее в соответствие с окончательными пропорциями содержания теста. При другом подходе спецификация содержит процентное со­отношение заданий, планируемое сообразно пропорциям разделов и видам предполагаемой деятельности испытуемого в процессе вы­полнения теста. Разработанный сотрудниками ИОСО РАО пример подобной спецификации итогового теста для проверки знаний и умений школьников по физике приводится в табл. 3.5.

Таблица 3.5. Краткая спецификация итогового теста по физике

 

 

 

Содержание предмета Предполагаемая деятельность тестируемого
Репродуктивный уровень Продуктивный уровень
Знание определении, фактологического мате­риала и т.п. Применение знаний основ­ных законов в знакомой ситуации по образцу, на основе обобщаемого алго­ритма Применение зна­ний в незнако­мой ситуации
Общеобразовательная часть теста (40 зада­ний) Из них: 8 заданий (20%) 24 задания (60%) 8 заданий (20%)
Механика (10 заданий, 25%) 2 задания 6 заданий 2 задания
Молекулярная физика и термодинамика (8 заданий, 20%) 1 задание 5 заданий 2 задания
Электродинамика, СТО (16 заданий, 40%) 3 задания 10 заданий 3 задания
Геометрическая опти­ка (2 задания, 5%) 1 задание 1 задание
Квантовая физика (4 1 задание 2 задания 1 задание
задания, 10%)      
Углубленная часть тес­та (20 заданий) 4 задания (20%) 16 заданий (80%)

 

Date: 2016-11-17; view: 857; Нарушение авторских прав; Помощь в написании работы --> СЮДА...



mydocx.ru - 2015-2024 year. (0.005 sec.) Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав - Пожаловаться на публикацию