Общая характеристика работы

МОДЕЛИ И АЛГОРИТМЫ ФОРМИРОВАНИЯ И ОЦЕНКИ КОМПЕТЕНЦИЙ ВЫПУСКНИКА ВУЗА

Специальность: 05.13.10 –

«Управление в социальных и экономических системах»

Автореферат

диссертации на соискание ученой степени

кандидата технических наук

Астрахань – 2012

Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Астраханский государственный технический университет».

Защита состоится «25» октября 2012 г. в 15 часов 00 минут на заседании диссертационного совета Д307.001.06 при Астраханском государственном техническом университете по адресу: 414025, г. Астрахань, ул. Татищева, 16, главный корпус, ауд. 305.

Отзывы на автореферат в двух экземплярах, заверенные гербовой печатью организации, просим направлять по адресу: 414025, г. Астрахань, ул. Татищева, 16, АГТУ, ученому секретарю диссертационного совета Д 307.001.06.

С диссертацией можно ознакомиться в научной библиотеке Астраханского государственного технического университета.

Автореферат разослан 2012 г.

Ученый секретарь

диссертационного совета А.А. Ханова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. Задача планирования процесса подготовки специалиста в целях приобретения необходимых компетенций имеет важное практическое значение, в связи с изменившимися требованиями к качеству подготовки выпускников в условиях перехода к Федеральным государственным образовательным стандартам высшего профессионального образования (ФГОС ВПО).

С внедрением новых ФГОС ВПО образовательная политика и практика работы всех высших учебных заведений перестраивается в соответствии с компетентностным подходом. В основе этих изменений лежит идея о переходе к оценке уровня подготовки выпускника вуза в форме измерения его компетенций. Инновационные процессы в российском образовании ставят перед профессорско-преподавательским корпусом всё более глобальные цели: вооружение студента набором компетенций, которые позволят повысить уровень его компетентности. Об этом говорится в утвержденной постановлением Правительства Российской Федерации № 803 Федеральной целевой программе развития образования, основная цель которого – обеспечение условий для удовлетворения потребностей граждан, общества и рынка труда в качественном образовании.

Согласно ФГОС ВПО, высшее учебное заведение обеспечивает качество подготовки студентов в т.ч. путем «разработки объективных процедур оценки уровня знаний и умений обучающихся, компетенций выпускников». На сегодняшний день в вузах создаются отделы контроля качества образования, однако инструменты для эффективного планирования и оценки процесса формирования компетенций специалистов и факторы, влияющие на них, недостаточно разработаны.

Различные подходы к проблемам компетентностного подхода и качеству образования посвящены работы многих авторов: И.А. Зимней, Э.Ф. Зеера, В. Гутмахера, В.В. Краевского, А.В. Хуторского, В.А.Богословского, Е.А. Караваева и др. Работы Д.И. Прошина, С.А. Маруева, Л.Р. Фионовой посвящены вопросам управления образованием на основе компетентностного подхода, работы О.А. Шабалиной, Н.А. Наумовой – вопросам автоматизации учебного процесса.

Проблемой современных вузов по-прежнему остается организация процесса измерений компетенций, которые необходимы, согласно п.8.1. раздела VIII «Оценка качества освоения основных образовательных программ» ФГОС ВПО, с использованием автоматизированных систем и ресурсов вуза. Отсутствуют рекомендации по расширению функциональности существующих автоматизированных систем управления вузом (АСУ ВУЗ) в части планирования и мониторинга учебного процесса вуза в изменившихся условиях. Для вновь разрабатываемого программно-алгоритмического обеспечения должны быть определены системные свойства компетенции, факторы влияния, способы ее количественного выражения, решены вопросы обобщения когнитивных знаний экспертов и организации экспертизы в процессе оценки компетенции, использующие алгоритмы теории принятия решений.

Выходом из создавшегося положения является решение научно-технической задачи планирования основной образовательной программы (ООП) и расширения функциональных возможностей АСУ ВУЗ с учётом новых требований образовательной политики – компетентностного подхода.

Объект исследования – компетенции, присутствующие в ФГОС ВПО.

Предмет исследования – управление учебным процессом в части разработки ООП и мониторинга формирования компетенции для оценки качества подготовки выпускников.

Целью диссертационного исследования является совершенствование управленческих решений, связанных с планированием учебного процесса вуза, на основе совокупности математических и алгоритмических средств формирования и оценки компетенций выпускника вуза. Поставленная цель достигается решением следующих задач:

1. Провести анализ информационных ресурсов и систем вуза, ориентированных на государственные образовательные стандарты второго поколения, используемых при организации учебного процесса. Разработать блок-схему управления организацией обучения с позиции компетентностного подхода, выделив процедуры измерения факторов и уровней формирования компетенций.

2. На основе знаний экспертов разработать модель компетенции, процедуру организации экспертизы и обработки экспертной информации для описания степени влияний составляющих компетенции и выявления наиболее востребованных компетенций.

3. Сформировать системные характеристики компетенции, подлежащие шкалированию, и разработать вычислительную процедуру оценки их информационно-энтропийных свойств на основе когнитивной модели.

4. Сформулировать процессы жизненного цикла компетенции (ЖЦК) с целью раскрытия содержания основных этапов её становления, разработать процедуру количественного измерения уровня формирования компетенции по окончании всей или части ООП.

5. Разработать модель информационной системы мониторинга формирования компетенции на всех этапах её жизненного цикла, и определить ее место в информационном пространстве вуза, поддерживаемого существующей автоматизированной системой управления, либо совокупностью интегрированных информационных систем и ресурсов.

Методы исследования. В процессе работы использовались методы системного анализа, теории информации, математического моделирования, теории графов, теории вероятностей и математической статистики, теории принятия решений.

Достоверность и обоснованность работы. Обоснованность научных суждений и выводов, сформулированных в работе, обусловлена корректным применением указанных методов исследования. Достоверность подтверждается успешным практическим применением результатов диссертационной работы.

Научная новизна диссертационного исследования:

1. Построена когнитивная модель компетенции, представленная в виде ориентированного взвешенного графа. Выделены системные характеристики компетенции, позволяющие исследовать компетенцию на целостность и определять степень значимости изученных дисциплин на основе информационной энтропии.

2. На основе когнитивной модели разработана процедура оценки уровня компетенции, использующая интегральный критерий, с учетом уровня усвоения дисциплин в заданный момент времени и степени их влияния на формирование компетенции.

3. Впервые введено понятие жизненного цикла компетенции состоящего из трёх этапов, для каждого из которых разработан алгоритм мониторинга уровня формирования компетенции на основе балльных оценок рейтинговой системы вуза.

4. Предложена совокупность рекомендаций по реструктуризации существующей системы планирования и мониторинга реализации основной образовательной программы, расширяющих функциональность программных модулей, используемых в автоматизированных системах управления вузом.

Практическая значимость работы заключается в совершенствовании организации учебного процесса вуза путём принятия управленческих решений на основе результатов реализации предложенных в работе алгоритмов построения модели компетенции и процедуры оценки уровня компетенции.

Разработанное программное и алгоритмическое обеспечение, включая процедуру оценки компетенций и модель информационной системы мониторинга качества подготовки специалиста, могут быть использованы для расширения функциональности автоматизированных систем управления вузом при внедрении системы управления качеством образования по ФГОС ВПО.

Реализация результатов работы. Работа выполнялась в рамках госбюджетной НИР "Методы систематизации и классификации в задачах защиты информации" (гос. рег. 01201051067.Астрахань, 2010).

Результаты исследований приняты к использованию в ФГБОУ ВПО «Астраханский государственный технический университет» при организации учебного процесса на кафедрах «Информационная безопасность» и «Автоматизированные системы обработки информации и управления».

Апробация работы. Основные положения работы докладывались и обсуждались на: Международной научно-практической конференции «Эволюция системы научных коммуникаций Ассоциации университетов прикаспийских государств» (Астрахань, 2008), Международной научно-практической конференции, посвящённой 80-летию Астраханского государственного технического университета «Фундаментальные и прикладные исследования университетов, интеграция в региональный инновационный комплекс» (Астрахань, 2010), XXIII-XXIV Международных научных конференциях «Математические методы в технике и технологиях» (Псков, 2009; Саратов, 2010; Саратов, 2011).

Публикации. Основное содержание диссертации нашло отражение в 13 опубликованных научных работах, в том числе в 6 статьях в периодических и научно-технических изданиях, выпускаемых в Российской Федерации, в которых ВАК рекомендует публикацию основных научных результатов диссертаций, получено свидетельство об официальной регистрации программы для ЭВМ. Без соавторов опубликовано 7 работ.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка использованной литературы из 137 наименований и 7 приложений. Основная часть работы изложена на 152 страницах машинописного текста, содержит 59 формул, 23 таблицы и 27 рисунков.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертации, излагается цель и задачи исследования, раскрываются научная новизна и практическая значимость.

В первой главе обоснована необходимость в оценке компетенций, составляющих компетентность будущих специалистов. Изучены понятия компетентность и компетенция, определены факторы, влияющие на её формирование в период обучения в вузе.

Обозначена проблема составления паспорта компетенции в целях однозначного понимания её содержания и структуры. Обоснована необходимость разработки модели компетенции. Сделано предположение о формировании компетенции в период обучения в вузе за счёт изучения дисциплин.

Представлена блок-схема управления организацией обучения с позиций компетентностного подхода (рис. 1), где f – состояние факторов, влияющих на компетенцию, y – уровень компетенции; Df, Dy – процедуры измерения f и y. Управляющее устройство (УУ), получая на входе информацию о состояниях f и y, формирует управляющее воздействие U, для достижения цели Z *, т.е. для формирования необходимого уровня компетенции Y *:

Рис. 1. Управление обучением

Отмечена недостаточность исследований о выборе наиболее востребованных компетенций из ФГОС ВПО, о степени влияния дисциплин на формирование компетенции.

Проведён анализ существующих информационных ресурсов и систем, используемых российскими вузами при планировании обучения. Выявлены недостатки существующих АСУ ВУЗ при реализации компетентностного подхода и обоснована необходимость расширения их функциональности в связи с изменившимися требованиями к качеству подготовки специалистов.

Сделаны выводы о том, что для повышения качества подготовки специалиста с учётом требований ФГОС и работодателей необходима разработка процедуры формирования и оценки компетенций, совершенствование алгоритма планирования обучения и мониторинга развития компетенций, анализ результатов которого позволит вносить коррективы в организацию процесса обучения и повысить компетентность выпускника.

Во второй главе представлена когнитивная модель компетенции, предпосылками разработки которой являлось отсутствие необходимых данных о взаимовлиянии изучаемых дисциплин друг на друга и на формирование компетенции. Представлены алгоритмы сбора и обработки экспертных данных для построения модели компетенции и выявления перечня наиболее востребованных компетенций.

Обоснован выбор методологии когнитивного моделирования для построения когнитивной карты компетенции, представляющей связи, возникающие между дисциплинами в процессе формирования компетенции.

Когнитивная карта компетенции представима в виде ориентированного взвешенного графа G = < X, R >, где X = < K, D, d > – множество вершин графа:

K – компетенция, D – дисциплины, непосредственно влияющие на компетенцию, d – дисциплины, косвенно влияющие на компетенцию, R – множество ребер, соединяющих дисциплины с компетенцией и дисциплины между собой (рис. 2). Для построения когнитивной модели использован опрос экспертов. Обоснован состав экспертной группы: опытные преподаватели дисциплин различных циклов, потенциальные работодатели, представители администрации вуза, работающие по специальности выпускники. Предложена система ценности мнений экспертов.

Рис. 2. Модель компетенции: ● – прямое влияние, ○ – косвенное влияние, → – связь прямого влияния, 4 – связь косвенного влияния.

Разработан алгоритм сбора и обработки экспертных данных, состоящий из 4 этапов:

1) Опрос экспертов для формирования матрицы W, определяющей зависимости компетенции К от различных дисциплин D, непосредственно ее формирующих, и матрицы V, определяющей зависимости дисциплин D от дисциплин d, косвенно формирующих K:

,причём , , n – число изучаемых дисциплин, m – количество формируемых компетенций.

, причём , , l– число дисциплин d, влияющих на дисциплину Dt, k– количество дисциплин, прямо влияющих на компетенции.

2) Эксперты ранжируют дисциплины по степени важности их влияния на компетенцию (дисциплину).

3) Проверяется согласованность мнений экспертов (расчёт коэффициента конкордации).

4) Применяется правило Фишберна для расчёта весов влияния составляющих компетенции на её формирование.

В результате обработки полученных данных, матрицы W и V преобразуются в матрицы R и Q, содержащие веса влияния дисциплин на компетенцию и дисциплин на дисциплину:

,

где – вес влияния дисциплины D _i на компетенцию K_j, причём ,

,

где – вес влияния дисциплины d_s на дисциплину D_t,, причём

Введение весовых коэффициентов позволяет дополнить построенную модель компетенции для представления в виде ориентированного взвешенного графа.

Разработанная модель является основой для составления паспорта компетенции и разработки процедуры её оценки. Применение методов теории графов (обход графа в ширину, обход графа в глубину) позволяет сформировать последовательность изучения дисциплин, что является необходимым при составлении учебных планов.

Для верификации востребованности компетенций разработан алгоритм выявления набора наиболее востребованных компетенций из представленных в ФГОС. Использовано анкетирование экспертов – специалистов-работодателей из ведущих предприятий и организаций, нуждающихся в квалифицированных специалистах данного направления подготовки. Компетенции рекомендуется объединить в группы и проводить анализ в каждой группе. Для направления подготовки «Информационная безопасность» такими группами являются: общекультурные и общепрофессиональные компетенции, компетенции эксплуатационной деятельности, проектно-технологической деятельности, организационно-управленческой деятельности и экспериментально-исследовательской деятельности, обозначенные в ФГОС.

Структура алгоритма:

1. Обработка экспертных данных с помощью метода парных сравнений: составляется матрица бинарных предпочтений, где предпочтение компетенций выражается с помощью булевых переменных. Каждый l -ый эксперт из k опрошенных оценивает степень важности компетенции величиной (по шкале Харрингтона), оценка компетенций группы каждым экспертом описывается матрицей А:

,где .

2. Матрицы оценок всех экспертов суммируются:

.

3. Вводится оценочная матрица важности компетенций группы:

, где .

4. Определяется востребованность каждой компетенции путем суммирования булевых переменных по соответствующей строке матрицы:

5. Образуется вектор , согласно элементам которого по правилу большинства формируется перечень наиболее востребованных компетенций: , определяющий приоритеты дисциплин в процессе дальнейшего планирования вариативной части основной образовательной программы.

В третьей главе компетенция рассматривается как система и введены ее системные характеристики.

Разработана процедура оценки уровня формирования компетенции у студента в процессе обучения, состоящая из двух этапов:

Этап I. Графовое представление компетенции позволяет ввести такие системные характеристики как целостность компетенции – оценка влияния совокупности дисциплин, составляющих структуру компетенции, на её формирование и степень значимости дисциплины – оценка влияния каждой дисциплины на формирование компетенции.

Введена метрика, учитывающая степень влияния дисциплин на компетенцию при помощи энтропийного подхода. Под энтропией понимается степень возможности управления формированием компетенции с учетом меры влияния дисциплин – величины, значения которой находятся в промежутке от 0 до 1. Предложено использование формулы вычисления энтропии по Шеннону для компетенции:

где p_j – вероятность влияния дисциплины на компетенцию.

Взаимное влияние дисциплин на компетенцию

,

где , H_i – энтропия дисциплины, n – количество дисциплин.

Введена величина участия каждой дисциплины в формировании компетенции a, усреднённая по всем дисциплинам:

, где .

Сделан вывод: чем ближе к единице, тем в большей степени весь набор дисциплин участвует в формировании компетенции.

В целях определения степени влияния каждой дисциплины определяется средняя степень влияния дисциплины D_i на компетенцию:

H_ср=H –H_Di,

,

где – средняя энтропия компетенции, при условии, что состояние дисциплины D_i фиксировано. p_i (j) – вероятность, того, что i -ая дисциплина находится в j -ом состоянии, учитывая все цепочки влияния.

– энтропия влияния дисциплины на компетенцию, p_j – вероятность влияния дисциплины, учитывая каждую цепочку влияния.

Относительная оценка влияния i -й дисциплины на формирование компетенции:

, где .

Близость к 1 означает большее влияние дисциплины. Вес влияния дисциплины на компетенцию определяется с использованием значений b:

где i – число дисциплин, формирующих компетенцию.

На основе статистического эксперимента введён лингвистический классификатор, формирующий пороговые значения a и b, позволяющий трактовать компетенцию как «целостная», а дисциплину как «значимая».

Результатом этапа I является определение степени полноты состава дисциплин, формирующих компетенцию, формирование перечня «значимых» дисциплин, определение меры влияния каждой дисциплины на компетенцию.

Этап II включает:

1) построение обобщённого критерия на основе аддитивного преобразования;

2) оценку характеристик уровня формирования компетенции на текущий момент обучения.

Выбор обобщённого критерия обусловлен множественностью дисциплин, формирующих компетенцию, в связи с чем накопление компетенции студента находится в зависимости от балла, набранного студентом по дисциплине, и от веса влияния дисциплины.

Для оценки степени формирования компетенции использован интегральный аддитивный критерий:

– вектор, компонентами которого являются баллы по дисциплинам, формирующим компетенцию.

Предложены характеристики уровня формирования компетенции (табл. 1).

Таблица 1.