Распознавание эмоций человека

Экспериментальная выборка, образцы которой отображают изменение знака эмоционального состояния человека при предъявлении ему стимулов различного эмоционального окраса, включает 266 речевых сигналов (фраз) различных дикторов, продолжительностью от 3 до 10 секунд с частотой дискретизации 22050 Гц и разрешением 16 бит, и соответствующие им 240 паттернов электроэнцефалограмм (ЭЭГ), продолжительностью по 12 секунд с частотой дискретизации 250 Гц. Регистрация ЭЭГ проводилась по стандартной системе отведений «10-20», включающей 19 отведений (O2-A2, O1-A1, P4-A2, P3-A1, C4-A2, C3-A1, F4-A2, F3-A1, Fp2-A2, Fp1-A1, T6-A2, T5-A1, T4-A2, T3-A1, F8-A2, F7-A1, Pz-A1, Cz-A2, Fz-A1).В формировании выборки приняли участие мужчины и женщины в возрасте от 18 до 60 лет, родным языком которых является русский. Методика формирования экспериментальной выборки подробно описана в работе [Филатова, 2014]. В табл. 1 приведен состав экспериментальной выборки сигналов (Class 1, 2, 3 - положительные эмоции, нейтральное состояние, отрицательные эмоции, соответственно).

Табл. 1.Структура экспериментальной выборки

Для конструктивного решения задачи распознавания эмоций человека необходимо количественно охарактеризовать речевые сигналы и ЭЭГ и выделить существенные параметры, отвечающие за эмоции, т.е. необходимо подобрать соответствующий математический аппарат. Для описания образцов речевых сигналов и ЭЭГ можно применять как гомогенный, так и гетерогенный набор признаков, однако, в обоих случаях необходимо учитывать амплитудно-частотный состав сигнала. Для этой задачи могут быть использованы спектральные характеристики и признаки нелинейной динамики.

В работе [Сидоров, 2012] предложен признак нелинейной динамики (усредненный вектор двухмерной проекции аттрактора ) (рис. 1), который существенно снижает размерность описаний образцов сигнала (паттернов речевых сигналов и ЭЭГ) и позволяет получать интегральную количественную оценку, характеризующую контур аттрактора.

Описание каждого объекта экспериментальной выборки (табл. 1) представляется в следующем виде:

, ,

(1)

где , - векторы признаков аттрактора; - номер объекта речевого сигнала; ; , , -максимальные векторы по четырем квадрантам двухмерных проекций аттрактора , , , соответственно; - усредненный вектор двухмерной проекции аттрактора; ; - номер объекта ЭЭГ; ; - номер отведения; (глазные отведения Fp2-A2 и Fp1-A1 не анализируются).

Таким образом, объект речевого сигнала вида описывается 15 признаками, а объект ЭЭГ вида - 255 признаками.

ЭЭГ (отведение F4-A2)	Трехмерный аттрактор
Двухмерные проекции аттрактора	Векторы аттрактора
Рис. 1. Определение признаков аттрактора и

В качестве спектральных характеристик использованы отсчеты спектральной плотности мощности (СПМ), найденные по методу Уэлча с применением оконного быстрого преобразования Фурье [Филатова, 2014]. В исследовании применялось окно преобразования Хемминга (ширина 128 - для ЭЭГ, ширина 1024 - для речевых сигналов); границы частотного диапазона для ЭЭГ (0-125 Гц); границы частотного диапазона для речевых сигналов (0-11 кГц). Каждый объект представляется вектором вида , где - ордината спектра мощности на частоте ; - соответствует значению -го признака; - шаг по частоте; ; - частота дискретизации; - ширина окна быстрого преобразования Фурье.

Описание каждого объекта экспериментальной выборки (табл. 1) представляется в следующем виде:

, ,

(2)

где , - векторы признаков СПМ; - номер объекта речевого сигнала; ; - номер объекта ЭЭГ; ; - номер отведения; (глазные отведения Fp2-A2 и Fp1-A1 не анализируются); - номер признака СПМ; - для речевого сигнала (шаг расчета СПМ составляет 11 Гц); - для ЭЭГ (шаг расчета СПМ составляет 2 Гц).

Таким образом, объект речевого сигнала вида описывается 1000 признаками, а объект ЭЭГ вида - 1054 признаками.

Проведены исследования распознавания знака эмоций человека по образцам ЭЭГ и речи. Исследования показали возможность выделения из образцов речевых сигналов и паттернов ЭЭГ набора наиболее информативных признаков, позволяющих обеспечить хороший уровень обобщения и уточнения описания объектов в классах. Для речевых сигналов наиболее информативные признаки СПМ находятся в диапазоне 1-5 кГц. Для паттернов ЭЭГ таковыми оказались признаки, получаемые из наиболее чувствительных отведений правого полушария (отведение Fp2-A2 не анализируется) (рис. 2).

	O2-A2, P4-A2, C4-A2, F4-A2, Fp2-A2, T6-A2, T4-A2, F8-A2, Cz-A2
Рис. 2. ЭЭГ правого полушария головного мозга

В итоге, каждый объект речевого сигнала вида (1) описывается 15 признаками, а вида (2) - 400 признаками. Каждый объект ЭЭГвида (1) характеризуется 120 признаками, а вида (2) - 496 признаками.