Можно ли использовать эмоции как метрику?

12 min readOct 23, 2020

40 лет назад в рижском театре кукол Франц Герц, снял одну из наиболее известных своих работ — “Старше на 10 минут”. В ней режиссер-документалист показывает не действо происходящее на сцене, а реакцию маленьких зрителей из зала.

Мы не видим ничего кроме лиц детей, но в них отражается все, что происходит на сцене. Страх, радость, удивление и все это мы читаем лишь по мимике и жестам. Так почему не использовать эмоции как источник информации в продуктовых исследования?

Об эмоциях

Согласно вики, эмоции — это психический процесс, отражающий субъективное оценочное отношение к существующим или возможным ситуациям и объективному миру.

В повседневной жизни для каждой эмоции у нас есть свой термин. Мы что-то ощущаем, идентифицируем это как эмоцию и называем это “гневом” или, быть может, “радостью”. Но тут возникает проблема — эмоции субъективны и строятся на нашем представлении.

Был такой австрийский философ — Людвиг Витгейнштейн, и вот в рамках исследования языка и сознания он придумал следующий мысленный эксперимент.

Давайте представим, что у вас и у меня есть коробка. Я говорю, что в моей коробке сидит жук и вы говорите, что у вас в коробке сидит жук. Отлично. Мы можем достать жуков из своих коробок и увидеть действительно ли это так, одинаковые ли они и если они разные, то чем они отличаются.

Но что если содержимое коробки показывать нельзя? А значит никто из нас не видел никогда других жуков кроме тех которые сидят у нас в коробке. Поэтому мы можем судить о том, что такое жук только по тому, что лежит в нашей коробке. Мы не знаем большой ли это жук или маленький, и вообще жук ли это или что-либо другое. Нам не с чем сравнивать.

Так Витгейнштейн показывал, что у каждого человек свои представления о мире. И любая мысль которую он выражает проходит через призму его представлений. (вики)

Тоже самое и с эмоциями. Мы понятия не имеем чувствует ли тоже самое другой человек, который говорит о том, что он испытывает “гнев”. Поэтому мы ищем различные внешние проявления в надежде понять, что же скрывается в “коробке”. То есть мы ищем эмоции в реакции. Так мы приходим к классическому представлению эмоций.

Классическая теория эмоций

В рамках классического представления, эмоции — это эмпирические, физиологические и поведенческие реакции на личностно значимые стимулы. (Mauss, 2009)

Если вы не вникали в психологию эмоций последние лет 10, то почти наверняка ваше представление о эмоциях будет соответствовать классической теории. Она предполагает наличие в мозге некоторого набора нейронов, которые выстраивают цепь реакций в ответ на какой-то стимул. Реакции выражаются в мимике, частоте пульса, изменении зрачков, смене позы и тд. (Barrett, 2017).

На прогулке в парке вступил в продукт жизнедеятельности собачки:

Такой себе безусловный рефлекс как у собак Павлова.

Тезисно о классическом представлении:

Существует 6 “базовых” эмоций — страх, гнев, горе, отвращение, радость, удивление. (Ekman, 1971) Позже удивление исключили (Ekman, 2011).
Для каждой из эмоций подразумевается свой набор нейронов и своя уникальная реакция. Есть событие, оно запускает цепь реакций, которую мы называем эмоцией. Происходят неконтролируемые изменения мимики лица и другие физиологические реакции по методичке сериала Lie to Me. Мы фактически превращаемся в сторонних наблюдателей эмоции, происходящей в нашем теле.
Эмоции универсальны. То как вы испытываете гнев будет таким же как испытывают гнев аборигены в Папуа — Новая Гвинея (Ekman, 1971).

“Линейка” для эмоций

С интуитивной точки зрения нам кажется, что будет легко понять испытывает ли человек определенную эмоцию по его реакции, которая будет выражена в мимике, позе, голосе, в поведении и много чем другом. Однако научные данные показывают, что измерение эмоционального состояния человека является одним из самых проблемных в аффективной науке (Mauss, 2009).

Мимика

Главные евангелисты классической теории — Томкинс и его ученики Изард и Экман отвели мимике ключевую роль в понимании эмоций.

Суть их экспериментов заключалась в том, что испытуемым показывали фотографию с лицом человека выражавшего какую-либо эмоцию и от него требовалось выбрать из предложенного списка, обычно 5–6 вариантов, наиболее подходящую эмоцию для данного выражения лица.

Эксперименты иногда варьировались. К примеру, показывали несколько фотографии и надо было выбрать соответствующую конкретной эмоции. Или рассказывалась какая-то предыстория. Например: этот человек выиграл только что 1000 долларов в лотерею, выберете наиболее подходящие данному событию выражения лиц. Менялись эксперименты, менялись люди. Даже показывали изображения лиц туземцам живущим вдалеке от цивилизаций (Ekman, 1971). Было проведено множество экспериментов в которых исследователи констатировали неплохой процент “правильного” сопоставления между лицами и эмоциями.

Со временем к изучению эмоций подключилось больше исследователей. Ряд из которых были не согласны с таким подходом к изучению эмоций.

В экспериментах Томкинса и др. использовались постановочные фотографии. Причем все лица выглядят так будто актеры “переигрывают”. Но такой была задумка авторов эксперимента. Томкинс полагал, что именно в таком виде они вызовут наибольший эмоциональный отклик.

Но при этом существует ряд публикаций, в которых говорится об отсутствии эмпирических оснований полагать, что протопатические фотографии соответствуют реальному проявлению эмоций.

К примеру, Naab & Russell (2007) использовали в своих экспериментах спонтанные выражения эмоций людей вместо “прототипических” фотографий. Полученные результаты существенно отличались от экспериментов Экмана.

Tassinary (1992). Прикрепили специальные датчики на лица испытуемых и когда человек испытывал эмоции они фиксировали какие мышцы лица сокращались при этом (метод лицевой электромиографии). В результате исследователи выяснили, что движения лицевых мышц далеко не всегда соответствовали “прототипическим” фотографиям. Более того по результатам эксперимента не было выявлено никаких значимых патернов в активации мышц лица в случае определенных эмоций. К схожим выводам пришли Cacioppo (2000) и Russell (2003).

Также критике подверглась способность людей идентифицировать эмоции незнакомых людей по выражению лица.

В эксперименте Garcia (2016) исследователи наблюдали за тем как испытуемые взаимодействовали с одной программой и пытались по выражению лица понять эмоции пользователей. Так же себе в помощь они взяли специальную программу для распознавания эмоций по выражению лиц. Затем после эксперимента они попросили пользователей оценить по 5 бальной шкале насколько оценка исследователей соответствовала реальности (где 5 — это полностью соответствует). Средний бал оказался 1.7.

Еще один неожиданный результат их эксперимента. Garcia и соавторы во время эксперимента фиксировали лицо испытуемого при помощи двух камер. В результате оценка эмоций для одного и того же эпизода отличалась для разных камер.

Matsumoto & Hwang (in press) говорят о том, что среднестатистический человек испытывает сложности с идентификацией эмоций по выражению лица. По их экспериментам средняя точность оценки составляет порядка 48%. А если при этом из набора фотографий исключить самые яркие эмоции типа радости и печали. Точность оценки падает до 35%.

Неожиданные результаты преподнес эксперимент Camras & Oster (2007). Исследователи сердили и пугали 11 месячных младенцев, дабы понять отличаются ли проявления этих эмоции. Психологи не смогли идентифицировать хоть какие-то отличия в выражении эмоций на лице. Но тем не менее, когда группу испытуемых взрослых попросили оценить эмоции детей на видео записях они достаточно точно определяли когда ребенок сердился, а когда был напуган. Но ученые пошли дальше и спрятали лица детей на видео за специальным эффектом, так что не возможно было разобрать мимику. После чего предложили испытуемым идентифицировать эмоции ребенка. И в результате не было выявлено статистически значимых отличиев между экспериментами. То есть мимика детей не была ключевым фактором в оценке эмоций.

В лаборатории Лизы Ф. Барретт задались таким же вопросом — а действительно ли мимика так важна для понимания эмоций. В одном из экспериментов (Barrett, 2017; Gendron, 2012) они разделили испытуемых на три группы. Одной группе они рассказывали историю в которой был контекст ситуации, например, человек услышал стрельбу в подворотне. Другой группе показывали фотографию лица актера, который играл описанное событие. А третьей группе было доступно и то, и другое. Испытуемые должны были выбрать наиболее подходящую эмоцию из предлагаемого списка для текущей ситуации. И если бы ключевую роль в понимании эмоции играла бы мимика, то во 2 и 3 экспериментах, данные были сходными, но в результате выбор разных групп сильно отличался.

То есть ситуация с пониманием эмоций по мимике не столь однозначна как может показаться на первый взгляд. Но что тогда насчет других факторов?

Физиологические реакции (вегетативная нервная система)

Наиболее распространены: фиксации сердечного ритма, вариативность сердечного ритма, давление, общее периферическое сопротивление сосудов, кожно-гальваническая реакция и тд. Вообще этих мер больше 40.

Kragel & LaBar (2013) демонстрировали испытуемым разные драматичные или страшные фрагменты фильмов и музыкальных произведений, при этом фиксировали кучу разных физических данных, как то пульс, дыхание и много чего другого. В результате для одних и тех же фрагментов произведения была выявлена значительная изменчивость — у кого-то при просмотре страшного фрагмента фильма пульс повышался, а у кого-то нет. А если шаблоны и находились, то в разных экспериментах они отличались для одного и того же фрагмента произведения.

Аналогичным образом Cacioppo (2000) заметил, что температура пальцев уменьшалась сильнее в момент когда испытуемый испытывал страх, чем когда он был в гневе. И это была единственная закономерность, выявленная на полном спектре исследуемых эмоций и считываемых данных.

Russell (1994) провел метаанализ исследований, связанных с изучением эмоций и в результате не нашел ни одного патерна, который бы прослеживался через все работы и как вывод усомнился в существовании универсального шаблона эмоции. На что Ekman (1994) усомнился в способностях Расселла правильно интерпретировать исследования. Долго спорили, но каждый остался при своем мнении.

Метаанлизы в целом оказались серьезным испытанием для “классической теории”.

Lench (2011) проанализировала 687 публикаций с целью понять, можно ли вообще изучать эмоции в лабораторных условиях. Согласно выводам авторов, эмоции могут быть вызваны в лабораторных условиях и физиологические реакции могут быть измерены, но при этом четких патернов, которые бы прослеживались от работы к работе обнаружено не было.

Siegel (2018) проанализировала 223 публикации, где бы исследовалась физиология эмоций. В результате автор не смогла выявить телесных отпечатков для конкретных эмоций, которые бы прослеживались в разных публикациях.

Самоотчет

Хорошо. С получением объективных данных есть некоторые сложности. А что же насчет субъективных?

Robinson (2002) акцентирует внимание на предвзятости самоотчетов, ответ испытуемых часто является отражением стереотипов, нежели действительно содержит актуальную информацию об испытываемой эмоции.

Chan (2009) заметил, что испытуемые с меньшей охотой сообщают о негативных эмоциях, нежели о позитивных.

Barrett (1998) попросила мужчин и женщин оценить в целом их эмоциональные черты. После для испытуемых создавалась какая-то ситуация и их просили дать оценку тому, что они испытывают в ответ на эту ситуацию. Половые различия в ответе на первый вопрос были ярко выраженными, в то время как оценка реакции на повседневные события была совсем невыраженной и отличия не были значимыми. Таким образом в своих оценках эмоций люди часто идут на поводу у стереотипов.

Lane (1997) отметил, что в экспериментах встречаются люди, которые испытывают серьезные сложности с описанием их эмоций в формате самоотчета. Это называется алекситимия — затруднения в передаче, словесном описании своего состояния.

Сочетание факторов

Используя отдельные меры, будет крайне сложно точно определить эмоции. Но что если проанализировать несколько факторов? К примеру смотреть сразу на мимику, тембр голоса и частоту пульса.

Тут, к сожалению, тоже все запутано.

В ряде исследований говорится, что “отпечаток” эмоций невозможно найти, пользуясь только какой-то одной мерой. (Lang, 1988; Madler, 1975; Rachman, 1978). При этом метаанализы публикаций (Cacioppo, 2000; Lang 1988; Mauss, 2004; Mauss, 2009) показали, что корреляции между несколькими показателями эмоций малы и непоследовательны в разных исследованиях.

Заключение

В UX среде мы часто говорим об эмпатии и о понимании эмоций пользователей как о чем- то находящемся на расстоянии вытянутой руки. Буквально чуть-чуть внимательности и перед нами откроется огромный пласт инсайтов. Но это не так. Эмоции — это очень сложно. Настолько сложно, что за сотню лет исследований не было обнаружено ни одного точного способа определить хотя бы одну эмоцию.

Эмоции не высвечиваются на лице или каком-то другом участке тела. Они не возникают из какого-то конкретного участка мозга. Ни одно научное новшество не обнаружит чудесным образом биологический “отпечаток” какой-либо эмоции. — Barrett(2017)

Где еще покопаться?

Лиза Фельдман Барретт “Как рождаются эмоции”

Для объективности знакомит читателей с обеими теориями эмоций. Но поскольку она сторонник теории “конструирования эмоций”, то “классическое” представление больше используется как объект для битья.

Книга написана простым языком, много примеров, много отсылок к экспериментам. Но одни и те же мысли пережёвываются по 50 раз.

Лиза Барретт на TED.

Если нет желания читать. Очень упрощенно тезисы из книги.

Или более детальный доклад на эту же тему.

Лекция Экмана (представитель классической теории) (eng)

Интервью с Полом Экманом

Как мозг распознает лица

На ПостНауке можно найти несколько лекции о понимании эмоций от Юнны Кравченко

emotionresearcher.com

Все что связано с исследованиями эмоций.

Рекомендую почитать дебаты столпов исследования эмоций Келтнера, Кордаро, Рассела и Фридланда — http://emotionresearcher.com/the-great-expressions-debate/

Список литературы

Barrett, L. F. (2017) How Emotions are Made: The Secret Life of the Brain
Barrett, L. F., Mesquita, B., & Gendron, M. (2011). Emotion perception in context. Current Directions in Psychological Science, 20, 286–290.
Barrett, L.F. (2011). Was Darwin Wrong About Emotional Expressions?. Current Directions in Psychological Science. 20. 400–406. 10.1177/0963721411429125.
Cacioppo, J. T., Berntson, G. G., Larsen, J. T., Poehlmann, K. M., & Ito, T. A. (2000). The psychophysiology of emotion. In M. Lewis & R. J. M. Haviland-Jones (Eds.), The handbook of emotions (2nd ed., pp. 173–191). New York, NY: Guilford
Camras, L. & Oster, H. (2007). Do Infants Show Distinct Negative Facial Expressions for Fear and Anger? Emotional Expression in 11-Month-Old European American, Chinese, and Japanese Infants.
Chen, C., Wu, Z., & Jiang, Y.-G. (2016). Emotion in Context. Proceedings of the 2016 ACM on Multimedia Conference — MM ’16. doi:10.1145/2964284.2967196
Ekman, P., & Friesen, W. V. (1971). Constants across cultures in the face and emotion. Journal of Personality and Social Psychology, 17(2), 124–129. https://doi.org/10.1037/h0030377
Ekman, P. (1994). Strong evidence for universals in facial expressions: A reply to Russell’s mistaken critique. Psychological Bulletin, 115(2), 268–287. doi:10.1037/0033–2909.115.2.268
Ekman, P. & Cordaro, D. (2011). What is Meant by Calling Emotions Basic. Emotion Review. 3. 364–370. 10.1177/1754073911410740.
Galati, D., Miceli, R., & Sini, B. (2001). Judging and coding facial expression of emotions in congenitally blind children. International Journal of Behavioral Development, 25, 268–278.
Galati, D., Scherer, K. R., & Ricci-Bitti, P. E. (1997). Voluntary facial expression of emotion: Comparing congenitally blind with normal sighted encoders. Journal of Personality and Social Psychology, 73, 1363–1379.
Garcia, S. (2016). Measuring Emotions: Self Report as an Alternative to Biometrics. User Experience Magazine, 16(3).
Gendron, M., Lindquist, K.A., Barsalou, L., & Barrett, L.F. (2012). Emotion words shape emotion percepts. Emotion, 12 2, 314–25 .
Kosti, R., Alvarez, J. M., Recasens, A., & Lapedriza, A. (2017). Emotion Recognition in Context. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). doi:10.1109/cvpr.2017.212
Kragel, P. & LaBar, K. (2013). Multivariate Pattern Classification Reveals Autonomic and Experiential Representations of Discrete Emotions. Emotion (Washington, D.C.). 13. 10.1037/a0031820.
Lang, P.J. (1988). What are the data of emotion?. In: Hamilton, V.; Bower, GH.; Frijda, NH., editors. Cognitiveperspectives on emotion and motivation. New York: Kluwer Academic/Plenum Publishers; p.173–191
Lench, Heather C., Sarah A. Flores, and Shane W. Bench. (2011). “Discrete emotions predict changes in cognition, judgment, experience, behavior, and physiology: a meta-analysis of experimental emotion elicitations.” Psychological Bulletin 137 (5): 834–855.
Matsumoto, D. (2001). Culture and Emotion. In D. Matsumoto (Ed.), The handbook of culture and psychology (pp. 171–194). New York: Oxford University Press.
Matsumoto, D., & Hwang, H. S. (in press). Training the ability to read microexpressions of emotion improves emotional competence on the job. Motivation & Emotion.
Matsumoto, D., Keltner, D., Shiota, M. N., Frank, M. G., & O’Sullivan, M. (2008). What’s in a face? Facial expressions as signals of discrete emotions. In M. Lewis, J. M. Haviland & L. Feldman Barrett (Eds.), Handbook of emotions (pp. 211–234). New York: Guilford Press.
Matsumoto, D., & Willingham, B. (2009). Spontaneous facial expressions of emotion of congenitally and non-congenitally blind individuals. Journal of Personality and Social Psychology, 96(1), 1–10.
Mauss, I. B., & Robinson, M. D. (2009). Measures of emotion: A review. Cognition & Emotion, 23(2), 209–237
Mauss I. B., Wilhelm F. H., Gross J.J. (2004). Is there less to social anxiety than meets the eye? Emotion experience,expression, and bodily responding. Cognition and Emotion;18(5):631–662.
Mingli Song, Jiajun Bu, Chun Chen, & Nan Li. (n.d.). Audio-visual based emotion recognition-a new approach. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004. CVPR 2004. doi:10.1109/cvpr.2004.1315276
Naab, P. J., & Russell, J. A. (2007). Judgments of emotion from spontaneous facial expressions of New Guineans. Emotion, 7, 736–744
Roch-Levecq, A. C. (2006). Production of basic emotions by children with congenital blindness: Evidence for the embodiment of theory of mind. British Journal of Developmental Psychology, 24, 507–528.
Russell, J. A. (1994). Is there universal recognition of emotion from facial expression? A review of the cross-cultural studies. Psychological Bulletin, 115(1), 102–141. doi:10.1037/0033–2909.115.1.102
Russell, J. A. (1995). Facial expressions of emotion: What lies beyond minimal universality? Psychological Bulletin, 118(3), 379–391. doi:10.1037/0033–2909.118.3.379
Russell, J. A., Bachorwoski, J.-A., & Fernandez-Dols, J.-M. (2003). Facial and vocal expressions of emotion. Annual Review of Psychology, 54, 329–349
Shariff, A. F., & Tracy, J. L. (2011). What are emotion expressions for? Current Directions in Psychological Science, 20, 395–399
Siegel, E. & Sands, M. & Van den Noortgate, W. & Condon, P. & Chang, Y. & Dy, Jennifer & Quigley, Karen & Barrett, L.. (2018). Emotion Fingerprints or Emotion Populations? A Meta-Analytic Investigation of Autonomic Features of Emotion Categories. Psychological Bulletin.
Tassinary, Louis & Cacioppo, John. (1992). Unobservable facial actions and emotion. Psychological Science — PSYCHOL SCI. 3. 28–33. 10.1111/j.1467–9280.1992.tb00252.x.
Tautkute, I., Trzcinski, T., & Bielski, A. (2018). I Know How You Feel: Emotion Recognition with Facial Landmarks. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). doi:10.1109/cvprw.2018.00246
Yang, Z., Zhang, Y., & Luo, J. (2019). Human-Centered Emotion Recognition in Animated GIFs. 2019 IEEE International Conference on Multimedia and Expo (ICME). doi:10.1109/icme.2019.00191