Можно ли использовать эмоции как метрику?

40 лет назад в рижском театре кукол Франц Герц, снял одну из наиболее известных своих работ — “Старше на 10 минут”. В ней режиссер-документалист показывает не действо происходящее на сцене, а реакцию маленьких зрителей из зала.

Мы не видим ничего кроме лиц детей, но в них отражается все, что происходит на сцене. Страх, радость, удивление и все это мы читаем лишь по мимике и жестам. Так почему не использовать эмоции как источник информации в продуктовых исследования?

Об эмоциях

В повседневной жизни для каждой эмоции у нас есть свой термин. Мы что-то ощущаем, идентифицируем это как эмоцию и называем это “гневом” или, быть может, “радостью”. Но тут возникает проблема — эмоции субъективны и строятся на нашем представлении.

Был такой австрийский философ — Людвиг Витгейнштейн, и вот в рамках исследования языка и сознания он придумал следующий мысленный эксперимент.

Давайте представим, что у вас и у меня есть коробка. Я говорю, что в моей коробке сидит жук и вы говорите, что у вас в коробке сидит жук. Отлично. Мы можем достать жуков из своих коробок и увидеть действительно ли это так, одинаковые ли они и если они разные, то чем они отличаются.

Но что если содержимое коробки показывать нельзя? А значит никто из нас не видел никогда других жуков кроме тех которые сидят у нас в коробке. Поэтому мы можем судить о том, что такое жук только по тому, что лежит в нашей коробке. Мы не знаем большой ли это жук или маленький, и вообще жук ли это или что-либо другое. Нам не с чем сравнивать.

Так Витгейнштейн показывал, что у каждого человек свои представления о мире. И любая мысль которую он выражает проходит через призму его представлений. (вики)

Тоже самое и с эмоциями. Мы понятия не имеем чувствует ли тоже самое другой человек, который говорит о том, что он испытывает “гнев”. Поэтому мы ищем различные внешние проявления в надежде понять, что же скрывается в “коробке”. То есть мы ищем эмоции в реакции. Так мы приходим к классическому представлению эмоций.

Классическая теория эмоций

Если вы не вникали в психологию эмоций последние лет 10, то почти наверняка ваше представление о эмоциях будет соответствовать классической теории. Она предполагает наличие в мозге некоторого набора нейронов, которые выстраивают цепь реакций в ответ на какой-то стимул. Реакции выражаются в мимике, частоте пульса, изменении зрачков, смене позы и тд. (Barrett, 2017).

На прогулке в парке вступил в продукт жизнедеятельности собачки:

Такой себе безусловный рефлекс как у собак Павлова.

Тезисно о классическом представлении:

  • Существует 6 “базовых” эмоций — страх, гнев, горе, отвращение, радость, удивление. (Ekman, 1971) Позже удивление исключили (Ekman, 2011).
  • Для каждой из эмоций подразумевается свой набор нейронов и своя уникальная реакция. Есть событие, оно запускает цепь реакций, которую мы называем эмоцией. Происходят неконтролируемые изменения мимики лица и другие физиологические реакции по методичке сериала Lie to Me. Мы фактически превращаемся в сторонних наблюдателей эмоции, происходящей в нашем теле.
  • Эмоции универсальны. То как вы испытываете гнев будет таким же как испытывают гнев аборигены в Папуа — Новая Гвинея (Ekman, 1971).

“Линейка” для эмоций

Мимика

Суть их экспериментов заключалась в том, что испытуемым показывали фотографию с лицом человека выражавшего какую-либо эмоцию и от него требовалось выбрать из предложенного списка, обычно 5–6 вариантов, наиболее подходящую эмоцию для данного выражения лица.

источник

Эксперименты иногда варьировались. К примеру, показывали несколько фотографии и надо было выбрать соответствующую конкретной эмоции. Или рассказывалась какая-то предыстория. Например: этот человек выиграл только что 1000 долларов в лотерею, выберете наиболее подходящие данному событию выражения лиц. Менялись эксперименты, менялись люди. Даже показывали изображения лиц туземцам живущим вдалеке от цивилизаций (Ekman, 1971). Было проведено множество экспериментов в которых исследователи констатировали неплохой процент “правильного” сопоставления между лицами и эмоциями.

Со временем к изучению эмоций подключилось больше исследователей. Ряд из которых были не согласны с таким подходом к изучению эмоций.

В экспериментах Томкинса и др. использовались постановочные фотографии. Причем все лица выглядят так будто актеры “переигрывают”. Но такой была задумка авторов эксперимента. Томкинс полагал, что именно в таком виде они вызовут наибольший эмоциональный отклик.

Но при этом существует ряд публикаций, в которых говорится об отсутствии эмпирических оснований полагать, что протопатические фотографии соответствуют реальному проявлению эмоций.

К примеру, Naab & Russell (2007) использовали в своих экспериментах спонтанные выражения эмоций людей вместо “прототипических” фотографий. Полученные результаты существенно отличались от экспериментов Экмана.

Tassinary (1992). Прикрепили специальные датчики на лица испытуемых и когда человек испытывал эмоции они фиксировали какие мышцы лица сокращались при этом (метод лицевой электромиографии). В результате исследователи выяснили, что движения лицевых мышц далеко не всегда соответствовали “прототипическим” фотографиям. Более того по результатам эксперимента не было выявлено никаких значимых патернов в активации мышц лица в случае определенных эмоций. К схожим выводам пришли Cacioppo (2000) и Russell (2003).

Также критике подверглась способность людей идентифицировать эмоции незнакомых людей по выражению лица.

В эксперименте Garcia (2016) исследователи наблюдали за тем как испытуемые взаимодействовали с одной программой и пытались по выражению лица понять эмоции пользователей. Так же себе в помощь они взяли специальную программу для распознавания эмоций по выражению лиц. Затем после эксперимента они попросили пользователей оценить по 5 бальной шкале насколько оценка исследователей соответствовала реальности (где 5 — это полностью соответствует). Средний бал оказался 1.7.

Еще один неожиданный результат их эксперимента. Garcia и соавторы во время эксперимента фиксировали лицо испытуемого при помощи двух камер. В результате оценка эмоций для одного и того же эпизода отличалась для разных камер.

Matsumoto & Hwang (in press) говорят о том, что среднестатистический человек испытывает сложности с идентификацией эмоций по выражению лица. По их экспериментам средняя точность оценки составляет порядка 48%. А если при этом из набора фотографий исключить самые яркие эмоции типа радости и печали. Точность оценки падает до 35%.

Неожиданные результаты преподнес эксперимент Camras & Oster (2007). Исследователи сердили и пугали 11 месячных младенцев, дабы понять отличаются ли проявления этих эмоции. Психологи не смогли идентифицировать хоть какие-то отличия в выражении эмоций на лице. Но тем не менее, когда группу испытуемых взрослых попросили оценить эмоции детей на видео записях они достаточно точно определяли когда ребенок сердился, а когда был напуган. Но ученые пошли дальше и спрятали лица детей на видео за специальным эффектом, так что не возможно было разобрать мимику. После чего предложили испытуемым идентифицировать эмоции ребенка. И в результате не было выявлено статистически значимых отличиев между экспериментами. То есть мимика детей не была ключевым фактором в оценке эмоций.

В лаборатории Лизы Ф. Барретт задались таким же вопросом — а действительно ли мимика так важна для понимания эмоций. В одном из экспериментов (Barrett, 2017; Gendron, 2012) они разделили испытуемых на три группы. Одной группе они рассказывали историю в которой был контекст ситуации, например, человек услышал стрельбу в подворотне. Другой группе показывали фотографию лица актера, который играл описанное событие. А третьей группе было доступно и то, и другое. Испытуемые должны были выбрать наиболее подходящую эмоцию из предлагаемого списка для текущей ситуации. И если бы ключевую роль в понимании эмоции играла бы мимика, то во 2 и 3 экспериментах, данные были сходными, но в результате выбор разных групп сильно отличался.

То есть ситуация с пониманием эмоций по мимике не столь однозначна как может показаться на первый взгляд. Но что тогда насчет других факторов?

Физиологические реакции (вегетативная нервная система)

Kragel & LaBar (2013) демонстрировали испытуемым разные драматичные или страшные фрагменты фильмов и музыкальных произведений, при этом фиксировали кучу разных физических данных, как то пульс, дыхание и много чего другого. В результате для одних и тех же фрагментов произведения была выявлена значительная изменчивость — у кого-то при просмотре страшного фрагмента фильма пульс повышался, а у кого-то нет. А если шаблоны и находились, то в разных экспериментах они отличались для одного и того же фрагмента произведения.

Аналогичным образом Cacioppo (2000) заметил, что температура пальцев уменьшалась сильнее в момент когда испытуемый испытывал страх, чем когда он был в гневе. И это была единственная закономерность, выявленная на полном спектре исследуемых эмоций и считываемых данных.

Russell (1994) провел метаанализ исследований, связанных с изучением эмоций и в результате не нашел ни одного патерна, который бы прослеживался через все работы и как вывод усомнился в существовании универсального шаблона эмоции. На что Ekman (1994) усомнился в способностях Расселла правильно интерпретировать исследования. Долго спорили, но каждый остался при своем мнении.

Метаанлизы в целом оказались серьезным испытанием для “классической теории”.

Lench (2011) проанализировала 687 публикаций с целью понять, можно ли вообще изучать эмоции в лабораторных условиях. Согласно выводам авторов, эмоции могут быть вызваны в лабораторных условиях и физиологические реакции могут быть измерены, но при этом четких патернов, которые бы прослеживались от работы к работе обнаружено не было.

Siegel (2018) проанализировала 223 публикации, где бы исследовалась физиология эмоций. В результате автор не смогла выявить телесных отпечатков для конкретных эмоций, которые бы прослеживались в разных публикациях.

Самоотчет

Robinson (2002) акцентирует внимание на предвзятости самоотчетов, ответ испытуемых часто является отражением стереотипов, нежели действительно содержит актуальную информацию об испытываемой эмоции.

Chan (2009) заметил, что испытуемые с меньшей охотой сообщают о негативных эмоциях, нежели о позитивных.

Barrett (1998) попросила мужчин и женщин оценить в целом их эмоциональные черты. После для испытуемых создавалась какая-то ситуация и их просили дать оценку тому, что они испытывают в ответ на эту ситуацию. Половые различия в ответе на первый вопрос были ярко выраженными, в то время как оценка реакции на повседневные события была совсем невыраженной и отличия не были значимыми. Таким образом в своих оценках эмоций люди часто идут на поводу у стереотипов.

Lane (1997) отметил, что в экспериментах встречаются люди, которые испытывают серьезные сложности с описанием их эмоций в формате самоотчета. Это называется алекситимия — затруднения в передаче, словесном описании своего состояния.

Сочетание факторов

Тут, к сожалению, тоже все запутано.

В ряде исследований говорится, что “отпечаток” эмоций невозможно найти, пользуясь только какой-то одной мерой. (Lang, 1988; Madler, 1975; Rachman, 1978). При этом метаанализы публикаций (Cacioppo, 2000; Lang 1988; Mauss, 2004; Mauss, 2009) показали, что корреляции между несколькими показателями эмоций малы и непоследовательны в разных исследованиях.

Заключение

Эмоции не высвечиваются на лице или каком-то другом участке тела. Они не возникают из какого-то конкретного участка мозга. Ни одно научное новшество не обнаружит чудесным образом биологический “отпечаток” какой-либо эмоции. — Barrett(2017)

Где еще покопаться?

Лиза Фельдман Барретт “Как рождаются эмоции”

Для объективности знакомит читателей с обеими теориями эмоций. Но поскольку она сторонник теории “конструирования эмоций”, то “классическое” представление больше используется как объект для битья.

Книга написана простым языком, много примеров, много отсылок к экспериментам. Но одни и те же мысли пережёвываются по 50 раз.

Лиза Барретт на TED.

Или более детальный доклад на эту же тему.

Лекция Экмана (представитель классической теории) (eng)

Интервью с Полом Экманом

Как мозг распознает лица

На ПостНауке можно найти несколько лекции о понимании эмоций от Юнны Кравченко

emotionresearcher.com

Все что связано с исследованиями эмоций.

Рекомендую почитать дебаты столпов исследования эмоций Келтнера, Кордаро, Рассела и Фридланда — http://emotionresearcher.com/the-great-expressions-debate/

Список литературы

  • Barrett, L. F., Mesquita, B., & Gendron, M. (2011). Emotion perception in context. Current Directions in Psychological Science, 20, 286–290.
  • Barrett, L.F. (2011). Was Darwin Wrong About Emotional Expressions?. Current Directions in Psychological Science. 20. 400–406. 10.1177/0963721411429125.
  • Cacioppo, J. T., Berntson, G. G., Larsen, J. T., Poehlmann, K. M., & Ito, T. A. (2000). The psychophysiology of emotion. In M. Lewis & R. J. M. Haviland-Jones (Eds.), The handbook of emotions (2nd ed., pp. 173–191). New York, NY: Guilford
  • Camras, L. & Oster, H. (2007). Do Infants Show Distinct Negative Facial Expressions for Fear and Anger? Emotional Expression in 11-Month-Old European American, Chinese, and Japanese Infants.
  • Chen, C., Wu, Z., & Jiang, Y.-G. (2016). Emotion in Context. Proceedings of the 2016 ACM on Multimedia Conference — MM ’16. doi:10.1145/2964284.2967196
  • Ekman, P., & Friesen, W. V. (1971). Constants across cultures in the face and emotion. Journal of Personality and Social Psychology, 17(2), 124–129. https://doi.org/10.1037/h0030377
  • Ekman, P. (1994). Strong evidence for universals in facial expressions: A reply to Russell’s mistaken critique. Psychological Bulletin, 115(2), 268–287. doi:10.1037/0033–2909.115.2.268
  • Ekman, P. & Cordaro, D. (2011). What is Meant by Calling Emotions Basic. Emotion Review. 3. 364–370. 10.1177/1754073911410740.
  • Galati, D., Miceli, R., & Sini, B. (2001). Judging and coding facial expression of emotions in congenitally blind children. International Journal of Behavioral Development, 25, 268–278.
  • Galati, D., Scherer, K. R., & Ricci-Bitti, P. E. (1997). Voluntary facial expression of emotion: Comparing congenitally blind with normal sighted encoders. Journal of Personality and Social Psychology, 73, 1363–1379.
  • Garcia, S. (2016). Measuring Emotions: Self Report as an Alternative to Biometrics. User Experience Magazine, 16(3).
  • Gendron, M., Lindquist, K.A., Barsalou, L., & Barrett, L.F. (2012). Emotion words shape emotion percepts. Emotion, 12 2, 314–25 .
  • Kosti, R., Alvarez, J. M., Recasens, A., & Lapedriza, A. (2017). Emotion Recognition in Context. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). doi:10.1109/cvpr.2017.212
  • Kragel, P. & LaBar, K. (2013). Multivariate Pattern Classification Reveals Autonomic and Experiential Representations of Discrete Emotions. Emotion (Washington, D.C.). 13. 10.1037/a0031820.
  • Lang, P.J. (1988). What are the data of emotion?. In: Hamilton, V.; Bower, GH.; Frijda, NH., editors. Cognitiveperspectives on emotion and motivation. New York: Kluwer Academic/Plenum Publishers; p.173–191
  • Lench, Heather C., Sarah A. Flores, and Shane W. Bench. (2011). “Discrete emotions predict changes in cognition, judgment, experience, behavior, and physiology: a meta-analysis of experimental emotion elicitations.” Psychological Bulletin 137 (5): 834–855.
  • Matsumoto, D. (2001). Culture and Emotion. In D. Matsumoto (Ed.), The handbook of culture and psychology (pp. 171–194). New York: Oxford University Press.
  • Matsumoto, D., & Hwang, H. S. (in press). Training the ability to read microexpressions of emotion improves emotional competence on the job. Motivation & Emotion.
  • Matsumoto, D., Keltner, D., Shiota, M. N., Frank, M. G., & O’Sullivan, M. (2008). What’s in a face? Facial expressions as signals of discrete emotions. In M. Lewis, J. M. Haviland & L. Feldman Barrett (Eds.), Handbook of emotions (pp. 211–234). New York: Guilford Press.
  • Matsumoto, D., & Willingham, B. (2009). Spontaneous facial expressions of emotion of congenitally and non-congenitally blind individuals. Journal of Personality and Social Psychology, 96(1), 1–10.
  • Mauss, I. B., & Robinson, M. D. (2009). Measures of emotion: A review. Cognition & Emotion, 23(2), 209–237
  • Mauss I. B., Wilhelm F. H., Gross J.J. (2004). Is there less to social anxiety than meets the eye? Emotion experience,expression, and bodily responding. Cognition and Emotion;18(5):631–662.
  • Mingli Song, Jiajun Bu, Chun Chen, & Nan Li. (n.d.). Audio-visual based emotion recognition-a new approach. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004. CVPR 2004. doi:10.1109/cvpr.2004.1315276
  • Naab, P. J., & Russell, J. A. (2007). Judgments of emotion from spontaneous facial expressions of New Guineans. Emotion, 7, 736–744
  • Roch-Levecq, A. C. (2006). Production of basic emotions by children with congenital blindness: Evidence for the embodiment of theory of mind. British Journal of Developmental Psychology, 24, 507–528.
  • Russell, J. A. (1994). Is there universal recognition of emotion from facial expression? A review of the cross-cultural studies. Psychological Bulletin, 115(1), 102–141. doi:10.1037/0033–2909.115.1.102
  • Russell, J. A. (1995). Facial expressions of emotion: What lies beyond minimal universality? Psychological Bulletin, 118(3), 379–391. doi:10.1037/0033–2909.118.3.379
  • Russell, J. A., Bachorwoski, J.-A., & Fernandez-Dols, J.-M. (2003). Facial and vocal expressions of emotion. Annual Review of Psychology, 54, 329–349
  • Shariff, A. F., & Tracy, J. L. (2011). What are emotion expressions for? Current Directions in Psychological Science, 20, 395–399
  • Siegel, E. & Sands, M. & Van den Noortgate, W. & Condon, P. & Chang, Y. & Dy, Jennifer & Quigley, Karen & Barrett, L.. (2018). Emotion Fingerprints or Emotion Populations? A Meta-Analytic Investigation of Autonomic Features of Emotion Categories. Psychological Bulletin.
  • Tassinary, Louis & Cacioppo, John. (1992). Unobservable facial actions and emotion. Psychological Science — PSYCHOL SCI. 3. 28–33. 10.1111/j.1467–9280.1992.tb00252.x.
  • Tautkute, I., Trzcinski, T., & Bielski, A. (2018). I Know How You Feel: Emotion Recognition with Facial Landmarks. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). doi:10.1109/cvprw.2018.00246
  • Yang, Z., Zhang, Y., & Luo, J. (2019). Human-Centered Emotion Recognition in Animated GIFs. 2019 IEEE International Conference on Multimedia and Expo (ICME). doi:10.1109/icme.2019.00191

UX Rsearcher at xivic

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store