Хотите знать правильно ли вы формируете вопросы? Вам нужен адвокат.

Попросить пользователей объективно высказаться о вашем продукте задача не простая. Кто-то из Microsoft решил, что лучшим способом будет такой вопрос:

В этой статье я хочу предложить эвристический подход для оценки правильности составления вопросов. Обратите внимание, что эвристики не дают гарантии результата. Их стоит применять только в условиях неопределенности и ограниченности ресурсов, как то:

• нет времени для проведения пилотного исследования
• нехватка бюджета
• отсутствие экспертов для экспертного анализа.
• реалии, в которых невозможно втиснуть исследования в разработку, не говоря уже про тестирование тестов.
• низкая цена вопроса, когда “овчинка выделки не стоит”

Во всех других случаях используйте протоколы валидации опросников. Они дадут более точную оценку.

Метод честного адвоката

Источник — getyourimage.club

В суде присяжных США существует такой инструмент коммуникации противоборствующих сторон, как возражения (objections). Это формальный протест, выраженный в суде во время судебного разбирательства с целью препятствования нарушения процессуальных норм и правил доказывания.

То есть, когда одна из сторон замечает нарушения в вопросе заданном противоположной стороной, то до озвучивания ответа, она может привлечь внимание судьи с целью отмены или просьбы переформулировки этого вопроса.

Для проверки правильности вопросов, я предлагаю сыграть в небольшую игру, в рамках которой надо примерить на себя роль адвоката. И отнестись к вашим вопросом, как к вопросам противной стороны. Своего рода вариация игры “шести шляп” Эдварда де Боно.

Ваша цель как адвоката, не дать озвучить вопросы, ответы на которые будут отображать искажению картину миру, что может ввести в заблуждение жури присяжных (стейкхолеров) и как следствие приведет к ошибочному вердикту. Вот только адвокат должен быть честным, прям как персонаж Джима Керри во второй половине фильма “Лжец, лжец” — говорить правду даже если это будет “причинять вам боль”.

Кадр из фильма “Лжец, Лжец”

Как главный инструмент честного адвоката, я предлагаю использовать систему протестов.

В зависимости от типа заседания существует десятки видов возможных возражений. После исключения протестов, которые касаются исключительно судебных нюансов, получается такой список:

Подталкивание к домыслам (Calls for speculation)

Ваша Честь, вопрос заставляет свидетеля строить предположения.

Если вы не исследуете мыслительные процессы, то не заставляйте респондента в ответе на ваш вопрос угадывать, строить предположения и делать обобщения.

Почему это плохо?

Предположения людей относительно их будущего поведения и возможных исходах ситуаций неточны и во многих случаях склонны быть чрезмерно оптимистичными.

Koehler и Poon (2006) в частном порядке опросили студентов готовы ли они стать донорами крови и прийти через две недели в клинику кампуса для сдачи крови. Из числа студентов, которые положительно отнеслись к донации и выразили намерение принять участие в этой акции, до клиники дошли 20%.

Позже тот же состав исследователей провели еще два эксперимента (Poon и Koehler, 2014).

В первом, у входа в большой строительный супермаркет экспериментатор интересовалась у посетителей магазина наличием конкретной цели посещения магазина. Если они собирались приобрести материалы для какого-то строительства или обустройства садовой территории, то они могли принять участие в исследовании. Всем участникам предлагали оценить от 1 до 10 степень согласия с утверждением, что они завершат свой “проект” в течении следующих 30 дней.

Суть второго эксперимента была схожей. Только в отличие от первого, респонденты выбирались случайным образом из телефонной книги. У них интересовались насчет планов выполнить какую-то работу по дому или саду. Если такая была, им предлагали принять участие в исследовании ответив на вопрос “Как бы вы оценили вероятность завершить задуманное в течении следующих 3 месяцев, где 0% — совсем не уверен, а 100% абсолютно уверены?”

В результате, в первом эксперименте, 75% респондентов из числа тех, кто высоко оценил свое намерение завершить “проект” сообщили о выполнении задуманного по истечении 30 дней. В то время как во втором эксперименте только 15% респондентов, из тех кто оценил в 100% уверенность завершения работы в течении трех месяцев, сообщили о завершении работ.

Данные этих экспериментов нам говорят, что даже если человек сделал “первый шаг” совсем не обязательно, что он доведёт свое намерение до результата. А уж если речь идет только о размышлениях, тут гарантировать вообще ничего нельзя.

Недостаток оснований (Lack of fondation)

Ваша Честь, у нас нет оснований полагать, что свидетель обладает интересующей нас информацией.

Не спрашивайте респондента о том, чего он не знает.

Почему это плохо?

Ответ будет содержать большую степень неопределенности.

В конце 40-х прошлого века Сэм Гил, начальник отдела маркетинговых исследований Sherman & Marquette, Inc, провел опрос состоявший из одного вопроса:

Какое из следующих утверждений наиболее точно совпадает с вашим мнением о законе металлических металлов (да именно такая формулировка — Metallic Metals Act)?

• Это был бы хороший шаг со стороны США.
• Закон хорош, но каждая страна должны решать самостоятельно.
• Такой закон может быть нормальным для других стран, но для нас это не должно быть обязательным.
• Закон не имеет никакой ценности вообще
• У меня нет мнения

Естественно никакого Metallic Metals Act в природе не существовало. Но тем не менее более 70% респондентов выразили свое мнение о нем.

Объективности ради статья Gill (1947) подверглась критике и в научном мире отношение к ней скорое как к анекдоту. Но, тем не менее, в начале 70-х началось более детальное изучение проблемы псевдо-мнений в ответах на закрытые вопросы и выводы были однозначны — псевдо-мнения являются существенным источником ошибок. [5]

Жак Фреско:

Неоднозначность (Ambiguous)

Ваша Честь, вопрос неоднозначен. У свидетеля может не быть полной уверенности понимания вопроса. А значит мы не можем быть полностью уверены в том, что нам даст его ответ.

Не используйте размытые формулировки.

Почему это плохо?

От части эта проблема связана с предыдущим возражением. Люди понимают одни и те же фразы по разному. И если мы использовали недостаточно точную формулировку, мы не можем быть уверены, как именно респондент понял наш вопрос.

Holsgrove и Elzubier (2008) обратили внимание на ряд неоднозначных формулировок в экзаменационном тесте Королевского медицинского колледжа в Британии. Они решили опросить 63 экзаменуемых на предмет понимания вопросов. Так в одном из вопросов исследователи просили объяснить значение термина “всегда” (always) в процентном отношении времени. Так 51 респондент определили значение “всегда” как 100% времени, 6 определили как 99% времени, 3 сказали, что это 95%, а еще 3 были уверены, что это где-то в районе 80%.

Двойной вопрос (Compound question)

Ваша Честь, это двойной вопрос. Если свидетель ответит, то будет непонятно, на какую часть вопроса он отвечает.

Не задавайте несколько вопросов в одном предложении.

Почему это плохо?

При любом простом ответе будет непонятно к какой части вопроса он относится. А если респондент будет каким-то образом усреднять ответ по двум факторам, то такое усреднение будет весьма не точным.

Так Thompson, R. (2004) в своей публикации говорит о искажении оценки суицидального риска среди пациентов клиники из-за использования двойного вопроса в опроснике для оценки здоровья пациентов. Вопрос -”Были ли у вас мысли о том, что лучше бы вы умерли или причинили бы себе вред в течении нескольких дней в последние две недели?”, одновременно оценивал как активные, так и пассивные мысли о причинении себе вреда. В результате чего, ряд пациентов игнорировали первую часть вопроса и отвечали на вторую, что привело к увеличению числа положительных ответов, которые не отражали реальное положение дел.

Другая особенность двойных вопросов был раскрыта в исследовании Mackillop (2011). В Британии существует опросник для оценки работы докторов. 10 критериев, которые предлагают оценить по 4-бальной шкале Ликерта. Mackillop в рамках оптимизации этой анкеты решила полностью исключить двойные вопросы. При этом формулировку вопросов оставили прежней.

Так вопрос, который предлагал оценить “диагностические навыки и эффективность выполнения практических процедур”, разделили на два вопроса. В первом просили оценить “диагностические навыки”, а во втором “эффективность выполнения процедур”. Что привело к разрастанию опросника до 21 вопроса.

Проанализировав данные 12540 опросов для изначального формата и 2789 для обновленного, Mackillop пришли к выводу, что отсутствие составных вопросов во втором случае уменьшило вариативности измеряемого фактора. То есть, если для получения значимости результата в первом случае было необходимо 10 респондентов, то во втором случае достаточно было уже 7.

Наводящий вопрос (Leading Question)

Ваша Честь, адвокат наставляет и подталкивает свидетеля к выводам.

Не задавайте вопросов форма которых предполагает вариант ответа.

Истинный смысл этого определения состоит в том, что вопрос, который предполагает только ответ “Да”, является наводящим; вопрос, который предполагает только ответ “Нет”, является наводящим; но вопрос, на который можно ответить либо “да”, либо “ нет “ и форма вопроса не предполагает, что какой-то из них правильный, не является наводящим. Из заседания Портер против Штата Lee Montz (2002)

Наводящие вопросы не обязательно должны предполагать наличие простых ответов “да” или “нет”.

Почему это плохо?

Первая проблема наводящих вопросов заключается в том, что ответ не будет соответствовать действительности.

Loftus (1974) продемонстрировала ста студентам короткий фильм, в котором воссоздавалось ДТП с участием нескольких машин. После чего каждый из студентов заполнял анкету с вопросами по деталям фильма. Испытуемые были разбиты на две группы. В первом случае вопросы были сформулированы в более общей форме, как то — “выделили ли вы разбитую фару?”, а во второй группе этот же вопрос звучал как — “сколько фар был разбито у машины?”. Что уже наводило на мысль о хотя бы одной разбитой фаре. Так вот, студенты из второй группы чаще сообщали о фактах которые не встречались в фильме.

После Loftus провела еще один эксперимент, в котором испытуемых, после того как они просмотрели несколько фильмов о дорожных происшествиях, спрашивали — “С какой скоростью двигались автомобили, когда врезались в друг друга?”. При этом формулировка вопроса “смягчалась” для разных испытуемых. Вместо “врезались в друг друга” использовали фразы: “ударились”, “задели друг друга” и “коснулись друг друга”. В результате было замечено снижение скорости в ответах испытуемых с нарастанием “мягкости” вопроса. Если при формулировке “врезались” сообщали в среднем о скорости в 66 м/ч, то для формулировки “ударились” она уже составляла 61 м/ч. В последнем же случае, когда в вопросе использовалась формулировка — “коснулись друг друга” испытуемые сообщали о скорости в 51 м/ч. (Адам Харт-Дэвис, 2016)

Другая проблема наводящих вопросов кроется в том, что ответы на них могут привести наблюдателей (включая нас как исследователей) к ложным выводам.

Swann (1982) провел эксперимент, в котором разделил участников на две группы. Первая группа была респондентами, другая просто наблюдала за процессом интервью. Перед наблюдателями стояла задача оценить степень экстраверсии или интроверсии респондента. Для оценивания использовалось 10 7-ми бальных биполярных шкал. Крайние точки таких шкал представляли противоположные характеристики: враждебный-дружественный, молчун-болтун, пассивный-активный и тд. Респонденты без ведома наблюдателей, были разделены на две группы. Первой группе задавались вопросы исключительно с уклоном в экстравертивные черты — “Что бы вы сделали, что бы встряхнуть народ на вечеринке?”, “В каких ситуация вы наиболее болтливы?” и “О чем вы любите разговаривать?” и тд., А второй группе задавали вопросы с уклоном в интроверсию — “Расскажите о ситуациях когда вы чувствовали себя покинутым?”, “Как вы справлялись с этим чувством?” и тд.

В результате наблюдатели которые следили за первой группой оценивали респондентов в больше степени экстравертами, в то время как наблюдатели за интервью второй группы, оценивали респондентов в большей степени интровертами.

Предположение не может быть принято в качестве доказательства (Assumes facts not in evidence)

Ваша Честь, вопрос предполагает неподтверждённые факты. Мы здесь для того, чтобы услышать показания свидетелей, а не предполагать существование фактов.

Не предполагайте не доказанные факты в вопросах.

Почему это плохо?

Предположенный факт может повлечь ложное представление о его истинности для наблюдателей.

Обратимся опять к публикации Swann (1982). В рамках прошлого случая я не упоминал об этом, чтобы не вдаваться в лишние подробности, но в своем эксперименте William Swan разделил наблюдателей на 3 группы. Первая слышала только вопросы интервьюера, вторая слышала только ответы, а третья слышала и то и другое. Результаты каждой из групп были схожи. Все оценки шли на поводу наводящих вопросов. Рассмотрев оценки первой группы наблюдателей, Swann пришел к гипотезе, что если наблюдателям не будет предоставлена информация о причине такой постановки вопроса интервьюером, они будут предполагать, что интервьюер имеет большее представлении о респонденте, чем наблюдатели.

Для проверки этой гипотезы был проведен второй эксперимент. Который отличался от первого тем, что модератор перед интервью акцентировал внимание наблюдателей, на том, что он незнаком с респондентов и говорил, что все вопросы респонденту выбираются случайным образом.

Но результаты не изменились. Таким образом, не смотря на то, что интервьюер пытался предостеречь наблюдателей от предположений, что вопросы основаны на каких-то доказанных фактах, они не делали никаких выводов. У наблюдателей по прежнему наблюдалась тенденции к автоповреждению фактов, упомянутых в вопросах. Просто услышав, как интервьюер предполагает гипотезу о респонденте в вопросе, наблюдатели формировали соответствующее впечатление о респонденте.

Правило лучшего доказательства (Best evidence rule)

Ваша Честь, это не самое лучшее доказательство. Для суда лучшим доказательством будет оригинал документа.

Это правило основано на континууме доказательств, который подразумевает, что все доказательства могут быть распределены в рамках шкалы, в одном конце которой будут самые существенные, а в другом наименее релевантные.

Почему это плохо?

Чем лучше доказательство будет предоставлено в ответе, тем больше информации оно даст исследователю.

Schwarz (1985) провел исследование в котором у респондентов интересовались как часто они смотрят телевизор. Для описания ответа респондентам предлагалась шкала с возможностью условной оценки частоты от “редко” до “часто”. После чего их просили оценить сколько конкретно часов в день они смотрят. В результате более 30% респондентов сообщили о просмотре телевизора в течении 2.5 часа и больше в день и при этом оценили частоту как “редко”, в то время как те 62%, кто оценивал свое времяпрепровождение за телевизором как “частое” сообщили, что смотрят телевизор меньше 2.5 часов в день.

Подталкивание к повествованию (Calls for Narrative)

Ваша Честь, этот пустая трата времени. Вопрос привет к длинному рассказу, который будет содержать несущественные показания.

Список эвристик всегда можно расширить или сократить для получения более точного результата в контексте вашей ситуации.

Так же можно задуматься на счет роли “беспристрастного судьи” для разрешения конфликтных ситуаций.

И так, сыграем?

- Насколько сложно быстро научится делать новые вещи в Windows?

- Протестую, Ваша Честь!

- У нас нет оснований полагать, что респондент освоил что-то новое в контексте использования OS Windows в осязаемом прошлом.

*При этом обвинитель использует неоднозначную формулировку ***вопроса. Что значит быстро? Если я что-то освоил за 2 минуты это быстро? А если за полчаса? А если я учил медленно, но не напрягаясь, как мне ответить? Что вообще подразумевается под сложностью?

Так же в форме вопроса предполагается одновременная оценка двух факторов — скорость и сложность изучения, что может запутать свидетеля.

Литература

Примеры плохих вопросов

• Bad Survey Questions https://twitter.com/badsurveyq
• Статьи Тамары Кулинкович https://habr.com/ru/post/308938/
• Подборка вопросов из разных статей https://www.notion.so/twtr/369596d62aea4df3b616830302546f23?v=6c077911b01d41508532ea080699cb94

Больше интересного по составлению опросников:

• Публикации Норберта Шварца (Norbert Shwartz)
• Dillman, Don A., Smyth, Jolene D., Christian, Leah Melani. (2014) Internet, Phone, Mail and Mixed-Mode Surveys: The Tailored Design Method, 4th edition. John Wiley: Hoboken, NJ

О возражениях

1. wiki — Objection https://en.wikipedia.org/wiki/Objection_(United_States_law)
2. 5 Common Objections in Court You Should Master https://thelegalseagull.com/blogs/news/5-common-objections-in-court-you-should-master
3. Common Objections https://cdn.ymaws.com/www.ksbar.org/resource/resmgr/mocktrial/objections_and_processes.pdf
4. Essential Objections Checklist https://www.jameseducationcenter.com/articles/essential-objections-checklist-2/
5. Metallic Metals Act https://en.wikipedia.org/wiki/Metallic_Metals_Act

Цитаты, описывающие возражения, являются переводом и адаптацией из [4].

Научные публикации

• Gill S. (1947) How do you stand on sin? Tide magazine. pp. 72
• Craig Lee Montz (2002) Trial Objections from Beginning to End: The Handbook for Civil and Criminal Trials. Pepperdine Law Review vol. 29 issue 2.
• Koehler, D., & Poon, C. S. K. (2006). Self-predictions overweight strength of current intentions. Journal of Experimental Social Psychology, 42,517–524
• Loftus, E. (1974) Reconstructing Memory: The Incredible Eyewitness. Jurimetrics Journal 15: 188
• Mackillop, L., Parker-Swift, J., & Crossley, J. (2011). Getting the questions right: non-compound questions are more reliable than compound questions on matched multi-source feedback instruments. Medical Education, 45(8), 843–848.
• Ost, J., Vrij, A., Costall, A., & Bull, R. (2002). Crashing memories and reality monitoring: distinguishing between perceptions, imaginations and ‘false memories’. Applied Cognitive Psychology, 16, 125–134.
• Poon, C. & Koehler, D. & Buehler, R. (2014). On the psychology of self-prediction: Consideration of situational barriers to intended actions. Judgment and Decision Making. 9. 207–225.
• Smeets, T., Jelicic, M., Peters, M. J. V., Candel, I., Horselenberg, R., & Merckelbach, H. (2006). “Of course I remember seeing that film” — how ambiguous questions generate crashing memories. Applied Cognitive Psychology, 20(6), 779–789
• Swann, W. B., Giuliano, T., & Wegner, D. M. (1982). Where leading questions can lead: The power of conjecture in social interaction. Journal of Personality and Social Psychology, 42(6), 1025–1035.
• Thompson, R. (2004). SUICIDAL IDEATION IN PRIMARY CARE: ASK A VAGUE QUESTION, GET A CONFUSING ANSWER * Response. Psychosomatic Medicine, 66(3), 455–457
• Адам Харт-Дэвис (2016). Вся психология в 50 экспериментах. Собака Павлова.