Проблема словаря: почему два человека с одинаковым баллом имеют в виду разное

Два человека проходят один и тот же опросник Big Five. Оба оказываются в 78-м перцентиле по экстраверсии. На дашборде подбора они неразличимы: одинаковая полоска, одинаковый цвет, одинаковая подпись.

Одной 22, она живёт в Берлине и выходит куда-нибудь три вечера в неделю. По собственным меркам она «примерно средняя, ну, может, чуть общительнее обычного» — но на пункте Мне нравятся вечеринки поставила 4, потому что они ей действительно нравятся.

Второму 41, он живёт в Алматы, у него двое детей, и с друзьями он видится раза два в месяц. Он тоже поставил 4 на пункте Мне нравятся вечеринки — потому что на фоне его окружения два раза в месяц это много, и потому что, когда он всё-таки выбирается, уходит последним.

Одно и то же число. Совершенно разное поведение. Балл, строго говоря, не соврал. Он просто сжал два разных предложения до одной цифры.

Это и есть проблема словаря — тихий налог, который вы платили при каждом личностном тесте в своей жизни.

Любой пункт — это сравнение, а не измерение

Термометр не спрашивает воздух, насколько ему жарко. Пункт личностного опросника делает именно это. Когда вы читаете Я организованный человек и выбираете число от 1 до 5, вы не сообщаете физическую величину. Вы запускаете быстрое, почти бессознательное сравнение: организованный по сравнению с кем?

У того, что происходит дальше, есть название. Эффект референтной группы описывает «сбивающую роль контекста при сравнении средних ответов на опросник между разными группами»[1] — а проще говоря: люди оценивают себя относительно тех, кто рядом, а рядом у всех разные люди.

Классическая демонстрация неприятна. Эксперты по культурам в целом сходились на том, что жители Восточной Азии более коллективистичны, чем североамериканцы, однако прямые межкультурные сравнения по шкалам черт и установок этого не показывали; когда же исследователи явным образом задавали респондентам референтную группу, ожидаемые различия проявлялись.[2] Шкала не улавливала то, что видели все, потому что каждая группа молча оценивала себя по собственной кривой.

На уровне стран всё ещё хуже. В одном исследовании проверяли, совпадают ли межстрановые рейтинги добросовестности — построенные на самоотчётах, оценках знакомых и представлениях о национальном характере — с поведенческими и демографическими индикаторами добросовестности в этих странах. Рейтинги на основе самоотчётов согласовывались плохо, и авторы заключили, что эффект референтной группы подрывает валидность национальных средних по личностным шкалам.[3]

Перечитайте — это вся статья в одном предложении: опросник может быть надёжным, внутренне согласованным, безупречным с точки зрения факторного анализа — и всё равно давать средние, не связанные с реальностью, потому что люди отвечают на разные вопросы.

Четыре способа, которыми смысл уплывает из-под фиксированного числа

Эффект референтной группы — самый известный, но не единственный. На практике один пункт шкалы Likert теряет смысл минимум по четырём направлениям.

1. Класс сравнения. «Вам нравятся вечеринки?» — ответ даётся относительно подразумеваемой группы: ваши друзья, ваш город, ваша профессия, ваше десятилетие жизни. Поменяйте группу — и число сдвинется, хотя человек остался прежним.

2. Квантификатор. Пункты набиты словами вроде часто, редко, много, иногда. Это не единицы измерения. «Я часто выхожу из себя» может означать «раз в неделю» для одного и «дважды в год» для другого, которому просто за это стыдно. Таблицы перевода в бланке не напечатано.

3. Охват. Какая именно версия вас отвечает? Рабочий вы организованны, потому что дедлайны реальны. Домашний вы хранит в коридоре четыре нераспакованные коробки. Большинство опросников просят описать себя «в целом», то есть незаметно предлагают усреднить контексты, которые вы никогда не усредняли, — и каждый взвешивает это среднее по-своему, в зависимости от того, какая часть жизни сейчас ощущается как «настоящий я».

4. Само слово-черта. Организованный может означать прибранный стол, поддерживаемый календарь, пустой инбокс или просто «я знаю, где что лежит, даже если вы не знаете». Эти вещи коррелируют, но не идеально, и двое, выбравшие разные смыслы, получат одинаковый балл за разные привычки.

Ничего экзотического тут нет. Это измеряют рутинно: аналитики проверяют, одинаково ли ведёт себя пункт в разных группах, с помощью дифференциального функционирования заданий и методов инвариантности измерения — то есть смотрят, одинаково ли отвечают на пункт люди с одинаковым уровнем латентной черты.[4] Когда пункты эти проверки не проходят, сравнение групп по такой шкале — строго говоря, сравнение яблок с чуть другими яблоками.

Честное возражение: иногда пункты ведут себя прилично

Было бы удобно — и неверно — заключить, что личностные баллы это шум.

Инвариантность — проверяемое свойство, и оно часто подтверждается. В одном анализе методами теории ответа на задание сопоставили пятифакторные шкалы IPIP и NEO-FFI в группах с высокими и низкими когнитивными способностями и нашли шкалы инвариантными; значит, различия в баллах между этими группами можно читать как реальные различия в чертах, а не как артефакт интерпретации пунктов.[5] Другие работы в конкретных случаях находят обратное: в исследовании пунктов об аффекте у эквадорских молодых взрослых сообщается лишь о частичной инвариантности по полу, причём различия на уровне пунктов концентрировались в словах, связанных со страхом и враждебностью.[6]

Так что реальная картина — не «тесты фальшивка». Она зависит от конкретного пункта. Одни пункты прочны. Эмоционально заряженные, культурно насыщенные или расплывчато квантифицированные — плывут. И дрейф себя не афиширует: он проявляется как совершенно обычное число.

Методология опросов уже придумала заплатку. Она дорогая

Методологи заметили это задолго до дейтинг-приложений. Когда респонденты по-разному используют порядковые категории ответа, построенный на этих ответах анализ может быть смещён — и якорные виньетки были предложены как дизайн-приём, исправляющий ровно эту проблему.[7]

Механизм изящен. Вместо того чтобы спрашивать только «насколько вы здоровы?», респондента просят оценить ещё и нескольких описанных персонажей — людей, чей реальный уровень задан конструкцией и одинаков для всех. Различия в том, как респонденты оценивают этих одинаковых персонажей, показывают, как каждый пользуется шкалой. После чего самооценку пересчитывают по личной линейке этого человека.

Это работает. И это безжалостно в потребительском продукте: каждая виньетка — лишние пункты, лишние минуты, лишние отвалившиеся пользователи. Никто не дойдёт до конца 30-минутной анкеты знакомств, в которую вшиты шесть рассказов про незнакомцев по имени Элисон и Джейн.

В итоге индустрия пользуется сокращённым вариантом, который все делают вид, что считают нормальным: пять квадратиков, никаких уточняющих вопросов и дашборд, выдающий результат с точностью до десятых.

Что восстанавливает разговор и не может восстановить чекбокс

Вот чего шкала Likert не может по своему устройству: спросить, что вы имели в виду.

Разговорная диагностика может. После «мне нравятся вечеринки» она спросит: когда была последняя и до скольких вы там были? После «я довольно организованный» — расскажите, как вы планировали последнюю поездку. Она заметит, что человек поставил себе 2 по общительности, а потом описал четыре встречи с друзьями за прошлую неделю, и отметит это расхождение вместо того, чтобы усреднить его в ноль.

По сути это логика якорных виньеток, поданная в форме диалога. Цель та же — понять личную линейку человека, прежде чем доверять его самооценке, — только вместо оценки вымышленных незнакомцев вы описываете три свои последние пятницы, что быстрее и куда менее скучно.

Три вещи, которые восстанавливает разговорный проход:

• Частоты вместо наречий. «Часто» превращается в «примерно дважды в месяц, обычно по пятницам». Это значит одно и то же и в Берлине, и в Алматы.
• Контекст вместо среднего. Вместо одного смешанного балла организованности вы получаете: беспощаден на работе, хаотичен дома — и понимание, с какой из версий партнёру придётся жить.
• Явный класс сравнения. Когда человек говорит «я не очень общительный», полезный следующий вопрос — по сравнению с кем? Ответ («с бывшими соседями по квартире», «с коллегами», «с братом») показывает, откуда взялась линейка.

Поэтому аватар, который разговаривает, — это измерительный инструмент, а не игрушка-чат. Он способен вести медленное, въедливое интервью, о котором психометрика всегда мечтала и которое потребительские продукты никогда не могли себе позволить. Исходные инструменты, с которых всё начинается, видно, когда вы проходите тесты, а разговорный слой надстраивается над ними, когда вы создаёте своего аватара.

Как читать собственные результаты скептичнее

В следующий раз, получив профиль, прогоните его через пять вопросов:

1. По сравнению с кем я отвечал? Представьте конкретных людей, с которыми вы неявно себя мерили. Если эта группа нерепрезентативна — очень экстравертное окружение, очень аккуратная семья, — ваш балл смещён относительно общей популяции. Не ошибочен, просто переведён на другой язык.
2. Могу ли я перевести каждое наречие в число? Возьмите три самых крайних пункта и переформулируйте их через частоту и дату последнего случая. Если не получается — пункт измерил ваш образ себя, а не поведение.
3. Какая версия меня отвечала? Отметьте, кто заполнял: рабочий вы, домашний вы или идеальный вы. Идеальный вы — самый частый респондент и самый бесполезный.
4. Получился бы такой же профиль у того, кто живёт со мной? Формальный отчёт информанта не нужен: просто представьте, как поднимаются его брови на каждой фасетке.
5. Меняет ли перцентиль мой прогноз? Если переход с 60-го на 78-й перцентиль ничего не меняет в том, что вы ожидаете увидеть в своей жизни, точность декоративна. (Мы уже писали о том, почему баллам совместимости нужны доверительные интервалы, — вот причина на уровне отдельных пунктов.)

Одинаковые баллы — не одинаковые люди

Практический вывод для подбора прямолинеен. Если два профиля расходятся на три пункта, разница может быть целиком лингвистической: линейка одного против линейки другого. Трактовать это как осмысленный рейтинг — верный способ производить уверенную чепуху.

Перевод переживает поведение: как часто, с кем, как долго, что было в прошлый раз, что вы сделали, когда всё пошло плохо. Эти фразы значат примерно одно и то же в любом городе и в любом возрасте. Числа — полезный указатель на них, быстрый и дешёвый первый проход, подсказывающий, где копать. Но они не результат.

22-летняя в Берлине и 41-летний в Алматы набрали по 78. Одна хочет партнёра, который останется до трёх ночи. Другой — партнёра, рядом с которым ужин дважды в месяц стоит денег, отданных няне. Ни одна шкала Likert в мире не различает эти два желания.

Хороший вопрос — различает. Задайте его.

Источники

1. Reference Group Effect (Encyclopedia of Personality and Individual Differences) — Springer
2. What's wrong with cross-cultural comparisons of subjective Likert scales?: The reference-group effect — Semantic Scholar / Journal of Personality and Social Psychology
3. What Do Cross-National Comparisons of Personality Traits Tell Us? The Case of Conscientiousness — University of British Columbia / Psychological Science
4. Measurement invariance and differential item functioning of the positive and negative affect schedule — Frontiers in Psychology
5. Do Personality Scale Items Function Differently in People With High and Low IQ? — American Psychological Association / Psychological Assessment
6. Measurement invariance and differential item functioning of the positive and negative affect schedule: a psychometric study in Ecuadorian young adults — Frontiers in Psychology
7. Comparing Incomparable Survey Responses: New Tools for Anchoring Vignettes — Harvard University (Gary King)