1. Что измеряет инструмент
TraitTune оценивает положение респондента по каждому из пятнадцати измерений личности, а также предоставляет показатель точности измерения по каждому измерению. Измерения являются биполярными и непрерывными — каждое представляет собой спектр, ограниченный двумя полюсными метками, — и каждый балл выражается по шкале 0–100 вместе с точностью, с которой этот балл был получен.
Пятнадцать измерений объединяются в четыре интерпретационных кластера: Любопытство и стремление, Социальная вовлечённость, Структура и сосредоточенность, Эмоциональная основа. Кластеры были получены эмпирически на основе апостериорной корреляционной структуры развёрнутой калибровки, а не заимствованы из таксономии какой-либо конкурирующей концепции. Лежащая в основе измерительная структура опирается на современную литературу по психологии черт — традицию пятифакторной модели (Goldberg 1993; McCrae & Costa 2008), расширение HEXACO (Ashton & Lee 2007), а также на дополнительные конструкты, хорошо представленные в ряде академических таксономий, — однако TraitTune не наследует в полной мере ярлыки или факторную структуру ни одной из этих концепций.
Средний балл по измерению несёт информационную нагрузку, а не свидетельствует о неудаче в обнаружении сигнала. Это означает, что поведение респондента по данному измерению является контекстно-зависимым или сбалансированным между двумя полюсами — реальная закономерность, а не её отсутствие. Каждый сообщаемый балл сопровождается показателем точности измерения, поэтому средний результат интерпретируется как содержательный вывод, а не как шум.
2. Взаимодействие респондентов с инструментом
Каждый инструмент, основанный на единственном формате, имеет характерный режим отказа. Пункты со шкалой согласия вызывают склонность к согласию (acquiescence bias); пункты принудительного выбора порождают внутрисубъектные (ипсативные) артефакты, затрудняющие сравнение между респондентами; ситуативные пункты информационно насыщены, но требуют больших временных затрат на каждую единицу. TraitTune намеренно сочетает четыре формата так, чтобы их преимущества суммировались, а недостатки взаимно компенсировались (Christiansen, Burns & Montgomery 2005; Brown 2016).
Пункты согласия типа Лайкерта содержат утверждение и предлагают респонденту оценить степень согласия по пятибалльной шкале; они составляют большинство пунктов методики. Пункты принудительного выбора из двух вариантов представляют пару парафразов — оба правдоподобны, — соответствующих противоположным концам одного измерения, и предлагают выбрать наиболее подходящий. Ситуативные пункты описывают короткую повседневную ситуацию с тремя правдоподобными поведенческими реакциями, соответствующими градуированным уровням лежащего в основе конструкта.
Многомерные триплеты принудительного выбора (MFC) предъявляют три утверждения, относящихся к разным измерениям, и предлагают респонденту сначала выбрать наиболее подходящее, а затем — наименее подходящее. Последовательное предъявление по схеме «Наиболее — затем Наименее» следует традиции Best-Worst Scaling (Finn & Louviere 1992; Marley & Louviere 2005; Louviere, Flynn & Marley 2015), которая сама опирается на закон сравнительного суждения Тёрстона (Thurstone 1927). Последовательное предъявление двух выборов вместо одновременной сетки снижает когнитивную нагрузку, при этом обеспечивая тот же объём попарно-ранжирующей информации.
Принципиально важно, что три из четырёх форматов являются нормативными — ответ каждого респондента непосредственно сопоставим с ответом любого другого, — тогда как MFC является ипсативным: ответы представляют собой лишь внутрисубъектные сравнения. Инструменты, основанные исключительно на ипсативном формате, заведомо сложны для межсубъектной интерпретации; инструменты, основанные исключительно на нормативном формате, уязвимы к стилевым и социально-желательным артефактам. Сочетание обоих подходов обеспечивает большую устойчивость к фальсификации и стилям ответа, чем каждый из них по отдельности (Jackson, Wroblewski & Ashton 2000; Christiansen, Burns & Montgomery 2005; Brown 2016).
3. Как вычисляется оценка
Каждый ответ оценивается с помощью модели теории ответов на пункты (IRT), подходящей для соответствующего формата. IRT является психометрической основой крупнейших мировых программ адаптивного тестирования, в том числе GRE, GMAT и теста профессиональной пригодности Вооружённых сил США (Embretson & Reise 2000; van der Linden & Glas 2010). В отличие от классической теории тестов, каждый пункт несёт собственные откалиброванные параметры трудности и дискриминативности, что позволяет модели взвешивать свидетельства из пунктов разных форматов на единой общей шкале.
Каждый формат оценивается с помощью модели IRT, соответствующей его структуре ответа. Пункты Лайкерта моделируются с помощью модели ступенчатого ответа (Samejima 1969); пункты принудительного выбора из двух вариантов — с помощью двухпараметрической логистической модели (Birnbaum 1968); ситуативные пункты — с помощью обобщённой модели частичного зачёта (Muraki 1992) на трёх упорядоченных категориях. Триплеты MFC моделируются методом Thurstonian IRT в соответствии с Brown & Maydeu-Olivares (2011), в котором каждое утверждение несёт скрытую полезность U = λ·κ·θ + ε со специфической нагрузкой пункта λ, ключом κ ∈ {+1, −1} и гауссовым остатком ε. Выбор «Наиболее/Наименее» разворачивается в три попарные вероятности, каждая из которых является функцией нормального интегрального распределения от разностей полезностей сопоставляемых утверждений; это то же семейство моделей, которое лежит в основе подхода MUPP-CAT к адаптивному тестированию личности (Stark, Chernyshenko & Drasgow 2005, 2012).
Поскольку один ответ может одновременно нести информацию о нескольких измерениях — и поскольку триплеты MFC по своей природе многомерны, — оценивание черт осуществляется в рамках многомерной IRT (MIRT) на едином пятнадцатимерном латентном векторе со стандартным нормальным априорным распределением (Reckase 2009; Ackerman 1994). После каждого ответа апостериорное распределение по каждому измерению пересчитывается методом ожидаемого апостериорного значения (EAP) на сетке из 61 точки, реализованного как двухпроходной алгоритм координатного подъёма по пятнадцати измерениям (Bock & Mislevy 1982). Балл, показатель точности и интерпретационная категория, сообщаемые респонденту, — все они выводятся из полученных апостериорных среднего и стандартного отклонения по каждому измерению.
Отбор пунктов является адаптивным. В опроснике с фиксированной длиной все респонденты видят одни и те же пункты в одном и том же порядке; в TraitTune следующий пункт выбирается исходя из того, что модуль уже знает о данном респонденте. Конкретно, каждый пункт-кандидат оценивается по информации Фишера в текущем апостериорном среднем, умноженной на текущую апостериорную дисперсию по тому измерению, которое данный пункт затрагивает: score(i) = I_i(θ̂_d) · Var(θ_d | responses so far). Информация Fisher является классическим критерием оптимальности при отборе пунктов IRT; взвешивание по дисперсии направляет модуль к тем измерениям, оценки которых остаются широкими, а не к уже разрешённым. Правило простое и стационарное — отдельных эвристик для начала сессии и переходных фаз нет. Поскольку дисперсия различается по измерениям, модуль естественным образом широко исследует пространство в начале (когда все дисперсии близки к 1.0) и сужает поиск к концу (когда большинство измерений сошлись и широкими остались лишь немногие). Это практическая форма апостериорно-взвешенного отбора по критерию Fisher (Chang & Ying 1996; van der Linden & Pashley 2010).
Для контента MFC то же правило применяется на уровне блоков: пункты-кандидаты-триплеты оцениваются по ожидаемой информации Fisher, которую они внесут по каждому из трёх охватываемых измерений, взвешенной по измерениям на текущую апостериорную дисперсию и просуммированной по ещё активным измерениям (Stark, Chernyshenko & Drasgow 2012). Отбор по данному измерению прекращается, как только его апостериорное стандартное отклонение пересекает порог точности; пункты и блоки, которые могли бы поставлять информацию лишь уже сошедшимся измерениям, исключаются из дальнейшего рассмотрения. Модуль работает в трёх зонах точности: измерение считается разрешённым, как только его апостериорное СО опускается ниже жёсткого порога; в промежуточной зоне оно уточняется одним-двумя дополнительными высокоинформативными пунктами; если же после исчерпания параметрических пунктов измерение остаётся широко неопределённым, оно передаётся для уточняющего открытого диалога (clarify chat) перед формированием итоговой оценки. Точные значения порогов версионированы вместе с каждым прогоном калибровки, а не жёстко закодированы на этой странице.
Поскольку разные измерения сходятся с разной скоростью — в зависимости от глубины пула пунктов по данному измерению и положения респондента на нём, — общее количество пунктов, предъявляемых респонденту, заранее не фиксируется. Полная сессия по пятнадцати измерениям, как правило, занимает 40–70 пунктов, что существенно меньше, чем потребовалось бы сопоставимому опроснику с фиксированной длиной при эквивалентной точности. Индикатор прогресса отображает прогноз ожидаемого числа оставшихся пунктов, вычисляемый проецированием алгоритма отбора вперёд на основе текущих апостериорных оценок, а не обратным отсчётом до заранее заданной цели.
Некоторым пользователям не требуется полный пятнадцатимерный профиль за один сеанс. TraitTune предлагает сфокусированные сценарии использования — Карьера и эффективность, Свидания и партнёрство, Стиль взаимодействия, Самопознание, — каждый из которых ориентирован на пять приоритетных измерений для данного сценария, а не на все пятнадцать. В обоих случаях работает один и тот же механизм оценивания; меняется лишь пул пунктов-кандидатов, поэтому сфокусированная сессия короче (примерно 25–40 пунктов), и точностная оценка выдаётся только для пяти входящих в область измерений. Остальные измерения не отображаются как нулевые — они просто не измеряются в данной сессии, и впоследствии респондент может перейти к полной методике, не повторяя уже пройденное.
4. Разработка заданий
Качество пунктов является наиболее значимым фактором точности измерения в современной практике IRT (Clark & Watson 1995; DeVellis 2017). Действующий пул в настоящее время содержит порядка 885 пунктов по пятнадцати измерениям — в среднем около 59 пунктов на измерение, при этом фактическое распределение определяется широтой измерения и составом форматов. Каждый пункт прошёл структурированную многоэтапную проверку перед включением в рабочую методику.
Пункты разрабатываются в соответствии с операциональным определением одного измерения и проверяются как на принадлежность к основному конструкту, так и на возможные перекрёстные нагрузки на не связанные с ним конструкты; пункты, нагружающие более одного измерения, либо переписываются, либо выводятся из обращения. В каждом измерении пункты с прямым и обратным ключом представлены в приблизительно равном соотношении, чтобы склонность к согласию и артефакты небрежного ответа не могли систематически смещать оценку в одном направлении.
Пункты, входящие в триплеты MFC, проходят дополнительную структурную калибровку. Внутри блока три утверждения группируются так, чтобы их рейтинги социальной желательности были максимально близки; именно сопоставление по социальной желательности является условием, при котором Thurstonian IRT даёт наименее смещённые оценки полезности и при котором блок принудительного выбора становится подлинно дискриминативной задачей, а не выражением предпочтений в области социальной желательности (Jackson, Wroblewski & Ashton 2000; Brown & Maydeu-Olivares 2013). Сборка блоков дополнительно гарантирует, что каждый триплет берёт пункты из трёх разных измерений, содержит не менее одного пункта с обратным и не менее одного с прямым ключом и не повторяет один и тот же пункт в перекрывающихся активных блоках. Эти ограничения соблюдаются автоматизированным конвейером сборки блоков в соответствии с рекомендациями методологической литературы по формату принудительного выбора (Hicks 1970; Meade 2004).
Каждый пункт также проходит содержательную проверку на двойственность формулировок, культурно маркированные выражения, двусмысленность и единообразие уровня читабельности. Если постдеплойные данные указывают на дифференциальное функционирование пункта (DIF), низкую дискриминативность или проблемы локализации, применяется политика «вывод из обращения и замена»: новый пункт разрабатывается и калибруется вместо переработки старого на прежнем месте, что позволяет каждой исторической записи калибровки оставаться привязанной к тому пункту, для которого она была вычислена. Пункты, выведенные по данной политике, в активный пул не возвращаются. Формальный анализ дифференциального функционирования пунктов (DIF) по языковым и демографическим стратам включён в план валидации.
5. Calibration
Параметры пунктов — дискриминативности, трудности, пороги категорий ответа, а также нагрузки и уникальности MFC — оцениваются совместно в рамках единой иерархической байесовской модели, в которой все пятнадцать латентных черт имеют стандартное многомерное нормальное априорное распределение, а каждый формат ответа вносит собственную функцию правдоподобия по одному и тому же вектору θ. Апостериорный вывод осуществляется методом гамильтоновского монте-карло без разворота (NUTS; Hoffman & Gelman 2014) в реализации PyMC (Salvatier, Wiecki & Fonnesbeck 2016) со стандартными диагностиками R̂ и эффективного размера выборки (ESS) (Gelman et al. 2013). Каждое развёртывание обусловлено прохождением этих диагностик по каждому параметру пункта. Каждый прогон калибровки архивируется вместе со снимком данных, конфигурацией MCMC, диагностическим отчётом и апостериорными трассировками, что обеспечивает полную воспроизводимость каждого развёрнутого параметра вплоть до выборки, на которой он был получен. Развёрнутая совместная калибровка MIRT была окончательно установлена в апреле 2026 года в соответствии с указанными критериями.
По мере роста действующего пула респондентов калибровка переоценивается: перерасчёт выполняется на той же совместной иерархической модели по реальным ответам с проверкой на внешней выборке удержанных респондентов в качестве ворот выпуска, что позволяет развёрнутым параметрам неизменно соответствовать популяции, которой служит инструмент. Итеративная рекалибровка такого рода является стандартной практикой в крупных программах адаптивного тестирования (van der Linden & Glas 2010).
Сами значения параметров — дискриминативности, трудности, полезности — не раскрываются в результатах, отображаемых респонденту. Они скрыты как потому, что не являются информативными для читателя, так и потому, что представляли бы нетривиальный ресурс для попыток манипулирования методикой. В отчёте TraitTune отображаются только агрегированные результаты измерения: балл, оценка точности и интерпретационное резюме.
6. Надёжность, валидность и чем данный инструмент не является
Точность измерения по каждому измерению отображается как апостериорное стандартное отклонение θ̂, полученное непосредственно из шага EAP. В пределе Фишера это эквивалентно маргинальной надёжности IRT ρ_d = 1 − 1/(1 + I_d(θ̂_d)), в форме которой та же величина нередко фигурирует в литературе по адаптивному тестированию. Поскольку каждый балл сопровождается связанным с ним показателем точности, читателю не приходится самостоятельно определять, сколько веса придать тому или иному результату. Сообщать балл без сопутствующей точности — по нашей оценке, неудовлетворительная психометрическая практика, которую мы не применяем.
Измерение личности носит вероятностный характер. Сообщаемый балл — не категориальный вердикт; это апостериорное среднее непрерывной оценки, сопровождаемое стандартным отклонением, которое количественно выражает степень, в которой ответы его ограничивают. Два респондента с одинаковой точечной оценкой могут иметь существенно различающиеся апостериорные распределения, и именно показатель точности делает это различие видимым. Достоверность измерения определяется информативностью пунктов и совокупностью ответов, а не тем, насколько выраженно черта звучит в нарративном описании.
Данный инструмент не является клиническим диагностическим средством. Он измеряет самооценку личности по ряду чётко определённых континуумов, и его результаты предназначены для использования в качестве материала для самоанализа и личностного развития, а также — по выбору респондента — в качестве контекста для последующей персонализации ИИ. Он не предназначен для использования в качестве единственного основания для принятия значимых жизненных, кадровых или клинических решений. Клиническая оценка преследует иную цель — постановку диагноза, формулировку случая, планирование лечения — и является надлежащим инструментом для этих вопросов; TraitTune является дополнительным средством, а не заменой.
7. Правовое основание и данные особой категории
Баллы личности, полученные из психометрических ответов, рассматриваются как умозаключения об умственных и поведенческих склонностях человека. Согласно Общему регламенту по защите данных ЕС (GDPR), умозаключения подобного рода относятся к особым категориям персональных данных, определённым в статье 9. Их обработка требует специального правового основания сверх обычного, применяемого к рутинным персональным данным.
TraitTune опирается на явное согласие респондента в соответствии со статьёй 9(2)(a) GDPR в качестве такого правового основания. Согласие фиксируется на специальном этапе до предъявления каких-либо пунктов, является конкретным применительно к акту составления профиля личности и может быть отозвано в любой момент — после чего обработка прекращается, а лежащие в основе данные ответов и PsyDNA-профиль удаляются в соответствии с расписанием, задокументированным в Политике конфиденциальности. Мы не выводим баллы личности ни из каких иных поведенческих сигналов: только пункты, на которые респондент отвечал в ходе оценивания, осознанно и после получения согласия, используются в качестве входных данных для модуля. Полная картина защиты данных — сведения об операторе, сроки хранения, субпроцессоры, механизмы передачи данных и права респондентов — изложена в Политике конфиденциальности и является авторитетным документом по этим вопросам; данный раздел существует лишь для того, чтобы явно изложить основание для обработки наряду с методологией.
Глоссарий
Простые определения технических терминов, использованных выше.
- Item Response Theory (IRT)
- Семейство статистических моделей для тестов и опросников, в которых вероятность данного ответа на пункт моделируется как функция латентной черты респондента и небольшого числа параметров пункта (как правило, дискриминативности и трудности). Оценки черт и параметры пунктов совместно восстанавливаются из данных ответов.
- Multidimensional IRT (MIRT)
- Расширение IRT, в котором каждый пункт может нагружать более одного латентного измерения. Применяется в случаях, когда черты коррелируют и пункты одновременно измеряют несколько черт, как это характерно для личностных методик.
- Computerized Adaptive Testing (CAT)
- Формат тестирования, при котором следующий предъявляемый пункт выбирается динамически на основе текущей оценки черты и оставшегося банка пунктов. Каждый пункт выбирается максимально информативным для конкретного респондента, что позволяет достичь той же точности при меньшем числе пунктов, чем в тесте с фиксированной формой.
- Multidimensional Forced-Choice (MFC)
- Формат пункта, при котором небольшой блок утверждений (как правило, два-четыре) предъявляется совместно и респондент ранжирует их или выбирает наиболее и наименее характерное. Блоки принудительного выбора снижают стилевые и социально-желательные артефакты, загрязняющие одиночные пункты Лайкерта.
- Thurstonian IRT
- Модель IRT для данных принудительного выбора и попарных предпочтений, первоначально предложенная для попарных сравнений Тёрстоном (Thurstone 1927) и переработанная для многомерной оценки личности Брауном и Майде-Оливаресом (Brown & Maydeu-Olivares 2011, 2013). Восстанавливает латентные черты из сравнительных суждений, а не из абсолютных оценок по шкале Лайкерта.
- Best-Worst Scaling (BWS)
- Задача суждения, в которой респондент выбирает наиболее и наименее подходящий вариант из небольшого набора. Полученные данные затем анализируются в рамках модели дискретного выбора или Thurstonian IRT. Предоставляет больше информации на блок, чем простое ранжирование.
- Fisher information
- Мера того, насколько данный пункт ожидаемо снижает неопределённость оценки черты респондента при текущем уровне способности. Адаптивные алгоритмы используют её для выбора следующего пункта — выбирается пункт-кандидат с наибольшей ожидаемой информацией при текущей оценке черты.
- Hierarchical Bayesian estimation
- Подход к оцениванию, при котором параметры пунктов и оценки черт рассматриваются как случайные переменные, извлечённые из априорных распределений, а апостериорные распределения получаются совместно методами марковских цепей Монте-Карло или вариационными методами. Позволяет получать доверительные интервалы для каждого параметра и черты, а не только точечные оценки.
- Latent trait
- Ненаблюдаемое внутреннее свойство респондента (например, экстраверсия, сознательность), которое тест пытается оценить по наблюдаемым ответам на пункты. Каждый респондент занимает определённое положение на каждом измерении черты; тест возвращает оценку с сопутствующей неопределённостью.
- Big Five (Five-Factor Model)
- Эмпирическая таксономия личности, основанная на пяти широких измерениях — как правило, открытости опыту, сознательности, экстраверсии, доброжелательности и нейротизме, — которые воспроизводимо выявляются в разных языках, культурах и инструментах. TraitTune использует Big Five как общедоступный размерный ориентир, а не как коммерческий продукт.
- HEXACO
- Шестифакторная таксономия личности, дополняющая Big Five измерением честности-скромности и реорганизующая остальные факторы. Используется в качестве дополнительной системы координат для измерительной структуры.
Избранная литература
Все источники — опубликованные работы из рецензируемой литературы по психометрике и исследованиям личности. Они лежат в основе конкретных методов, описанных выше.
Основы теории сравнительного суждения и моделирования латентных черт
- Thurstone, L. L. (1927). A law of comparative judgment. Psychological Review, 34, 273–286.
- Lord, F. M. (1980). Applications of Item Response Theory to practical testing problems. Erlbaum.
- Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. Danish Institute for Educational Research.
Модели IRT, применяемые в инструменте
- Samejima, F. (1969). Estimation of latent ability using a response pattern of graded scores. Psychometrika Monograph Supplement, 17.
- Birnbaum, A. (1968). Some latent trait models and their use in inferring an examinee's ability. In Lord & Novick, Statistical theories of mental test scores. Addison-Wesley.
- Muraki, E. (1992). A generalized partial credit model: application of an EM algorithm. Applied Psychological Measurement, 16, 159–176.
- Reckase, M. D. (2009). Multidimensional Item Response Theory. Springer.
- Ackerman, T. A. (1994). Using multidimensional item response theory to understand what items and tests are measuring. Applied Measurement in Education, 7, 255–278.
Forced-choice and Thurstonian modelling
- Brown, A., & Maydeu-Olivares, A. (2011). Item response modeling of forced-choice questionnaires. Educational and Psychological Measurement, 71, 460–502.
- Brown, A. (2016). Item response models for forced-choice questionnaires: a common framework. Psychometrika, 81, 135–160.
- Maydeu-Olivares, A. (1999). Thurstonian modeling of ranking data via mean and covariance structure analysis. Psychometrika, 64, 325–340.
- Stark, S., Chernyshenko, O. S., & Drasgow, F. (2005). An IRT approach to constructing and scoring pairwise preference items involving stimuli on different dimensions: The Multi-Unidimensional Pairwise Preference model. Applied Psychological Measurement, 29, 184–203.
- Stark, S., Chernyshenko, O. S., & Drasgow, F. (2012). Adaptive testing with multidimensional pairwise preference items: improving the efficiency of personality and other noncognitive assessments. Organizational Research Methods, 15, 463–487.
Best-Worst Scaling
- Finn, A., & Louviere, J. J. (1992). Determining the appropriate response to evidence of public concern. Journal of Public Policy and Marketing, 11, 12–25.
- Marley, A. A. J., & Louviere, J. J. (2005). Some probabilistic models for best, worst, and best-worst choices. Journal of Mathematical Psychology, 49, 464–480.
- Louviere, J. J., Flynn, T. N., & Marley, A. A. J. (2015). Best-Worst Scaling: Theory, Methods and Applications. Cambridge University Press.
Методология формата принудительного выбора и её обоснование
- Hicks, L. E. (1970). Some properties of ipsative, normative, and forced-choice normative measures. Psychological Bulletin, 74, 167–184.
- Meade, A. W. (2004). Psychometric problems and issues involved with creating and using ipsative measures for selection. Journal of Occupational and Organizational Psychology, 77, 531–552.
- Jackson, D. N., Wroblewski, V. R., & Ashton, M. C. (2000). The impact of faking on employment tests: does forced choice offer a solution? Human Performance, 13, 371–388.
- Christiansen, N. D., Burns, G. N., & Montgomery, G. E. (2005). Reconsidering forced-choice item formats for applicant personality assessment. Human Performance, 18, 267–307.
Adaptive testing
- Wainer, H., et al. (2000). Computerized Adaptive Testing: A Primer (2nd ed.). Erlbaum.
- van der Linden, W. J., & Glas, C. A. W. (2010). Elements of Adaptive Testing. Springer.
Разработка пула пунктов и качество шкалы
- Clark, L. A., & Watson, D. (1995). Constructing validity: basic issues in objective scale development. Psychological Assessment, 7, 309–319.
- DeVellis, R. F. (2017). Scale development: theory and applications (4th ed.). SAGE.
Bayesian estimation
- Fox, J.-P. (2010). Bayesian Item Response Modeling: theory and applications. Springer.
- Gelman, A., et al. (2013). Bayesian Data Analysis (3rd ed.). CRC Press.
Личностные концепции, на которых основана измерительная структура
- Goldberg, L. R. (1993). The structure of phenotypic personality traits. American Psychologist, 48, 26–34.
- McCrae, R. R., & Costa, P. T. (2008). The Five-Factor Theory of personality. In Handbook of Personality: Theory and Research (3rd ed.). Guilford.
- Ashton, M. C., & Lee, K. (2007). Empirical, theoretical, and practical advantages of the HEXACO model of personality structure. Personality and Social Psychology Review, 11, 150–166.