Как вычисляют сумасшедших — 2: блеск и нищета патопсихологической диагностики
Привет, Хабр!
Меня зовут Кристина, я клинический психолог. Около двух лет назад я опубликовала на Geektimes пост о патопсихологической диагностике, в котором рассказала о том, как производится исследование психики пациентов в психиатрическом стационаре на предмет наличия или отсутствия нарушений мышления, памяти и других функций психики.
Всё, что нужно знать о нашей патопсихологической диагностике. Источник: [43, стр. 133–134].
В комментариях мне задали довольно много вопросов о том, насколько надёжны используемые методы, где границы их применимости и т.д. В своих ответах я последовательно защищала используемый инструментарий и психиатрию / психологию в целом.
Прошло два года, и я уже не тот наивный специалист, который только вышел из государственной системы психиатрической помощи, я успела поработать в частной практике, тесно сотрудничая с психиатром и имея возможность увидеть те аспекты психиатрии, которые ранее были скрыты от меня. Мои взгляды на индустрию душевного здоровья несколько изменились.
Сегодняшний пост будет не таким восторженным и, возможно, несколько более эмоциональным. В нём будет некоторое количество инсайдерской информации, на которую, к сожалению, я не могу привести пруфы, но я постараюсь в ключевых моментах обосновать свои доводы соответствующими ссылками. Скажем так, в индустрии всё не так радужно, как мне бы хотелось, и я считаю, что о её проблемах нужно говорить открыто.
Пост написан в соавторстве с юзером hdablin. Текст получился довольно длинным, в нём мало картинок и много пространных рассуждений. Но если вам интересны проблемы диагностики в психиатрии и смежных дисциплинах, добро пожаловать под кат.
Комплексный подход в диагностике психических заболеваний
В диагностике психических заболеваний важен комплексный подход[1, стр. 22], и об этом много говорят. Действительно, оценка состояния пациента не должна производиться на основании наличия или отсутствия отдельных признаков нарушений работы психики, необходимо воспринимать человека полностью, во всём многообразии его психической деятельности, выстраивая в процессе клинической беседы и / или патопсихологического эксперимента последовательно уточняющуюся, внутренне непротиворечивую модель его функционирования, дополняя и изменяя её по мере появления новых диагностических данных.
Говоря проще, недопустимо ставить человеку шизофренический (равно как и любой другой) патопсихологический симптомокомплекс только на основании того, что он нашёл общее у таких понятий как «кошка» и «яблоко» (прекрасный ответ одного пациента:»косточки внутри»).
Но, к сожалению, многие специалисты поступают именно так: нет никакой гарантии, что попав в систему, вы не получите ярлык «шизофреника» только потому, что вы дадите ответ, не предусмотренный в методичках 50–70х годов или в голове самого специалиста.
Так, однажды мне попалось заключение, в котором психолог отмечает нарушение мышления по шизофреническому типу, ссылаясь на то, что, выполняя методику на исключение лишнего, из четырёх изображений — воздушного шара, самолёта, автомобиля и парохода, исследуемый исключил воздушный шар, обосновав это тем, что это средство передвижения устарело.
Проблема общего тезауруса
Комплексная диагностика — важная и даже отчасти модная тема, но то, что говорят о ней, порой вводит меня в недоумение. Так один из отечественных авторитетов в области диагностики открыто продвигает идею о том, что используемые в диагностическом процессе методики должны »иметь общий тезаурус». И, сюрприз-сюрприз, этот человек свою научную работу строит именно на создании комплекса методик, использующих единый терминологический аппарат.
Простая идея о том, что во всём цивилизованном мире уже давно научилис выстраивать системы «перевода» / взаимного отображения разных концепций личности (например), как раз для того, чтобы можно было использовать разные методики, основанные на различных моделях, для сравнения между собой и для построения той самой комплексной оценки, полностью им игнорируется.
А почему? Да просто потому, что если принять это во внимание, будет очень сложно рекламировать собственную, «не имеющую аналогов» систему методик. Ведь её ценность, согласно автору, как раз в едином тезаурусе, который по факту никому особо и не нужен.
Возьмём, например, обозначенную этим самым авторитетом проблему несовпадения моделей описания личности: дескать, существует множество способов её описать (это так), и разные методики исследования нацелены на использования различных подходов к её описанию: кто-то говорит о пяти факторах, кто-то об акцентуациях, а кто-то вообще использует типологию Майерс-Бриггс.
Но ещё в конце 80-х было опубликовано исследование[2], которое показывает, что пятифакторная модель превосходит типологию Майерс-Бриггс. В нём же показано, какие именно шкалы Пятифакторной модели коррелируют с типологиями Майерс-Бриггс, что даёт (при желании) возможность [не идеально точно, но всё-таки] отобразить данные, описанные в рамках одной модели, на другую.
Популярные в России модели акцентуаций — такие классификация Леонгарда и получившая широкое распространение продолжающая её классификация Личко, в существенной степени основанная на классификации психопатий Ганнушкина, на Западе не слишком популярны.
Зато там используются некоторые схожие классификации — такие, как психоаналитическая диагностическая модель Мак-Вильямс, которая не имеет однозначного отображения на Пятифакторную модель, они различны по своей сути[3] или клинические шкалы опросника Шелдера и Вестена[4], которые вполне себе взаимоотображаются на Пятифакторную модель[5].
Но самое интересное заключается в том, что шкалы опросника Шелдера и Вестена неплохо соотносятся с психоаналитической диагностической моделью, предложенной Мак-Вильямс[6]. И, разумеется, они соотносятся с классификацией, используемой в DSM.
К чему я это всё рассказываю? К тому, что, во-первых, проблема различия используемого тезауруса частично решена (в достаточной степени, чтобы клиницисты могли использовать методики, основанные на разных моделях описания личности, для комплексного анализа), а, во-вторых, к тому, что в западной научной и клинической практике используется более здравый подход, направленный не на разработку новых уникальных методик и моделей описания, а на исследование соотношения и возможности взаимного отображения уже имеющихся моделей (психоаналитической, клинической из DSM, Пятифакторной).
Бесполезная на практике двойная диагностика
Изначально предполагалось, что экспериментально-психологическое исследование будет использоваться в дополнение к общему клиническому изучению больных[11, стр. 22], выполняемому врачом-психиатром, с целью решения задач дифференциальной диагностики, ранней диагностики патологических изменений психики, оценки эффективности терапии и др.
По идее, это должно приводить к тому, что человека проверяют два разных специалиста, используя два разных набора диагностических инструментов, что, вроде как, позволяет обеспечить большую точность и уменьшить вероятность ошибок. Дескать, если один из специалистов сильно ошибётся, его результаты не совпадут с результатами коллеги, они обсудят пациента и найдут ошибку, она не останется незамеченной.
На практике (инсайд, без пруфов) дело обстоит не так радужно: психолог является »нижестоящим» специалистом по отношению к психиатру и в ряде случаев он просто подгоняет свои результаты под тот диагноз, который выставил психиатр. Но бывают ситуации ещё хуже, когда психиатр просто приходит к психологу и спрашивает, какой диагноз поставить тому или иному пациенту (психолог формально не имеет права выставлять диагнозы, его этому не учили, но так бывает).
Вообще, в индустрии, по крайней мере, в государственных структурах существует такое явление, как »проклятие первого диагноза». Суть его предельно проста: многие не хотят связываться с изменением диагноза пациента: если где-то когда-то кто-то нашёл у него что-то шизофреническое, с огромной вероятностью следующие специалисты (и психиатры, и психологи) будут видеть этот «шизо-компонтент» — независимо от того, есть ли что-то такое у пациента — просто потому, что сказать о его отсутствии — значит либо поставить под сомнение квалификацию предыдущего специалиста, либо свою, а так же обречь себя на кучу бумажной работы. Поэтому на практике бывает так, что результаты диагностики просто «подгоняются» под полученные ранее.
У психиатров дело обстоит ненамного лучше: смена диагноза — достаточно геморройная процедура, и этого стараются избегать, по возможности обеспечивая совпадение результатов всех обследований пациента. Механизм защиты от ошибок не работает.
Игнорирование параметров среды при тестировании
Одним из существенных нарушений идеологии комплексного подхода в диагностике является игнорирование многими психологами параметров среды, в которой производится экспериментально-психологическое исследование.
Проще всего объяснить на примере СДВ (Г) — заболевания, которое, среди прочего, характеризуется неспособностью человека сосредоточиться на задаче, высокой отвлекаемостью на посторонние стимулы. Берут этого человека, приводят в тихий кабинет психолога, психолог проводит исследование, человек его успешно проходит, психолог пишет, что всё нормально.
Но стоило бы негромко включить радио, и результаты этого исследования изменились бы радикально: у таких больных очень сильно проседает результативность в тестах на производительность при наличии малейшего отвлекающего раздражителя[7]. Но на практике мало кто из психологов этим заморачивается, обычно проводят исследования в потоковом режиме в тишине кабинета, после чего отмечают положительную динамику, ага.
И уж точно, даже если кто-то и проводит такое исследование в условиях зашумлённости, то не отражает этот факт в своём заключении: принятая форма написания заключений по результатам патопсихологического эксперимента вообще не предусматривает описания параметров среды, в которой производилось тестирование, хотя одна только зашумлённость может радикально повлиять на его результаты[7].
Разумеется, эта проблема проявляет себя не только в диагностике СДВ (Г), это общая проблема, относящаяся ко всем результатам нейро- / патопсихологического исследования.
В современных источниках уделяется высокое внимание стандартизации как процедуры тестирования, так и параметров среды, в котором оно проводится[8, пар. 16.316]. У нас на практике эти параметры не просто не стандартизируются, они даже не указываются в тексте заключения. Но про стандартизацию мы ещё поговорим ниже.
Игнорирование параметров фармакотерапии при патопсихологическом тестировании
Многие психологи не разбираются в психофармакологии, и это ужасно. Хуже того, никто не указывает в своих заключениях, какое фармакологическое лечение получал пациент на момент исследования. А от этого очень многое зависит.
Откуда я могу знать, чем вызвана эмоциональная уплощённость, отмеченная коллегой в заключении — болезнью или принимаемыми препаратами (здесь фишка в том, что человеку, далёкому от психофармакологии, даже если он клинический психолог, сложно будет понять, вызваны ли наблюдаемые явления самой болезнью или попытками её лечения).
При том, что в мировой практике уже давно признано влияние медикаментов на результаты нейро- / патопсихологической диагностики[8, пар. 16.271], у нас психологи могут даже не поинтересоваться, какие медикаменты принимает пациент. И в результате, например, тревожники, которым назначили высокие дозы нейролептиков (нередкая в РФ практика) становятся «шизофрениками» — просто потому, что психолог не понимает, отчего это перед ним человек заторможенный с уплощённой мимикой и т.п.
В идеальном мире нейро- / патопсихологическая диагностика должна выполняться «насухую», без препаратов[29, стр. 28] (или, по крайней мере, без нейролептиков), а в случаях, когда это невозможно, необходимо указывать препараты с дозировками, на которых происходило исследование, и привлекать психиатра (если психолог сам не разбирается в том, как эта фарма влияет на оцениваемые параметры), чтобы выявить эффекты принимаемых пациентом лекарств и отделить мух (влияние препаратов) от котлет (нарушений речи, мышления и т.п.).
Игнорирование параметров физиологического состояния пациента
Ладно, в фарме многие психологи не разбираются, или недостаточно учитывают ее влияние на данные эксперимента (хотя в программе обучения клинической психологии в медицинских универах соответствующий курс есть, да и тот же NEI вполне принимает психологов на обучение). Мне это непонятно, но, вроде как, формально они этого и не должны уметь (хотя принцип «не умеешь сам, обратись к тому, кто умеет» тут должен соблюдаться). Это я с большой натяжкой могу понять.
Но при тестировании также часто не учитываются другие параметры состояния исследуемого, которые могут повлиять на результаты диагностики: боль[8, пар. 16.281], усталость (не болезненная астения, а обычная человеческая усталость, когда, например, пациента отправляют на диагностику после выполнения работ по отделению)[8, пар. 16.264], психоэмоциональное состояние[8, пар. 16.257], стресс от самой процедуры тестирования[8, пар. 16.292].
Отсутствие системного подхода к диагностике
В прошлой статье я много красивых слов посвятила важности системного подхода в патопсихологической диагностике: нельзя на основании одного-двух признаков судить о пациенте в целом.
Что же мы видим на практике? Нередко в одном и том же заключении психолога можно увидеть, например, существенные нарушения мышления по шизофреническому типу и их отсутствие, сформированную мотивацию на прохождение исследования и её явную недостаточность и прочие противоречия.
Почему-то некоторые мои коллеги даже не пытаются сформировать некий единый взгляд, единую модель пациента, и если методики выдают противоречивые результаты, они не бегут разбираться и ретестировать, а просто тупо записывают эти разные результаты в разные части заключения. Дескать, я тут чего-то намерял, а вы — разбирайтесь сами, что это значит. Бесит.
Произвольность интерпретации результатов методик
Довольно низкие параметры валидности и надёжности многих используемых на практике методик (конкретные примеры разберём в следующем разделе, там же будут и пруфы) приводят к тому, что зачастую интерпретация результатов тестирования бывает крайне субъективной.
И относится это не только к проективным тестам[9, стр. 8], но и к, казалось бы, стандартизированным опросникам, таким, как СМИЛ. Даже если вы почитаете саму Собчик[10, стр. 5], вы увидите огромный баг этого теста:»количественные показатели методики не являются абсолютом: они должны рассматриваться в обобщённой совокупности данных об изучаемом человеке».
Фраза хорошая и правильная, но она демонстрирует, в частности, тот факт, что на практике даже один и тот же профиль СМИЛ (результат тестирования) может быть интерпретирован разными специалистами по-разному. Опять же, проблема бы частично решалась, если бы коллеги указывали в своих заключениях непосредственные результаты прохождения методики (для чего даже разработана специальная краткая форма их записи), но часто они эти результаты не указывают: только интерпретация.
И СМИЛ здесь — не самое страшное. Всякие «пиктограммы» и прочие «сравнения понятий» предоставляют гораздо бОльшую свободу интерпретации, не говоря уже о проективках. Это, конечно, тоже относится к вопросам валидности и надёжности, которые мы обсудим чуть позже, но здесь хотелось бы сказать коллегам: пожалуйста, указывайте не только свои выводы (которые, сюрприз-сюрприз, могут быть неверны), но и те данные, на основе которых вы их сделали. Несколько больше писанины, но итоговый результат того стоит.
Отсутствие стандартизации в используемых методиках тестирования
Мало того, что каждый психолог волен использовать свой набор тестовых методик (что, возможно, и не так плохо, т.к. даёт возможность специалисту подобрать оптимальные инструменты в каждом конкретном случае), иногда выбирая совершенно неподходящие инструменты, так ещё и единого наименования методик в индустрии просто не существует.
Возьмём, к примеру, методику «Пиктограмма» (модифицированный тест Лурии на опосредованное запоминание). Мне встречались, как минимум, четыре набора используемых понятий, и когда я вижу в чужом заключении данные, полученные с помощью этой методики, я понятия не имею, какой именно набор использовался.
В защиту коллег скажу, что при желании точно указать версию используемой методики психолог сталкивается с определёнными сложностями — просто в силу того, что стандартного референсного каталога методик просто не существует, и если специалист захочет точно указать её, ему придётся писать длинную ссылку на источник, из которого был взят конкретный набор, а то и с указанием страницы — как в академических статьях, блин. Это просто неудобно, длинно, да и врачи могут не понять.
Бесполезность патопсихологической диагностики
Все эти факторы, перечисленные в предыдущем разделе, а также множество других приводят к тому, что в ряде случаев нейро- / патопсихологическая диагностика становится совершенно бесполезной процедурой.
Не поймите меня неправильно, я люблю диагностику, в т.ч. патопсихологическую, и считаю, что она может быть очень полезна при правильном и уместном использовании (об этом тоже расскажу), но факт остаётся фактом — часто она ничего не даёт ни врачу, ни пациенту, ни психологу.
Собственно, это было той причиной, по которой я ушла из психиатрического стационара, и на тот момент я думала, что проблема только в организации процесса в нашей больнице, но оказалось, что в действительности всё не так, как на самом деле: область проблем гораздо шире и простирается далеко за пределы моего предыдущего места работы.
Диагностика под препаратами
Я уже говорила об этом, но здесь мне хочется немного раскрыть моё субъективное понимание проблемы. Дело в том, что в практической деятельности психолога полностью избежать необходимости проводить диагностику людей, принимающих психиатрические препараты, не получится: если пациент в остром состоянии, часто необходимо эту остроту снять, а уже потом разбираться с тем, откуда она взялась. Это нормально и оправдано, это даже хорошо, что тут не пытаются проводить сначала сложную и долгую диагностику.
Но есть одно «но»: после того, как человека завели на препараты (особенно на нейролептики, но не только), список вопросов, на которые может ответить психолог, проведя своё исследование, существенно сужается. Да, я могу посмотреть, насколько [не]устойчиво внимание у пациента сейчас, но я не могу сделать никаких внятных предположений относительно того, почему оно именно такое: потому, что это характеристика самого человека, или потому, что это влияние таблеток.
Точнее даже не так: предположения я сделать могу, но это будет уже моё субъективное мнение, методики, используемые в отечественной диагностике en masse, не предусматривают внятной процедуры дифференцирования влияния препаратов. И какой толк от валидности и надёжности методики, если в конечном итоге я по своему усмотрению решаю, какие данные учитывать, относя их к свойствам психики исследуемого, а какие отбросить, списав на действие таблеток.
И если в частной практике я могу отказаться от такой диагностики, объяснив её бесполезность клиенту, то в больнице психологу приходится проводить эти заведомо недостоверные диагностики конвейером.
Опять же, разумеется, опытный психолог не будет сильно ошибаться в этом вопросе и будет достаточно корректно учитывать влияние препаратов, но это будет субъективное мнение, к инструментальной диагностике, которой так хочется хвастаться, отношение это всё будет иметь весьма посредственное.
Формальность повторной диагностики
На то, чтобы провести корректное патопсихологическое исследование, у меня уходит от полутора до четырёх часов, а иногда и больше. Это вместе со сбором анамнеза, клинической беседой, собственно, патопсихологическим экспериментом и объяснением результата клиенту на понятном неспециалисту языке.
В стационаре на повторную диагностику (которая, по идее, проводится, чтобы определить динамику состояния пациента) в ряде случаев специалист затрачивает минут пятнадцать.
Не потому, что он намного опытнее меня, а потому, что к повторной диагностике некоторые психологи (да и психиатры этим грешат) относятся формально.»Шизофрения неизлечима, если есть F.2X, нет смысла его смотреть — просто рисуй ему шизофренический симптомокомплекс и всё! » — такова логика значимого количества повторных обследований.
Я уже не говорю о том, что зачастую проводятся эти повторные обследования не по показаниям, а по недоступным постижению соображениям руководства (всякие там чисто бюрократические требования к частоте психологического обследования).
Бесполезность для пациента
Поработав несколько лет в нормально организованном процессе, я могу с уверенностью сказать, что та диагностика, которую мы проводили в стационаре, была бесполезна для пациента.
Пациент ничего о себе не узнавал, никто не объяснял ему, какие результаты получены, их даже не озвучивали, поскольку это было бы вмешательством в лечение, и врачи такой шаг не оценили бы.
Говорить о том, что эта процедура повышает комплаенс, тоже неправильно. Это здесь, когда я объясняю клиенту, что я увидела, почему именно я считаю, что увидела именно то, что увидела, как это соотносится с тем, какой диагноз поставит, и какое лечение назначит психиатр, я вижу, что готовность клиента к сотрудничеству повышается.
А там, в больнице, многие пациенты относились к процедуре патопсихологической диагностики весьма прохладно: в лучшем случае скептически, в худшем — резко отрицательно. И я их понимаю.
Бесполезность для процесса лечения
Но, может быть, эта диагностика была полезна для врача (и для пациента — только косвенно)?
Отнюдь. Наши результаты никуда дальше не шли. Единственное, что от нас требовалось — это чтобы они совпадали с тем, что нужно психиатру. Одни врачи настаивали на том, чтобы мы подгоняли свои выводы под их видение, другие просто спрашивали у нас, какой диагноз ставить (да, отечественная психиатрия в… в общем, в плачевном состоянии).
Никто не сидел и не корректировал фармакологические схемы на основании наших результатов, никто не назначал и не отменял психотерапию, никто не менял режим сна и отдыха — в общем, в лечении пациента, когда заканчивался бюрократический этап обеспечения »одинаковости диагнозов», влияние результатов нашей работы было околонулевым.
Отсутствие системного образования в области психиатрии и психофармакологии для психологов
Да, можно отучиться в том же NEI или почитать Шталя с Капланом и Сэдок (рекомендую тем коллегам, кто ещё не), но это не заменяет качественного системного вузовского или послевузовского образования в этих областях. Да, есть некоторое количество курсов психиатрии для психологов, но то, что я видела — лютый ужас (кроме NEI, разумеется).
И я не понимаю, как человек, который не знает ни психиатрию, ни психофармакологию (психолог, пусть он хоть десять раз называется клиническим), может работать с психиатрическими пациентами. Да, у него всегда есть возможность научиться всему самостоятельно, перенять знания у психиатров и т.д., но многие ли этим заморачиваются?
К сожалению, нет.
Катастрофическое устаревание стимульного материала
Даже если не придираться к валидности и надёжности самих используемых методик (а мы обязательно придерёмся чуть позже), вопиющее устаревание стимульного материала заставляет меня делать фейспалм.
Возьмём, например, методику опосредованного запоминания по-Леонтьеву (не суть, что это такое): там есть карточки, на которых изображены различные предметы. Там есть чернильное перо[11, стр. 85], но нет смартфона. Это всё, что нужно знать о соответствии используемых методик современным реалиям.
Да, можно сказать:»не используй Рубинштейн, используй более современные методики». Но где они? Ах, в учебнике Лезак? Но они не прошли адаптацию и апробацию на русскоязычной аудитории (по крайней мере, не все).
Нет, всё действительно печально.
Методики
Ок, мы обсудили немного проблемы, которые есть в нейро- / патопсихологической диагностике в целом, давайте поговорим немного об используемых методиках. Для начала определим такие понятия, как валидность и надёжность.
Валидность — это характеристика, которая показывает, насколько полученные данные соответствуют тому, что мы хотим исследовать[12]. Иными словами, это такая штука, при наличии которой мы можем быть уверены в том, что мы измерили именно то, что хотели измерить.
Надёжность — это степень устойчивости методики к погрешностям измерения. Надёжность имеет отношение к повторяемости результата. Например, используя один и тот же инструмент измерения, мы можем, при условии его надёжности, рассчитывать на то, что его (измерения) результаты по одному и тому же объекту в одних и тех же условиях будут постоянны[12] (если, конечно, характеристики объекта не изменились).
Давайте пробежимся по основным классам используемых в патопсихологической диагностике методик и посмотрим, насколько они обладают этими качествами.
Проективные тесты
Начнём с проективных тестов как с наименее стандартизированных и структурированных. К проективным методикам относятся такие тесты как ТАТ, РАТ, «Несуществующее животное», «Дом, человек, дерево» и другие. Общим моментом является то, что испытуемый должен сам дополнять, интерпретировать или развивать стимул, предоставляемый экспериментатором[1, стр. 37].
В основе этих тестов лежит механизм, который Фрейд и Юнг называли «проекцией». Считается, что посредством задействования этого механизма можно «вытащить» содержание неосознаваемых исследуемым, вытесненных в бессознательное, установок, переживаний, негативных эмоций и т.д.[1, стр. 37].
Интересным является тот факт, что даже в самих источниках, посвящённых проективным тестам говорится об «относительно низкой надёжности получаемых результатов, связанной с субъективностью интерпретации», а также о том, что »трудно научными методами подтвердить надёжность и валидность рисуночных методик»[9, стр. 8]. От себя добавлю, что это относится не только к рисуночным тестам, это общая характеристика всего класса методик.
В мета-анализе, проведённом в далёком 2000 м году, было показано[13], что тест Роршаха, тематический апперцептивный тест и тест, известный в российской литературе как «Рисунок человека», не обладают достаточно высокой валидностью. Авторы рекомендуют воздержаться от использования этих методик в судебной и клинической практике или, по крайней мере, ограничиться тем небольшим числом интерпретаций, которые имеют хоть какое-то эмпирическое подтверждение.
В более свежем мета-анализе от 2013 года[14] также сообщается о недостаточной валидности теста Роршаха. Но это не мешает включать этот тест в список »основных проективных методик патопсихологической диагностики» некоторым отечественным авторам[1, стр. 38], лол.
Относительно «Рисунка несуществующего животного» есть даже отечественное исследование[15], в котором
было установлено, что ряд толкований рисунка «несуществующего животного», которые описываются в литературе, не подтвердились. В частности, наличие зубов, рогов и когтей не связано с интегральным показателем агрессивности, определяемому по тесту Басса-Дарки.
Справедливости ради, хочу отметить, что и в отечественных источниках встречается адекватная оценка валидности и надёжности проективных методик. Так, например, Лубовский отмечает[16]:
Несмотря на ряд исследований и методических разработок за последнее тридцатилетие, психологическая диагностика развития находится на низком уровне. Это проявляется в отсутствии организационных принципов и унифицированного подхода, а также в господстве интуитивно-эмпирического подхода к диагностическим процедурам и оценке их результатов… В качестве средств диагностики применяются лишь не очень качественно стандартизированные версии классических интеллектуальных тестов. Результаты оцениваются интуитивно-эмпирически, т.е. произвольно.
С тестом «Рисунок человека» всё не сильно лучше. В исследовании 2013 года было показано, что не стоит его использовать для оценки интеллектуального исследования детей[17]. Не оправдал он себя и как инструмент для определения наличия факта сексуального насилия в биографии ребёнка[18], да и как тест для определения уровня когнитивного развития, социальной адаптации, личностных характеристик ребёнка он не слишком хорош[19]. Не пригоден он и в качестве инструмента диагностики / скрининга поведенческих расстройств у детей[20].
Популярный в отечественной психологической тусовке тест Люшера тоже не имеет доказательств валидности, в исследовании от 1984[21] года не было найдено существенной корреляции между результатами этого теста и MMPI (стандартный объект для сравнения тестов, претендующих на выявление личностных особенностей), а его (теста Люшера) популярность в психологических кругах отлично объясняется эффектом Барнума.
Думаю, пруфов достаточно. Любому психологу очевидно, что у проективных тестов не может быть высокой надёжности — просто потому, что они допускают очень высокую вариативность оценки одних и тех же рисунков / рассказов испытуемых. Действительно, в ряде случаев результаты (в виде каких-то выводов и умозаключений, а не самих рисунков) гораздо больше говорят об интерпретирующем их специалисте больше, чем о самом исследуемом.
Опросники
Начнём с »золотого стандарта» личностной диагностики в РФ — стандартизированного многофакторного метода исследования личности (СМИЛа). Этот тест является адаптацией широко известного во всём мире теста MMPI (Minnesota Multiphasic Personality Inventory), созданного во время Второй мировой войны в целях профессионального отбора военных лётчиков[10, стр. 3].
О валидности и надёжности самого MMPI можно говорить много и долго, но фишка в том, что СМИЛ — это не MMPI, и переносить данные, полученные на одном тесте, на другой — некорректно. В методичке по СМИЛу говорится, что »статистическая обработка данных и сравнительный анализ результатов психодиагностического исследования с данными объективного наблюдения (подчас — многолетнего) подтвердили надёжность методики»[10, стр. 11]. Круто, чо.
Только, вот, в методичке[10] раздел с используемой литературой отсутствует как класс — библиография не указана, и где почитать про эти самые »подчас многолетние исследования» — непонятно.
В руководстве по СМИЛу хоть что-то похожее на описание стандартизации ограничивается вот таким пассажем[10, стр. 12]:
Перевод текста опросника проводился с помощью квалифицированных филологов, хорошо знающих тонкости словоупотреблений и построения фраз. Совершенствование перевода проводилось 9(!) раз после очередных апробаций теста на различных контингентах отечественной популяции. Частота нормативных ответов американцев сравнивалась с результатами ответов репрезентативной группы, состоявшей из 940 россиян.
Ссылки на соответствующую работу нет, имена »квалифицированных филологов» не указаны, описания »контингентов отечественной популяции» не приводится, результат сравнения ответов американцев и россиян — не приводится.
В другой своей книге Собчик очень самокритична[22, разд.»5.1. Индивидуально-типологический опросник (ИТО)»].:
Бывает так, что теории создаются на базе богатой фантазии и якобы находят свое подтверждение в описанных авторами нескольких наблюдениях. <...> Многие психологические тесты создаются без определенной теоретической базы.
Самое смешное заключается в том, что мне не удалось найти в Гуглошколяре по запросу »Собчик СМИЛ валидность надёжность» не только исследований самой Собчик, но и хоть каких-то упоминаний о том, что они вообще есть. И, сдаётся мне, дело тут не в проблемах поискового алгоритма Гугла.
Можно, конечно, сказать, что, дескать, MMPI валиден и надёжен, и, значит, основанный на нём СМИЛ — тоже, но нифига. Снова открываем Собчик[10, стр. 12], где читаем о том, что »некоторые утверждения были изменены <...> из опросника выделены 26 утверждений, которые оказались балластными». Нет, после таких издевательств никак нельзя экстраполировать данные по валидности и надёжности на СМИЛ.
Могу сказать, что найти свидетельства валидности и надёжности (за исключением утверждений самой Собчик безо всяких пруфов) не удалось не только мне, но и автору работы »Методики, которые убивают науку»[23, стр. 263]:
Приведенные выше данные свидетельствуют о недостаточно теоретическом подходе в разработке и адаптации методик Людмилы Николаевны Собчик. В настоящее время, диагностики непригодны для построения психологического прогноза и применения в практической психологии. Они нуждаются в доработке и прави
