Как справиться с отклонениями

Есть разные пути, помогающие справиться с отклонениями (ср. Poortinga & Van der Flier, 1988). Первый способ — пренебречь ими. На первый взгляд предложение не принимать отклонения во внимание может показаться парадоксальным, по­скольку игнорирование отклонений не может рассматриваться как вариант реше­ния вопроса. Причина того, что этот путь упоминается здесь, в его популярности. Многие кросс-культурные исследования, отчеты о которых опубликованы в лите­ратуре, не включают анализ отклонений и интерпретируют все наблюдаемые кросс-культурные различия в соответствии с их видимой значимостью. С методе —

Логической точки зрения, подход, которому свойственны такие «набеги», едва ли можно оправдать; именно он вполне может быть одним из факторов медленного теоретического прогресса в кросс-культурной психологии. Второе, отклонения могут рассматриваться как показатель того, что инструмент является неадекват­ным для кросс-культурного сравнения; если наблюдаются отклонения, исследова­тель может принять решение воздержаться от таких сравнений. Такой подход ра­зумен, однако ставит слишком много ограничений. Отклонения могут быть неиз­бежны, в особенности, когда речь идет о сравнении весьма непохожих культурных групп (например, различная тестовая осведомленность при сравнении учеников, представляющих различные системы образования). Третье, отклонения могут рас­сматриваться как источник важных сведений, дающих ключ к пониманию кросс-культурных различий. При таком подходе отклонения определяют культурную специфику, тогда как инструменты (или их части), которые не обнаруживают от­клонений, указывают на универсалии.

Сравнения вызывающих и не вызывающих отклонения составляющих инстру­мента дают богатый материал, касающийся кросс-культурных различий. Напри­мер, Танака-Мацуми и Марселла (Tanaka-Matsumi & Marsella, 1976) попросили японцев и американцев назвать слова, которые связаны с депрессией; вторая груп­па чаще называла слова, определяющие настроение, в то время как первая предпо­читала понятия соматического характера. Это говорит о том, что анализ отклоне­ний показал бы, вероятно, в данном случае наличие структурной эквивалентности для некоторых соматических симптомов и отсутствие структурной эквивалентно­сти для большинства прочих симптомов. Соматические реакции определяют об­щие аспекты, а настроение представляет собой культурную специфику данного явления.

Четвертое, можно попытаться снизить отклонения. Известным способом сни­жения отклонений, связанных с методом, является культурная децентрализация (Werner & Campbell, 1970) (табл. 5.2). Слова и понятия, которые специфичны для отдельного языка или культуры, опускаются (например, Cortese & Smyth, 1979). Этот подход работает наилучшим образом при проведении одновременно лингви­стической и культурной экспертизы всех культур, которые являются объектом исследования. Другой путь преодоления отклонений, связанных с конструктом, это конвергентный подход: инструменты исследования независимо разрабатывают­ся в рамках различных культур (на разных языках), затем все инструменты перево­дятся и предлагаются испытуемым, представляющим все эти культуры (Campbell, 1986).

Некоторые приемы снижения отклонений применимы при сочетании отклоне­ний, связанных с конструктом, с отклонениями, связанными с методом. Такие при­емы предполагают работу с нестандартными выборками или методами сбора дан­ных. Например, можно обратиться к информантам местного происхождения с просьбой оценить адекватность инструмента, провести на месте опросы обществен­ного мнения, использовать инструменты нестандартным путем, чтобы проверить, правильно ли понимаются задаваемые вопросы. Роль информантов местного про­исхождения хорошо проиллюстрирована в исследовании Брандта с соавторами (Brandt & Boucher, 1986), которые интересовались местом депрессии в эмоциональных лексиконах. Эти авторы не предъявляли список терминов, связанных с эмоциями, но собирали такие термины с помощью местных информантов (в Австра­лии, Индонезии, Японии, Корее, Малайзии, Пуэрто-Рико, Шри-Ланке и США). Четко выделенная совокупность терминов, связанных с депрессией, была обнаружена только в Японии, Индонезии, Шри-Ланке и США. Для других языков сло­ва, которые ассоциируются с депрессией, прежде всего связываются с совокупно­стями, обозначающими печаль.

То, что может быть полезна нестандартная процедура проведения теста, проил­люстрировано в исследовании Броера (Вгоег, 1996). Он хотел дать Венский тест матриц студентам первого курса в Чили и в Австрии. В процессе предварительно­го исследования было обнаружено, что чилийцам требуется больше времени для ответа на вопросы. В руководстве указывалось общая продолжительность прове­дения теста, составляющая 25 минут, время, достаточное для большинства испы­туемых из Австрии (где был разработан данный тест), чтобы выполнить задание. При кросс-культурном исследовании эти ограничения были сняты, чтобы у всех испытуемых было достаточно времени на выполнение теста. Выяснилось, что за 25 минут выполнили тест более 90 % австрийцев и лишь 55 % чилийцев. Средние тестовые оценки, полученные при неограниченном времени на выполнение теста, отличались не существенно. Интересно, что оценки были зарегистрированы и по истечении 25 минут, и на этот момент времени различия между представителями двух стран были весьма существенными. Данные по кросс-культурным различи­ям, полученные в соответствии со стандартными инструкциями, могли показать существенное расхождения, тем самым заставляя сделать неправильный вывод о разном уровне навыков индуктивного мышления в группах.

Иногда при проведении исследований есть возможность включить в них билин­гвов. Например, Хокевар, Эль-Захар и Комбос (Hocevar, El-Zahhar & Combos, 1989) дали билингвам англо-венгерского происхождения опросники тревожности и возбудимости на обоих языках. Работа с билингвами сама по себе весьма заман­чива, хотя, надо признать, имеет свои недостатки. Билингвы, как правило, не явля­ются типичными представителями населения, поскольку часто они более образо­ванны и находятся в более широком контакте с другими языками и культурами.

Более основательная подготовка экспериментаторов и стандартизация проце­дуры тестирования, которая должна быть детально изложена в руководстве по проведению теста, является важным средством, позволяющем уменьшить откло­нения, связанные с методом. Если культуры близки друг другу, такой стандар­тизации достаточно, чтобы предотвратить появление нежелательных различий в оценках.

Таблица 5.2

Стратегии выявления и преодоления отклонений при кросс-культурной оценке

Источник: Van de Vijver & Tanzer, 1997.

Если культурная дистанция между группами велика, основательной подготов­ки и подробного руководства, возможно, будет недостаточно, и потребуются допол­нительные меры. Примером таких мер могут стать использование побочной инфор­мации, связанной с тестированием (например, поведение при получении задания или время, требуемое на выполнение задания в тесте максимальных возможно­стей), оценка связанных с результатом характеристик, по которым отличаются культуры. Например, уместна оценка образовательного уровня при проверке ум­ственных способностей или использование опросников, определяющих желатель­ность в социальном плане, при исследованиях личности или установок. Пуртинга и ван де Вивьер (Poortinga & van de Vijver, 1987) для характеристик людей, выбо­рок и процедуры проведения теста, которые предположительно влияют на результат исследований, вводят термин переменные контекста. Включая перемен­ные контекста в исследование, становится возможным статистически проверить их влияние в процессе ковариационного анализа или иерархического регрессивного анализа, даже если культурная дистанция между группами столь велика, что дан­ные переменные нельзя сопоставить между собой или же такое сопоставление дает выборки, нетипичные для населения, которое они представляют.

В качестве примера Пуртинга (Poortinga & van de Vijver, 1987) исследовал вы­работку навыков ориентирования у представителей неграмотных индейских пле­мен и у голландских новобранцев. Амплитуда реакции электропроводимости кожи, зависимая переменная, была значительно выше в группе индейцев. Он выдвинул предположение, что причиной этих различий между группами могут быть разли­чия в возбуждении. Возбуждение измерялось как самопроизвольные флуктуации реакции электропроводимости кожи в контрольных условиях. Кросс-культурные различия в выработке навыков ориентирования исчезли после статистической проверки этих флуктуации методом иерархического регрессионного анализа.

Свидетельства наличия отклонений, связанных с методом, можно собрать так­же в процессе применения тест-ретестовых, учебных и/или промежуточных иссле­дований. Так Нкая, Нюто и Боннэ (Nkaya, Huteau & Bonnet, 1994) использовали Стандартные матрицы Равена, работая с учениками шестых классов во Франции и Конго. В условиях неограниченного времени оценки улучшались в обеих груп­пах сходным образом, но при временных ограничениях конголезские ученики меж­ду второй и третьей сессиями делали большие успехи по сравнению с учениками-французами. Группа ученых показала (Ombredane, Robaye & Plumail, 1956), что в некоторых группах повторное проведение теста также может оказывать влияние на взаимосвязь с внешними параметрами. Было обнаружено, что прогностичес­кая валидность оценок в соответствии с тестом Равена повышается после повтор­ного проведения в группе неграмотных конголезских рабочих. Судя по всему, на результаты обоих исследований оказывает влияние процесс научения, поскольку по ходу тестирования улучшается понимание испытуемыми поставленной задачи и растет их осведомленность о самом тесте и процедуре его проведения. С учетом этих доводов валидность результатов при первом проведении теста ставится под сомнение в связи с наличием источников отклонений, связанных с методом.

Последней группой подходов, позволяющих справиться с отклонениями, явля­ются подходы, которые имеют дело с отклонениями на уровне тестовых заданий. Отклонения, связанные с тестовыми заданиями, обычно определяются одним из двух методов: оценочным (лингвистическим и/или психологическим) и психомет­рическим. Пример лингвистического метода можно найти в работе Гриль и Бар-тель (Grill & Bartel, 1977). Они проанализировали Grammatic Closure Субтест, вхо­дящий в Тест психолингвистических способностей штата Иллинойс, на предмет наличия отклонений в отношении носителей английского языка, не соответству­ющего установленным нормам. Ответы, содержащие ошибки, сделанные белыми и чернокожими американскими детьми, показали, что более половины ошибок были сделаны за счет ответов, приемлемых для языка, в котором не соблюдаются установленные нормы. За последние десятилетия были разработаны десятки статистических приемов, позволяющих выявить отклонения, связанные с тестовыми заданиями, определить такие отклонения позволяет и модификация существую­щих методов; примерами тому могут служить метод Мантеля-Хенцела (Holland & Wainer, 1993), логистическая регрессия (Pogers & Swaminathan, 1993) и теория реакции на тестовое задание (Hambleton & Swaminathan, 1985).

Эмпирические исследования психометрических методов весьма многочислен­ны. Валенсиа, Рэнкин и Ливингстон (Valencia, Rankin & Livingston, 1995) иссле­довали отклонения, связанные с заданиями Шкалы умственных способностей Оценочной батареи Кауфмана для детей, на базе выборок американских учеников мексиканского и европейского происхождения. Используя коэффициент частной корреляции (для поправки на возраст, пол и способности), авторы обнаружили, что из 120 заданий первой шкалы 17, а из 92 заданий последней шкалы 58 ведут к от­клонениям. Понятно, что вряд ли оставшиеся 34 задания представляют собой адек­ватный инструмент, при помощи которого можно оценить данный конструкт во всей его полноте. Эллис, Беккер и Киммел (Ellis, Becker & Kimmel, 1993) исследо­вали эквивалентность англоязычной версии Трирского личностного опросника и оригинальной версии на немецком языке. Из 120 заданий 11 были причиной от­клонений. Повторное исследование на базе новой выборки из США показало, что 6 заданий из выявленных 11 вновь вызывали отклонения. Это количество гораздо выше того, которое предполагается большинством исследований отклонений, свя­занных с тестовыми заданиями.

С моей точки зрения, на основании многочисленных исследований отклонений, связанных с тестовыми заданиями, можно сделать некоторые предварительные выводы. Выявление в процессе кросс-культурного исследования источников от­клонений на уровне тестовых заданий, вне всяких сомнений, весьма важно как с теоретической, так и с практической точки зрения, однако решение этой пробле­мы сопряжено со значительными трудностями. Первое, часто бывает трудно по­нять, почему тестовое задание вызывает отклонения. Второе, применение различ­ных методов по выявлению отклонений часто приводит к разным результатам. Конвергенция статистических данных по отклонениям изучалась с нескольких точек зрения. Иногда исследователи обращались к конвергенции данных, получен­ных при помощи различных статистических методик. Неоднократно отмечалась низкая или умеренная корреляция различных методов, в особенности в более ран­них исследованиях (например, Devine & Raju, 1982; Ironson & Subkoviak, 1979; Rudner, Getson & Knight, 1980; Shepard, Camilli & Averill, 1981). Более современ­ные исследования говорят о повышении уровня согласованности данных, возмож­но, в связи с тем, что становится понятны наиболее подходящие методы статисти­ческого анализа (например, Huang, Church & Katigbak, 1997; Raju, Drasgow & Slinde, 1993; Rogers & Swaminathan, 1993). К тому же стабильность статистических Данных по отклонениям, связанным с тестовыми заданиями, невысока, что пока­зывают тест-ретестовые и сравнительные исследования (например, Skaggs & Lissitz, 1992). Наконец, обнаружен низкий уровень соответствия результатов, полученных оценочными и статистическими методами (Engelhard, Hansche & Rutledge, 1990; Van Leest 1997a, 1997b). Таким образом, едва ли мы способны определить заранее, какого рода тестовые задания приведут к появлению отклонений или, как это выразил Л. Бонд (Bond, 1993): «Теории о том, почему тестовые задания по-разному воспринимаются разными группами, можно назвать не иначе как примитивными» (р. 278). Неудивительно, что исследования отклонений, свя­занных с тестовыми заданиями, не выработали определенных принципов прове­дения кросс-культурного исследования.

Сосредоточение на тестовых заданиях как на единственном источнике откло­нений привело к удивительной и прискорбной ограниченности современных пред­ставлений об отклонениях и методах обращения с ними. Эмпирические иссле­дования отклонений в основном сосредоточены исключительно на отклонениях, связанных с тестовыми заданиями, косвенно исходя из некорректного предполо­жения, что если устранить отклонения данного типа, то с отклонениями будет по­кончено (например, Thissen, Steinberg & Gerrard, 1986). Такой ход рассуждений базируется на упрощенном представлении об источниках отклонений в кросс-культурном исследовании и не воздает должное отклонениям, связанным с кон­структом и методом исследования. При этом именно отклонения, связанные с ме­тодом, оказывают разностороннее влияние на отдельные тестовые задания инст­румента. Различный уровень знакомства со стимулами часто влияет на все задания, которые содержит тест, задавая разные точки отсчета при оценивании разных групп. Эквивалентность единиц измерения является в таком случае максимально достижимым уровнем эквивалентности. Кроме того, если мы обращаемся только к отклонениям на уровне тестового задания, то будет невозможно обнаружить, что при оценке сыновней благодарности, проводимой среди испытуемых в США и в Китае, проявляются отклонения, связанные с конструктом. Игнорируя источники отклонений на уровне инструмента, выборки, процедуры тестирования и лежащего в основе конструкта, трудно или даже невозможно выявить, среди прочего, куль­турные различия при определении понятий на житейском уровне, различия, свя­занные с желательностью в социальном плане, различия в условиях процедуры тестирования и несравнимость выборок. Таким образом, сосредоточение на откло­нениях, связанных с тестовыми заданиями, становится помехой на пути преодоле­ния отклонений, вызываемых применением многих западных теорий и инструмен­тов, поскольку при таком сосредоточении упускаются из виду все остальные источники отклонений.