При оценке кросс-культурных исследований необходимо иметь в виду ряд общих положений:
1. Прежде чем установить различие между культурами, необходимо выявлять их сходство по многим параметрам. Короче говоря, различия должны Включаться (Накладываться) на основу сходства и подобия. Сходство по большему числу культурных параметров гарантирует исключение из исследования многих конкурирующих гипотез (например, фактора типичной конфигурации реагирования).
2. Исследователи должны создавать методы, пункты тестов, опросников и других процедур измерения, которые позволяют сравнивать результаты исследований во всех культурах (Marin, Marin, 1991). Если мы разрабатываем конкретный метод для проведения исследования, скажем, в Японии, и полагаемся на случай, что он будет работать и в США, то это плохая исследовательская стратегия. Например, для измерения коллективизма в Японии Ямагучи (Yamaguchi, в печати) использовал десять вопросов, формулировка которых опиралась на выражение «моя группа», и получил уровень надежности (внутреннюю согласованность) результатов 0,85 (это очень хорошо). Я использовал эти же пункты вопросника в Иллинойсе и получил уровень надежности результатов 0,50 (это недостаточно хорошо). Когда я изменил формулировку вопросов с выражения «моя группа» на «мои родители», я получил уровень надежности результатов 0,70 (не плохо). Из этого примера можно видеть, что для выборки из Иллинойса выражение «моя группа» было слишком неопределенным, а в Японии имело более определенный смысл.
Для разработки процедур измерения следует использовать фокус-группы и своих коллег из представителей местной культуры. Если, например, пункты теста создаются представителями только одной культуры, то они, скорее всего, будут предпочтительнее для этой культуры, ставя другие культуры в неравное положение. В идеальном варианте исследователи должны разрабатывать пункты вопросников, ориентируясь в равной мере и на мужчин, и на женщин (Harding, 1987; Nielsen, 1990; Reinharz, 1992), а также на представителей всех значимых групп, которые делают культуру гетерогенной (например, социальные группы, группы по религиозной принадлежности, языку, возрасту, семейным структурам и т. п.).
В дополнение к сказанному, исследователь должен уравновешивать представление стимулов. Это означает, что половине респондентов выборки из представителей культуры А в первую очередь должны предъявляться стимулы, разработанные в культуре А, а другой — стимулы, разработанные в культуре В. Короче говоря, представление стимулов должно соответствовать двум формам: АВ и ВА. Такой порядок предъявления необходим потому что, если пункты инструментария из «другой» культуры более трудны или «необычны» для респондентов, это будет влиять на способ реагирования.
3.Кльтурное различие должно быть подтверждено более чем одним методом (Fiske, 1986; Fiske, Shweder, 1986). Особенно важно Диверсифицировать (разнообразить) методы и использовать ряд «оперантных» (представление респондентам минимума стимулов, c которыми они работают и дают много реакций, как в проективных тестах или в методе неоконченных предложений) и «респондентских» (McClelland, 1980) методов (представление испытуемым сложных стимулов, на которые дается простой ответ, например, согласен или не согласен).
Указанные критерии можно использовать для оценки качества кросс-культурных исследований. Те работы, в которых использованы все три критерия, скорее всего, будут более надежными, чем те, в которых эти стратегии не используются.