В идеальном варианте гипотезы необходимо проверять наибольшим количеством методов из всех доступных. Некоторые из них являются «оперантными» в том смысле, что исследователь предъявляет минимум стимулов, а испытуемый дает на них много ответов-реакций (Работают Со стимулами, определяя, подходят ли они для респондентов). Например, метод незаконченных предложений или проективные техники, этнографические наблюдения и использование архивных этнографических материалов, наблюдения (подробнее см. Bochner, 1980) и контент-анализ являются «оперантными » техниками. В большинстве случаев исследователь почти ничего не делает, чтобы стимулировать получение данных. В некоторых случаях дается минимальная стимуляция (таких как, «Пожалуйста, напишите двадцать предложений, отвечающих на вопрос «Кто я»).
Наоборот, эксперименты, опросы и интервью являются «респондентскими» методами; респондент Реагирует на стимулы, предъявляемые исследователем. Респондентские методы более навязчивы, поэтому существует большая вероятность искажения данных, обусловленная реактивностью испытуемых. Респонденты с большей вероятностью будут искажать свои ответы, поскольку хотят выглядеть социально одобряемыми перед исследователем, своим окружением, представителями власти или с точки зрения собственного культурного идеала.
Короче говоря, респондентские методы с большей вероятностью будут давать данные о культурных различиях, обусловленные собственно самим Методом. Однако при использовании респондентских методов легче контролировать артефакты, поскольку исследования можно повторить, варьируя множество условий.
В целом «оперантные» методы менее надежны. Из многочислнных наблюдений или получаемых реакций не ясно, какие из них наиболее важные. Оперантные методы имеют также достаточно высокий «уровень брака» (соотношение нерелевантной информации к общему объему получаемой информации достаточно высокое). Более того, сам исследователь может иметь пристрастия (предубеждения, склонности) и будет видеть или слышать только то, что согласуется с его представлениями.
Оба типа методов приемлемы на разных этапах проведения исследования. На начальных стадиях, когда мы об изучаемой культуре знаем немного (у нас нет хороших гипотез, мы имеем дело с респондентами, не знакомыми с методологией исследований, принятой в социальных науках и т. п.), лучше всего использовать оперантные методы. Эти методы особенно полезны при исследовании комплексных (сложных) взаимоотношений. При проведении дополнительных наблюдений, эту комплексность нужно иметь в виду. Поскольку эти методы недостаточно надежны (трудно проверить их надежность и валидность), не следует делать окончательных выводов, опираясь только на эти данные. Лучший путь при этом — переформулирование существующих гипотез, формулировка новых и сохранение позиции непредвзятости по отношению к изучаемой культуре при использовании гипотез.
На более поздней стадии исследовательского процесса, когда о культуре становится известно больше, а выдвинутые гипотезы получают определенное подтверждение, становится возможным разрабатывать и планировать проведение экспериментов, опросов и интервью, которые приемлемы для изучения проблемы. Полезно также чтобы испытуемые были ознакомлены с методами исследования, поскольку в этом случае они с большей вероятностью будут иметь одинаковое с исследователем понимание тестируемой ситуации. Другими словами, не один из методов не является совершенным; каждый из них имеет свои преимущества и недостатки. Искушенный потребитель кросс-культурных исследований будет больше доверять тем результатам, которые подтверждены более чем одним методом, особенно если методы сильно отличаются друг от друга.
Отдельная проверка гипотез внутри изучаемой культуры и между культурами более чем одним методом, повышает достоверность результатов. Однако ошибочно полагать, что проверка на межкультурном уровне Обязательно Дает те же результаты, что и проверка на внутри культурном уровне. Например, рассмотрим переменную «степень индустриализации» и определим корреляцию с переменной «вероятность голосования рабочего за коммунистическую партию». Вероятность голосования за коммунистов и в Индии, и в США выше в индустриальных избирательных округах, чем в аграрных, т. е. внутри стран существует Положительная взаимосвязь между изучаемыми переменными. Однако когда сравниваются две культуры, между этим переменными обнаруживается Отрицательную взаимосвязь. В Соединенных Штатах выше уровень индустриализации, но меньше вероятность того, что кто-то из избирателей будет голосовать за коммунистическую партию. В Индии уровень индустриализации ниже, но относительно высокая вероятность того, что рабочий будет голосовать за коммунистов. Короче говоря, существует обратная связь взаимоотношений между двумя переменными, когда мы изучаем этот феномен на межкультурном уровне, по сравнению с его изучением внутри культур.
Это означает, что когда мы проводим анализ на внутри — и межкультурном уровнях, не нужно удивляться тому, что результаты оказываются различными (несовпадающими, несогласованными). Естественно, согласованность повышает нашу уверенность, что изучаемая взаимосвязь сильная. Есть примеры тому (например, Rohner, 1986; Schwartz — в печати), когда гипотезы проверялись на обоих уровнях и получали согласованное подтверждение.