Очевидно, отклонения, связанные с выборкой, представляют тем большую опасность для кросс-культурных сравнений, чем больше отличаются исследуемые культуры; значительная культурная дистанция часто увеличивает количество альтернативных объяснений кросс-культурных различий, которые приходится принимать во внимание. Как правило, конкурирующими являются два типа объяснений: кросс-культурные различия связываются с социальной желательностью или знакомством со стимулами (Testwiseness — Тестовая осведомленность). Основная проблема, касающаяся как желательности в социальном плане, так и тестовой осведомленности, это их взаимосвязь с благосостоянием страны, которое в рабочем порядке часто определяется через валовой национальный продукт (на душу населения). Ван Хемерт, ван де Вивьер, Пуртинга и Георгас (Van Hemert, van de Vijver, Poortinga & Georgas, В печати) Исследовали взаимосвязь оценок по Шкале лжи (шкала желательности в социальном плане, которая является составной частью Личностного опросника Айзенка) и валового национального продукта. Они обнаружили высокий уровень негативной корреляции -0,70. В странах с более высоким уровнем благосостояния оценки желательности в социальном плане были, как правило, более низкими. Подобным образом, Уильяме, Саттеруайт и Сейз (Williams, Satterwhite& Saiz, 1998) обратились к студентам из 10 стран (Чили, Китай, Корея, Нигерия, Норвегия, Пакистан, Португалия, Сингапур, Турция и США) с просьбой расположить 300 терминов, описывающих человека, в порядке привлекательности связанных с ними понятий. Привлекательность, очевидно, тесно связана с желательностью в социальном плане. Среднее значение по стране по 300 пунктам (которое предположительно отражает желательность в социальном плане, поскольку предложенные прилагательные представляли собой обширную выборку как привлекательных, так и не вызывающих одобрение качеств) находилось в соотношении -0,66 с уровнем благосостояния.
Процедура отбора испытуемых является еще одним потенциальным источником отклонений, связанных с выборкой, при проведении когнитивных тестов. Так, мотивация при демонстрации установок или способностей может зависеть от общего количества психологических тестов, которые прошел испытуемый, от добровольности участия в тестировании и других моментов, влияющих на результаты.
Отклонения при проведении тестирования могут быть вызваны различиями физического, технического или социального характера, касающимися внешних условий проведения теста. Например, когда интервью проводится в доме респондента, физические условия (например, шум, присутствие посторонних) затрудняют проведение кросс-культурного исследования. Примерами внешних условий социального характера служат индивидуальное (или групповое) тестирование, пространство между тестируемыми (при групповом тестировании) или размер класса (при тестировании в условиях учебного заведения). К прочим источникам отклонений, связанным с проведением тестирования, относятся нечеткость инструкций при проведении теста и неопределенность установок проводящих тестирование или различия в восприятии данных инструкций. Степень влияния экспериментатора или интервьюера на результаты оценок изучалась эмпирическим путем; к сожалению, отдельные исследования характеризовались неадекватным планированием, при котором не изучались все возможные комбинации культур испытуемых и экспериментаторов. При когнитивном тестировании присутствие экспериментатора обычно не создает больших помех (Jensen, 1980). При опросах общественного мнения имеется большее количество доказательств влияния, которое оказывает интервьюер (Singer & Presser, 1989). Зафиксировано проявление уважительного отношения к интервьюеру; испытуемые склонялись к выражению более позитивного отношения к представителям определенной культурной группы, если интервью проводилось тем, кто к ней принадлежит (например, Aquilino, 1994; Cotter, Cohen & Coulter, 1982; Reese, Danielson, Shoemaker, Chang, Hsu, 1986).
Последним источником отклонений, связанным с проведением тестирования, являются проблемы коммуникационного характера, возникающие между респондентом и лицом, осуществляющим тестирование/интервьюером. Например, на конечный результат может повлиять вмешательство переводчика. Проблемы коммуникации не сводятся к работе с переводчиками. Языковые проблемы могут быть источником значительных отклонений, когда, что нередко при проведении кросс-культурных исследований, тестирование или интервью проводятся на втором или третьем языке для интервьюера или респондента. Случаи непонимания носителями языка тех, для кого он иностранный, можно найти в работе Гасса и Варониса (Gass & VaronisT1991).
Отклонения, связанные с инструментарием исследования, распространены при проведении когнитивных тестов. Интересным примером является применение Писвангером (Piswanger, 1975) Венского теста матриц (Formann & Piswanger, 1979), рисуночного теста индуктивного мышления по Равену, в старших классах школ Австрии, Нигерии (арабской образовательной ориентации) и Того. Наиболее замечательным открытием были кросс-культурные различия, которые проявились в трудности выполнения тестовых заданий, предполагавших выявление и применение закономерностей перемещения по горизонтали (то есть слева направо). Объяснялось это различным направлением письма латиницей (слева направо) и арабским шрифтом (справа налево).