Правила, регулирующие браки вне определенных групп (например, семей или кланов), являются правилами экзогамии. Наряду с ними существуют правила эндогамии, предписывающие заключение брака Внутри определенных групп. Эндогамия была характерна для кастовой системы, сложившейся в Индии. Самым известным правилом эндогамии является запрет кровосмешения (инцеста), исключающий брак или половые связи между лицами, которые считаются близкими кровными родственниками. Почти во всех обществах это правило касается отношений между ребенком и родителем, а также родными братом и сестрой. Во многих обществах оно относится даже к двоюродным братьям и сестрам и другим близким родственникам. Запрет кровосмешения не является всеобщим несмотря на широкую распространенность. Браки между братьями и сестрами поощрялись в семье фараонов в Древнем Египте.
Почему запрет кровосмешения так широко распространен? Этот вопрос является предметом горячих споров. Некоторые исследователи высказали предположение, что людям свойственно отвращение к кровосмешению. Другие считают, что издавна люди осознавали опасность генетических последствий инцеста. Третьи подчеркивали, что правила, запрещающие половые сношения между членами семьи, не являющимися супругами, уменьшали вероятность ревности и конфликтов. Однако этот довод теряет убедительность, если учесть, что многие люди способны без всякой ревности делить сексуального партнера с кем-нибудь еще. И полигиния, которая часто порождает соперничество между женами, сохраняется несмотря на конфликты. Кроме того, подчеркивалось, что запрет кровосмешения вынуждал искать спутника жизни вне групп, к которым люди принадлежали. Однако ни одна из этих точек зрения не имеет преимуществ по сравнению с другими, и обсуждение этих вопросов наверняка будет продолжено (Стефенс, 1967).
В западных странах эндогамия в ограниченной мере существует внутри расовых групп (например, американских негров), религиозных групп (например, иудаисты) и социальных классов (людей, имеющих аристократическое происхождение, в Англии). В некоторых допромышленных обществах запрещаются браки с членами другого племени. Племенная эндогамия создает стабильность внутри племени, поскольку оно не теряет своих членов и не пополняется чуждыми людьми. Но в то же время это может способствовать подозрительности и неприязни к «чужакам», чьи обычаи и привычки незнакомы. В некоторых обществах правила эндогамии и экзогамии, наверное, в значительной мере ограничивают возможности молодых людей. Как уже упоминалось, у жителей Тробриандских островов мужчина должен жениться на дочери сестры своего отца. Это значит, что потенциальная возможность его выбора ограничена лишь одной или двумя женщинами. Такая система в огромной мере ограничивает число потенциальных партнеров и для мужчин и для женщин.