Pada prinsipnya ada empat marga di tanah Mandailing. Di antara keempat marga tersebut, marga Pulungan merupakan marga yang pertama mendiami tanah Mandailing, disusul Rangkuti, Lubis dan Nasution.Beberapa kelompok marga lain, yakni Batubara dan Rambe datang lebih belakangan.