Karaylar, ataları Avraam (İbrahim), Yitshak (İshak) ve Yakov (Yakup)'un direkt olarak nesillerinden gelirler.