赵郡李氏作为关东名族，据称乃是战国时期武安君李牧的后人，可谓传承悠久。
哪怕真正有据可考的先人，也可追溯到西晋时期的李楷，据传李楷乃是西汉广武君李左车的十七世孙，虽然在此以前的先人世系略不可考，但自从李楷带领族人们定居赵郡平棘县之后，李氏族人们便在这一片土地上开枝散叶、茁壮发展。
赵郡李氏东祖、西祖、南祖定著三房，俱是李楷子孙，以各自宅居方位而定其房系，各自在乡里繁衍生息，乡势愈壮。西晋末年永嘉之乱，而后五胡乱华，河北大地可谓是民不聊生，赵郡李氏却由于据地自守而发展的更加壮大，并且其族人在北魏时期频为显宦而获得了更大的影响力。
像是北魏太和年间首倡施行均田制的李安世，便出身赵郡李氏东祖房。因为赵郡李氏族人们在北魏政局中越来越大的影响力，当太和改制的时候，赵郡李氏也正式成为北魏朝廷所钦定的崔卢李郑汉人高门四姓之一。
赵郡李氏在政治上地位和影响越发显赫之余，在地方乡势上的发展也并没有落后太多。自西晋时期，其宗族越发壮大，以最初的族地平棘县为中心向四方进行迁移，逐渐的扩张到赵郡、南赵郡等诸县之间。
后世所谓土豪之家，了不起族属数千、拥地万亩，但赵郡李氏的乡资势力那是真的跨郡覆县，族居区域动辄百里一计，房支族户数千逾万。
后世言及中古南北朝时期北方世族豪强等地方势力的发展，往往会引用《北史》记载的一个例子“集诸李数千家于殷州西山，开李鱼川方五六十里居之，显甫为其宗主”。
这一段文字讲的便是赵郡李氏发展壮大的一个例子，当中所言李显甫便是出身赵郡李氏东祖房。
李显甫开李鱼川并聚族人数千家居此，时间大约还在北魏太和年间，并非六镇兵变的大乱之年，未必是为了躲避战祸而筑造坞壁以自保，更像是一个区域的族势发展已经饱和，所以向别处分流，继续扩大其宗族势力。
仅仅李显甫便可以动员数千家族人开辟新族地，动辄便是方圆几十里，对乡土人事的动员力之大已经不逊于州郡官府，足见赵郡李氏乡势之雄大。
李显甫的儿子李元忠则犹有胜之，不只在乡里是雄踞一方的豪强，威名赫赫震慑乡里群盗，更曾一度深刻影响天下大势的走向。
当年高欢将入河北，李元忠亲望迎接并为之出谋划策，且还聚集乡兵攻战殷州，为高欢打通进入河北的道路，以至于高欢成事之后还笑言是李元忠逼其建