山西是中华民族的发祥地之一，历史悠久，人文荟萃，拥有丰厚的历史文化遗产。迄今为止有文字记载的历史达三千年之久，素有“中国古代文化博物馆”之美称。西侯度文化和丁村文化遗址表明,早在旧石器时代就已有了人类在这里繁衍生息。传说中的中华民族的始祖黄帝、炎帝都曾把山西作为活动的主要地区。中国史前三大伟人尧、舜、禹，都曾在山西境内建都立业。

山西古代又称并州古属冀州之域，虞舜以冀州南北太远，分置并州。应邵曰：“地在两谷之间，故曰并州。”夏仍为冀州地，周曰并州。《周礼·职方》：“正北曰并州，其山镇曰恒山，薮曰昭余祁，川曰滹沱、呕夷；浸曰涞、易。”据《舆地广记》载，周并州包括今山西全境和河北、内蒙部分地区。

古代时期

中国历史上第一个奴隶制国家政权夏朝也建立在山西南部。商代，山西是商的主要统治区。周代，晋国由山西境内崛兴，晋文公曾为春秋五霸之一。

山西在春秋时为晋国，故后世简称山西为晋。按，晋，西周侯国，姬姓。周成王封其弟叔虞于唐，传子燮父，因地邻晋水，改国名为晋。晋极盛时，疆域有今山西大部地区、河北西南部、河南北部和陕西的一角。春秋后期六卿逐渐强大，国力日渐削弱，至公元前376年为韩、赵、魏三家所瓜分。

战国时称瓜分晋国的韩、赵、魏为三晋。《商君书·徕民》：“秦之所与邻者，三晋也。”《战国策·赵策》：“三晋合而秦弱，三晋离而秦强。”后世以三晋之地大部在山西，故别称山西为三晋。

秦、汉、魏、晋时期，山西无论在政治、军事、经济、文化等各个方面，都起着举足轻重的作用。

秦置太原、上党、河东、雁门、代等郡。汉汉武帝元封中年置并州，统领太原、上党、雁门、定襄、西河、云中六郡；其时，河东郡属司隶，代郡属幽州。东汉时，并州始治晋阳，建安十八年(213)并州并入冀州。