中国最早且至今规格最大的曲阜孔庙修建于公元前478年,即孔子逝世的第二年。据《左传·哀公十六年》,在孔子逝世的第二年,鲁哀公将曲阜的孔子故居三间辟为收藏他生前的衣冠琴车书等的场所,并派兵卒守护,一年四节予以祭祀,建筑规模和内容都非常简朴。
到了汉高祖刘邦于公元前195年12月自淮南还途径鲁地时,亲自以太牢(猪牛羊三牲)之礼祭祀孔子,开创了帝王祭孔的先河。后汉武帝采纳“罢黜百家、独尊儒术”的文化政策,儒家学说成为显学,在中国古代社会开始居于正统地位,于是祭孔活动也倍受统治者的重视,成为国家不可缺少的常典,扩建孔庙之风随之兴起,经历了宋元明清四代的扩修,到了清代已发展到九进院落,占地327.5亩,殿宇466间。巍峨雄伟的大成殿与故宫的太和殿、岱庙的天贶殿并称东方三大殿。
北魏孝文帝太和十三年(公元489年),在当时的首都平城(今山西大同)建立了第一座位于京城的孔庙,然后各郡、县大力修庙祀孔。
唐朝贞观四年(公元630年),太宗下诏:“天下学皆各立周、孔庙。”自此孔庙遍及各地。
南宋高宗建炎二年(公元1128年),衍圣公孔端友奉孔子及夫人亓官氏画像南下,宋高宗赐其安居于浙江衢州,1253年建立孔氏家庙,即所谓“南宗孔庙”。
蒙古元朝在平定西南完成统一后,大尊儒术,要以文来治理国家,14世纪元世祖忽必烈下令袭历代旧典,命人在当时的都城北京修建宣圣庙。元成宗大德十年(公元1306年)在京师正式修建孔子庙。
明朝洪武二十六年(公元1393年),朝廷颁发“大成乐”专祀孔子。成化十三年(公元1477年),增祭孔乐舞为八佾,加笾、豆为十二,扩大规格祭祀
。