孔氏家庙不同于孔庙、文庙。孔庙、文庙为官方所立之庙，乃朝廷官府、学子及百姓祭祀孔子之处；孔氏家庙则是孔子嫡长孙率族人祭祀孔子及历代先祖之处。

       建炎二年（1128），孔子第四十八世嫡长孙、衍圣公孔端友率领孔氏精英扈跸宋高宗南渡。建炎三年（1129）初，宋高宗赵构以孔端友扈跸有功，赐居衢州。

       绍兴六年（1136），宋高宗诏命权以府学为孔氏家庙。此乃衢州第一座家庙。

       宝祐元年（1253）应孔子第五十三世孙、第六代衍圣公孔洙之请，宋理宗拨银三十六万缗、诏建孔氏家庙于郡东北菱湖芙蓉堤。这是衢州第二座家庙。元至元十三年（1276），该庙毁于兵燹。

       此后，孔洙以一族之力，在城南鼎建家庙。即为衢州第三座家庙。

       明正德十四年（1520），应孔子第六十世嫡长孙、世袭翰林院五经博士孔承美之请，朝廷恩准，择地菱湖县学旧址，新建衢州孔氏家庙，并在其西侧兴建孔府。这就是衢州第四座家庙，也就是现在的衢州孔氏南宗家庙。

       衢州孔氏南宗家庙有中、西、东三条轴线：中轴线有大成殿，祭祀孔子。西轴线有六代公爵祠、袭封祠、五支祠，以祭祀孔氏历代先祖；思鲁阁供奉孔子夫妇楷木像、先圣遗像。东轴线有五王祠、恩官祠，祭祀孔子之五世祖及有功于衢州孔氏的历代官员。

       家庙西侧是嫡长孙居住的孔府及后花园。