神乐署，在圜丘坛西天门外西北、凝禧殿西侧，始建于明朝永乐十八年（1420年）。神乐署原是供奉道教玄武大帝的地方，是管理祭天时演奏古乐的机关。 明代叫神乐观，当时神乐观的乐舞官、舞生都由道士担任。明朝永乐十八年迁都北京时，有300名乐舞生随驾进北京，以后明代神乐观常保持有乐舞生600名左右。到嘉靖时乐舞生总人数达2200名。清乾隆年间，道士们被驱逐出去，神乐观改为神乐所，乾隆十九年定名为神乐署。现神乐署被开辟为中国古代音乐人物纪念厅，以弘扬祖先在音乐史上的光辉业绩。