《汉书·艺文志》里面有“《公孙尼子》二十八篇”，列在儒家，注云：“七十子之弟子。”又有“《公孙尼》一篇”，列在杂家。论道理应该是一个人。
《隋书·经籍志》里面有“《公孙尼子》一卷”，也列在儒家，注云：“尼似孔子弟子。”这“一卷”恐怕就是《汉书》列入杂家的那“一篇”。注语与班固不同，当是长孙无忌别有所据。
现在这两种书都遗失了，但要感谢《隋书·音乐志》，它引列了梁武帝的《思弘古乐诏》和沈约的《奏答》。在这《奏答》里面使我们知道“《乐记》取《公孙尼子》”，《公孙尼子》的一部分算在《礼记》中被保存着了。
《乐记》也整个被保存于《史记·乐书》里面，张守节《正义》亦云：“《乐记》者公孙尼子次撰也。”张说大体根据皇侃，皇侃与沈约为同时人，两个人的说法正可以为互证。
现在的《乐记》是《礼记》的第十九篇，据张守节《史记正义》引郑注云：“此于《别录》属《乐记》，盖十一篇合为一篇。十一篇者，有《乐本》，有《乐论》，有《乐施》，有《乐言》，有《乐礼》，有《乐情》，有《乐化》，有《乐象》，有《宾牟贾》，有《师乙》，有《魏文侯》。”这篇次是据刘向《别录》，但今本《乐记》的次第和这不同，《史记·乐书》的次第也有颠倒，张守节云：“以褚先生升降，故今乱也。”
《艺文志》云：“武帝时河间献王好儒，与毛生等共采《周官》及诸子言乐事者以作《乐记》。……其内史丞王定传之，以授常山王禹。禹，成帝时为谒者，数言其义，献二十四卷《记》。刘向校书，得《乐记》二十三篇，与禹不同。其道浸以益微。”刘向的《乐记》与王禹怎样“不同”，可惜没有详说，大约以一篇为一卷，只是少一卷的原故吧。《艺文志》乐类，两种都有著录，一作“《乐记》二十三篇”，一作“《王禹记》二十四篇”。
刘向的二十三篇的前十一篇即今存《乐记》的十一篇，其余十二篇仅存目录。孔颖达《礼记·乐记疏》云：“案《别录》十一篇余次，《奏乐》第十二（疑本作‘《泰乐》’，即《吕氏春秋》的‘《太乐》’），《乐器》第十三，《乐作》第十四，《意始》第十五（疑本作‘《音始》’，即《吕氏春秋》之‘《音初》’），《乐穆》第十六，《说律》第十七，《季札》第十八（案见《左传》襄二十九年），《乐道》第十九，《乐义》第二十，《昭本》第二十一，《招颂》第二十二，《窦公》第二十三（案即《周官·大司乐章》）