孔子定六经，其中《乐经》经秦焚书而亡，《乐经》中是否有乐谱就不得而知了。
中乐理论的第一块里程碑是“宫、商、角、徵、羽”五声的确立。最早见于《管子·地员篇》，至少已有2000多年的历史。第二块里程碑是制定十二律吕：即“黄钟、大吕、太簇、夹钟、姑洗、仲吕、蕤宾、林钟、夷则、南吕、无射、应钟。”在公元前6世纪，周景王（公元前544—公元前520年在位）已向他的乐官问及什么是十二律，什么是七音。现存的律音谱以宋朱熹《仪礼经传通解》中“风雅十二诗谱”为最古。该谱的形式是在诗歌的旁边配上各律吕名称。如：
关关雎鸠在河之洲
黄清南吕林钟南吕黄钟
姑洗太簇黄钟
（黄清即黄钟音的高八度）
律吕字谱初始是敲击乐器的手法谱，其中有直接以钟命名的，如黄钟、夷则、林钟、应钟。春秋战国时期盛行编钟，演奏如此大型、完整、复杂的乐器，肯定是非有乐谱不行的。
可以断言，律吕字谱早在周朝就存在了。
音乐史家认为，宫至羽音调从低向高行，揭示了宫商五音系由歌声进化而来的规律。因此，宫商字谱要比律吕字谱久远得多。在此之前有“歌声曲折”和“歌诗声曲折”的名称出现。《礼记·投壶》篇中对鼓的节奏已有简练的记录。这些资料很可能就是乐谱的初始雏形。
高雅的古琴是古代知识分子的修身之具。琴谱在古谱中占的比例最大，内容也最丰富。现存有3000多首琴曲，600多首曲目，1700多条文字资料和300多首歌词分类编目。历代琴家在“琴论”方面也有极丰富的著述。
唐代以前的琴谱是用文字记述弹琴的左右手指法和各音在某弦某位，称为文字谱。现存最早的文字谱是流落在日本的唐代手抄卷《碣石调幽兰》。唐代曹柔把原来的文字谱简化缩写，用若干减笔字组成指法符号，创造出一种新的谱式，称为减字谱。古琴谱由于记录详细，点滴不漏，因而能最有效地保留古乐曲的原形。
应用最广、最为普及的是“工尺谱”。因用“工、尺、上、乙、土、合”等字谱，故而得名，节奏用“板眼”标明。“工尺谱”有可能来源于吹管乐器的手法谱，如“四、一、六、五”是吹管乐器觱篥、笛子的指孔数目。敦煌千佛洞发现后唐长兴四年（公元933年）的《唐人大曲谱》就是“工尺谱”
的早期形式，称为“燕乐半字谱”。
古籍中论及“工尺谱”的要推北宋沈括的《梦溪笔谈》为最早。工尺谱的形式非常丰富，大致包括燕乐半字谱、蓑衣式谱、一枝香谱、南音谱、西安鼓乐谱、山西五台山谱、北京智化寺谱等等。
南宋姜夔所作《白石道人歌曲》，在音乐史上占有重要地位，所用的谱式称为俗字谱，是由工尺谱简化而成，板眼也自成一格。
由于我国民族语言丰富，因而孕育出一些独具色彩的特殊乐谱。有流行于广东潮州一带的“二四谱”，这种谱用“二、三、四、五、六、七、八”，以数字形式记谱，用方言吟唱，节奏符号与工尺谱的“板眼”相同，很有地方风味。宗教音乐中有一种用曲线表示音调高低的“曲线谱”。道教的部分乐谱和蒙族、藏族的喇嘛教就是用“曲线谱”记录乐曲。
乐器的专用谱也有精彩的内容。锣鼓谱以象声词，如“扎、匡、正、净、龙冬……”记谱，它的原始形态大概在公元前10世纪就出现了。近代流行的排箫谱、琵琶谱、筝谱是在工尺谱的基础上加上表示该乐器的指法和符位符号。
简谱起源于17世纪的英法，清末传入我国。简谱的优点是容易接受和掌握，便于普及音乐教育。现在，大量的中乐谱乐用简谱形式。
