乐氏是一个古老、多源流的姓氏群体，在当今姓氏排行榜上名列第二百七十九位，人口约二十五万三千余，占全国人口总数的0.015%左右。
乐姓这个在中国早期历史上神气万分的姓氏，出现在大约3000年以前的春秋时代。乐氏源于春秋时的宋国，跟后世以宋为姓的人。当时的宋国，是由殷商纣王的长兄微子所建，这个地方，原来是封给武庚的，可是武庚在周成王时叛变，后来被讨平，周成王就把包括河南省丘县以东至江苏省铜山县以西的一大片地方，封给了微子，并封他为地位最高的宋公，以奉商汤之祀。
后来，宋戴公的后代，又以王父字为氏，于是就出现了“乐”这个姓氏。宋国于公元前286年被齐、魏、楚三国所灭。推算起来，中国的乐姓最少也已经有了2200年以上的历史。
乐姓出自西周初期官吏乐正，属于以官职称谓为氏。在西周时期，有负责演奏典乐的大司乐、有具体演奏音乐的乐人、有负责礼乐的大乐正、有管理乐人的小乐正，这些官吏和专业职务人员，统称为“乐正”。
小乐正为大乐正的副理，大乐正为普通乐官之长，不但掌管普通乐人，还负责整个王朝的礼教之事。在典籍《礼记·王制》中记载：“乐正，崇四术，立四教。”隶属于春官府司管辖。到了隋朝时期，开始也在太常寺中设置了太乐署、清商署，设置各种乐师。后来隋炀帝杨广也将其改称为乐正，普通乐师的官秩即为从九品下，相当于如今的科员待遇。
在唐朝时期，不但沿袭了隋朝的制度，乐正还掌管邦国祭祀的礼乐演奏，分为大乐、鼓吹两个分署。在宋朝时期，在太常寺设置三名乐正，掌管全国的礼乐典制。到了金国时期，大乐正隶属于太常寺太乐署，官秩提高到从九品，相当于主任科员，或县局级官员。在历朝历代乐正们的后裔子孙中，皆有以先祖官职称谓或职业称号为姓氏者，称乐正氏，后省文简化为单姓乐氏，世代相传。
出自南宋抗金名将岳飞之族人，属于避难改姓为氏。今湖南省宁远县麻池塘村有一支乐氏族人。这座麻池塘村始建于南宋后期，村民皆为乐氏，人口有三千余，自称“河南南阳郡乐氏门宗”。据记载，乐氏的先人祖居河南南阳，原本姓“岳”而非姓“乐”，是南宋初期抗金名将岳飞的族人。南宋高宗赵构绍兴十二年，岳飞被秦桧以“莫须有”的罪名所害，其后族人受“株连”之累，遂改岳氏为同音的乐氏，然后分为三股逃往南方谋生。
其中一部分族人迁逃到了江西地区；一部分族人迁逃到了广西一带；另一部分族人迁逃到了广东韶关，继而转往宁远九疑山地区安身，后传至第四世乐雷发，以教书为生。到了南宋宝佑元年，乐雷发所教授的学生姚勉一举高中状元。在朝堂上，姚勉上书宋理宗赵昀，称其师乐雷发才学过人，超过管仲、诸葛亮，宜以大事委任之，并自愿将功名让给乐雷发。
宋理宗大奇，特旨召试“学术、才智、选举、教养”八事，乐雷发“条对切直”，写下了著名的“庭对八策”，为宋理宗所“嘉纳”，赐以特科第一人，封赏田八百亩，敕建状元楼一座。该支乐氏传至第六世乐疑山，受到奸人李孟久的迫害，遂自九疑山逃到潭田一带避难，随身携带有乐氏家谱、田契、宋理宗赏赐良田八百亩的诏书以及其祖父乐雷发的著作、诗稿。乐疑山见潭田前崖如屏障呈福，后山似游龙戏水，于是定居下来，并娶邻村挂兰谢氏为妻，过起清高自由的生活了。
