崔光，本名孝伯，字长仁，名为高祖所赐，东清河俞阝人。祖名旷，跟随慕容德南渡黄河，定居青州时水。慕容氏灭亡之后，出仕刘义隆政权，任乐陵太守。父亲灵延，任刘骏的龙骧将军，长广太守，与刘..的冀州刺史崔道固一起抵抗国军。
慕容白曜平定三齐，崔光时年十七，随父迁往代州。家中虽然贫困，但崔光好学，昼耕夜读，奉养父母。太和六年(482)，被授予中书博士，转任著作郎，与秘书丞李彪一起参与国史编写。后升任中书侍郎，给事黄门侍郎，受到高祖很好的知遇与优待。高祖常说：“孝伯之才，浩浩东流如黄河入海，理所当然是今天的文章宗主。”因参与谋划迁都之功，高祖赐爵朝陽子，授官散骑常侍，黄门侍郎、著作郎官职仍旧，又兼任太子少傅。不久又以原官兼任侍中、使持节，朝廷派其为陕西大使，巡察地方民政人情，经过之处，游历古迹，述诗怀古，作诗三十八篇。归朝之后，仍兼任侍中，因其筹划谋略之功，爵位上升为伯。
崔光年少即显度量之大，喜怒哀乐均不见于表情，有人诋毁侮辱他，崔光必定好言好语作为回报，即使被人诬骂毁谤，他也不自己申辩曲直。皇兴初年(467～469)，同郡有两人同时被掠去当奴婢，后来到崔光那里求救，崔光用另外二人把他们赎了出来。高祖听说此事，十分称赞。崔光在朝，虽身处机近，却一向不大留心书面文案，只是行止从容，议论述说，替国家大政出谋划策而已。高祖经常对大臣们说：“凭着崔光的高才大量，如没有意外的错误罪责，二十年后应该身任司空之职。”其受高祖器重，可见一斑。后又跟随皇帝剿灭陈显达。世宗即位，升为正侍中。
当初，崔光与李彪一起撰写国史，太和末年(497～499)，李彪被解除著作郎之职，撰史的任务都交给了崔光一人。李彪不久又因罪废职。世宗居丧期间，李彪上书请求让他继续完成《魏书》，世宗下诏应允，他于是以白衣身份在秘书省继续著述。崔光虽然身为史官，但认为李彪意在独领其功，上表请求解除他自己的侍中、著作郎，以此表示对李彪行为的不满，世宗不同意。后迁太常卿、领齐州大中正。