刘芳，字伯文，彭城人，汉代楚元王的后人。六世祖刘纳，晋代任司隶校尉。祖刘该，任刘义隆政权的征虏将军、青徐二州刺史。父刘邕，刘骏政权的兖州长史。
刘芳出继给伯父刘逊之当儿子，逊之，任刘骏政权的东平太守。刘邕参与刘义宣的事情，身死彭城。刘芳跟随伯母房氏逃窜青州，逢大赦获得自由。舅房元庆，任刘子业青州刺史、刘文秀建威府司马，被刘文秀所杀。刘芳母子进入梁邹城。慕容白曜南讨青、齐，梁邹降顺，刘芳北迁为平齐百姓，时年十六岁。魏南部尚书李敷妻，司徒崔浩弟弟的女儿，刘芳的祖母，是崔浩的姑姑。刘芳到京城，来到李敷府上，崔以刘芳四处流浪为耻，拒绝见他。刘芳虽然处于穷苦窘迫之中，但学业仍未荒废，他聪敏过人，笃志经典。白天读书终日，以自资给，夜则诵读，终夜不睡，以至有典衣度日之困，而他却淡然自守，不急急于荣利，不戚戚于贫贱，写下《穷通论》以安慰自己。
刘芳为诸僧抄写经论，字迹很漂亮，一卷价格一匹布，一年之中能收入百余匹布，像这样持续了数十年，赖此度日，情况渐渐好起来。由于刘芳与有德学的著名僧人，经常交往。当时南方有位和尚叫惠度因事被责，不久暴亡，刘芳因此被牵连，文明太后把他召入宫中，抽了一百鞭子。当时，宦官李丰主持这件事，他知道刘芳笃于学业，志行很高，便在太后面前讲起他，太后听说，有些惭愧。正逢萧赜的使者刘缵来了，他是刘芳的同族兄弟，太后提拔刘芳为主客郎，与刘缵应对。不久被拜授为中书博士。后来与崔光、宋弁、邢产等人一起任中书侍郎，不久帝诏刘芳与邢产到东宫教授太子经书，迁任太子庶子，兼任员外散骑常侍。跟随车驾到洛陽，刘芳在路途上及到京城，总是侍坐太子讲读孜孜。刘芳才思深渊敏捷，特别精于经义，博闻强记，兼览《苍》、《雅》，尤其擅长音训，辨析字义确当无疑。从这以后，他受到的礼遇日盛一日，得到的赏赐也很丰厚优渥，被正除为员外散骑常侍。不久兼通直常侍，跟随皇帝车驾南巡，撰述行事，不久正除。王肃投奔皇魏，高祖十分器重，朝野为之瞩目。刘芳没机会与他相见。高祖在华林宴请群臣，王肃说到“古时候只有妇人有成年礼，而男子则没有”。刘芳说：“推寻经书《礼》正文，古时候女子男子都有此礼。”王肃说：“《丧服》说男子免而妇人结丧髻，男子戴帽而妇人插笄。像这样，则男子不应该有插笄以示成年的礼制。”刘芳说：“这专门说的是不幸的凶事。《礼》：‘初遭丧，男子免冠，这时妇人则结丧髻；男子戴帽，则妇人插笄。’这说的都是应时而变，而男子、妇人免冠结髻、戴帽插笄表示伤悼的方式不同。又冠尊，所以代替了其插笄。而且这是换言互称，并不是说男子无笄。又《礼内则》称：‘子事父母，夜晚鸡开始鸣叫时，梳洗插笄。’由此而言，男子有笄也就很明确了。”高祖赞赏这番议论，玩味了很久。王肃也觉得刘芳说得很对，说：“这莫非就是刘石经吗？”过去汉代建造三字石经放置在太学，学者有什么文字上的问题，多到那里校质。刘芳音义明辨，有疑问的人多前往询咨访求，所以当时人称为刘石经。酒宴完毕，刘芳与王肃一起出去，王肃握着刘芳的手说：“我从小留意《三礼》，在南方与诸儒生一起，经常一起讨论，大家都说此义就像我方才说的那样，今天听到你这番解释，顿时去掉我平生之惑。”刘芳理义精通，都像此字这样。
高祖迁居洛陽，经过朝歌，见到殷商比干的墓冢，怆然悼怀，撰文吊惜。刘芳为之注解，表奏呈上。帝下诏说：“看卿的注文，很是广富渊博。但是辞藻不如屈、宋，义理不如张、贾。既然有此雅致，便可把它付印集书。”帝下诏因刘芳经学精深博洽，超阶迁授国子祭酒。刘芳因居母丧离职。高祖南征宛、邓，起任他为辅国将军、太尉长史，跟从太尉、咸陽王元禧攻打南陽。萧鸾将领裴叔业入侵徐州，疆场之民，大都很想归顺裴叔业，高祖很担忧，任命刘芳为散骑常侍、国子祭酒、徐州大中正，行徐州事。徙迁兼任侍中，随征马圈。高祖在行宫去世。及世宗即位，刘芳为他手加莽袍冠帽。高祖的遗体从装殓到启祖、山陵、练除、丧事的自始至终，都是刘芳一手操办。咸陽王元禧等人奉高祖遗诏，命令刘芳入宫教授魏世宗经书。等到南徐州刺史沈陵外叛于敌，徐州大水，朝廷派刘芳抚慰赈恤灾民。不久被授职正侍中、祭酒，中正官职照旧。
刘芳上表说：“大凡治理国家的，无不崇儒尊道，先设学校，即使政有质朴文饰，这一范式从不改易，这是由于它是万端资始，众务禀法的缘故。唐、虞之世以前，典籍不存；盛周以来，学校任居虎门。《周礼·大司乐》云：‘师氏，掌美以女微诏王。居虎门之左，司王朝，执掌国中过失的事情，以之教诲国臣子弟。’蔡氏《劝学篇》说：‘周朝师氏，居虎门左，阐释六艺，以教国子。’而今的祭酒，就是周朝的师氏。《洛陽记》：‘国子学官与天子宫殿相对，太学在开陽门外。’案查《学记》说：‘古代王者，建立国家，亲爱人民，都以教学为先。’郑氏注释说：‘内则设立师保以教，使国中子弟学受，外则有太学、庠序的官职。’由此而论，国学在宫殿之内，太学在皇廷之外，很明确了。案如《洛陽记》，还是仿此设置的。臣愚蠢地认为：现在既已徙县崧、鏶，皇宫迁居伊、洛，宫殿府寺，都依旧式，至于国学，怎么就不照原样了？校比旧事，其位置应在宫门左边。至如太学，旧基仍在，仍旧营构。又过去太和二十年(496)，朝廷下诏设立四门博士，在四门置学宫。臣按：从周朝溯上，学校只有两种，或尚西，或尚东，或者以在都城为贵，或以在郊郭为上。到了周代，学校有六。师氏居内，太学在国都，四小学在郊郭。《礼记》说周人‘养众老于学校，学校在国都四郊’，《礼》又说：‘天子设立四学，当入学而太子立。’注云：‘四学，周代国都四郊的学校。’案《大戴礼记163·了他的意见。
迁任中书令，祭酒官职照旧。出任安东将军、青州刺史。刘芳为政儒慢缓顺，不能禁止奸邪盗贼，但廉洁清正，寡求少欲，无犯公私利益。还朝后，参预议定律令。刘芳斟酌古今，成为大议的主要人物，律令中损减增益的内容，大多出自刘芳的意图。魏世宗以朝廷礼仪多有缺损，其一切议论，都交给刘芳修正。于是朝廷中吉凶大事都找刘芳咨询访求了。
转任太常卿，刘芳以所设置的五郊以及日月的位置，离都城的里数于礼有相违背的地方，又加上对灵星、周公的祭礼仪式，觉得不应该隶属太常寺，于是上疏说：
“臣闻国家大事，没有比郊祀更重要的了，郊祀的根本，实质是在审定位置。所以列圣区别之言，彰明浩浩典籍；先儒正确之论，昭著于经史。为臣学识谈不上通经，业也不能说通古，怎敢轻率地奏陈瞽妄之言，妄陈管见之说。臣窃见所设置的祭坛祀祠远近的法度，考证典制，或许有欠妥的地方，臣既忝居此职，请陈肤浅之见。
“《孟春令》说‘其数八’，又说‘迎春于东郊’。卢植说：‘东郊，八里郊也。’贾逵说：‘东郊，木帝太昊，距京都八里。’许慎说：‘东郊，八里郊也。’郑玄《孟春令》注云：‘王者居明堂。《礼》曰：王者出城十五里迎岁，是殷代礼制。《周礼》曰，在离城十五里的近郊祭祀。’郑玄另注说：‘东郊，离都城八里。’高诱说：‘帝迎于东方，坛祠在离都城八里的郊郭。’王肃说：‘东郊，八里，因木数。’这都同是春郊坛祠离都城八里的明据。《孟夏令》云‘其数七’，又说‘迎夏于南郊’。卢植说：‘南郊，七里郊也。’贾逵说：‘南郊坛祠，祭火帝炎帝，离都城七里。’许慎说：‘南郊坛祠，在离都城七里的郊郭。’郑玄说：‘南郊，离都城七里。’高诱说：‘南郊，七里郊也。’王肃说：‘南郊坛祠，离都城七里，因于火数。’这又是南郊坛祠离城七里的详细根据。《中央令》说：‘其数五。’卢植说：‘中郊，五里之郊也。’贾逵说：‘中兆，黄帝之位，并南郊之季，所以说兆五帝于四郊。’郑玄说：‘中郊，在西南未地，离都城五里。’这又是中郊五里的明据。《孟秋令》说‘其数九’，又说‘迎秋于西郊’。卢植说：‘西郊坛祠，在离城九里的郊郭。’贾逵说：‘西郊，祭金帝少..，在离都城九里的地方。’许慎说：‘西郊坛祠，在离城九里的郊郭。’郑玄说：‘西郊，去都城九里。’高诱说：‘西郊坛祠，在离城九里郊郭。’王肃说：‘西郊，九里，因金数。’这又是西郊九里的明据。《孟冬令》说‘其数六’，又说‘迎冬于北郊’。卢植说：‘北郊坛祠，在离都城六里的郊郭。’贾逵说：‘北郊坛祠，祭祀水帝颛顼，在离城六里的郊郭。’许慎说：‘北郊坛祠，在离城六里的郊郭。’郑玄说：‘北郊坛祠，离城六里。’高诱说：‘北郊，六里之郊也。’王肃说：‘北郊六里，因水之数也。’这又是北郊六里的明据。宋氏《含文嘉》注说：‘《周礼》，王郊千里，二十分其一为近郊。近郊五十里，一百里则为远郊，迎祭王气都在近郊举行。汉代不设王畿，则以方比之数为郊郭的位置，所以东郊八里，南郊七里，西郊九里，北郊六里，中郊在西南未地，离都城五里。’《祭祀志》说：‘建武二年(26)正月，开始制立郊祀于雒陽城南七里的地方。这是依照元始年间(1～5)的做法，北郊在雒陽城北四里的地方。’这又是汉代南北郊的明证。今天的地点只按照这个选择。至如离城三十里设立郊祀之坛，进与郑玄所引的殷、周两代的做法相违，退与汉、魏所行办法相背。凡是邑城之外都称郊，今天计算四郊，应各以郭门为限度，距城里数依上典制。
“《礼》，朝拜日月，都在城的东西门外。而今祭日月的位置，离城东西路程各为三十里，臣窃以为又未详审。《礼》又说：‘祭日于坛，祭月于坎。’而今计造如上。《礼仪志》说‘设立高谋祠于都城南面’，不说离都城里数。所以现在仍照旧。灵星本不是礼制之事，祭祀出自汉初，专门为了祝祀田耕，总是隶祭于郡县。《郊祀志》说：‘高祖五年(前202)，高祖诏示御史，命令天下设置灵星祠，祭祀用太牢，县邑的令长主祭。’晋代祠祀令说：‘郡、县、国祭祀稷神、社神、先农，县又祭祀灵星。’这是灵星的祭祀在天下众县的明据。周公庙所以别设在洛陽，是因为姬旦创成洛邑，所以传祭洛陽，崇祠不绝，以彰明其功劳。伯夷、叔齐的祠庙，也世世代代为洛陽界内的神祠。而今都移祭太常，臣担心会与其本意相违。天下祭祀错位的事情很多，都应该归应属的部门郡县修理，公私在所祭的地方祈请。为臣窃以为太常寺所掌祭的郊庙神祗，自有其常限，不应该临时随意斟酌，如果随便乱来，则不免会婬侵祠祭常规。二祠在太常，在洛陽，对于国家来说都是一样的，然而具体做起来就应审其根本。
“为臣以庸懒卑陋，谬妄忝居今天的职位，为臣考索经典，博采群议，既无别样说法，可以说大致可以此为据。而今年冬天劳作的间隙，野静人闲，便可迁移郊祠神坛，各方都很方便。”
皇帝下诏说：“所上奏陈确有明据，但是郊庙先朝置立已久，也就姑且依照旧式。”
这以前，魏高祖在代都诏令中书监高闾、太常少卿陆王秀，加上公孙崇等十多人修理金石乐器，以及八音之器。后来，公孙崇任太乐令，上书奏请尚书仆射高肇，一起办理此事。魏世宗下诏让刘芳一起处理。刘芳上表认为礼乐之事关系重大，不能马上下决断，如不广泛招延公卿大臣，广泛聚集大儒宿彦，讨论得失，研究是非，就会无法让它垂之万世，成为不朽的法式。所陈得到采纳，数旬之内，朝臣频繁讨论三次。在那时，朝中官员都觉得公孙崇既然专门管理此事已有很长时间，不应该有什么乖异谬妄的地方，讨论时大家各各默然无话可说。刘芳于是探引经书，搜寻旧文，共相质难，所说都有明确的根据，认为乐器盈缩尺度都与典制有差距，不合典制范式。公孙崇虽然也有一些应答，而往往答非所问，终而无法自圆其说。尚书把这些情况述奏皇帝，帝仍诏委派刘芳另外继续考索典制，从此以后学者更加崇敬他了。
刘芳以社稷坛上无树，又上疏说：“依照《合朔仪注》：‘日有变化，用朱丝结绳，以之绕系社树三周。’而今连社树都没有。又《周礼·司徒职》云：‘设立社稷之墙，而树之以田主，各种上社庙所宜种的树木。’郑玄注说：‘所宜种的树木，指像松柏栗树之类。’这是一证。又《小司徒·封人职》说：‘掌设君王的社墙，确立边界封土而种树。’郑玄注说：‘不说稷，因为王主祭于社，而稷，是社的分支。’这是二证。又《论语》曰：‘哀公找宰我问社庙之事，宰我说：夏后氏种松，殷人种柏，周人种栗。’这是根据土地情况而决定的。这是三证。又《白虎通》说：‘社稷所以有树，是什么原因呢？还是尊崇它的标志。也为的是让老百姓看到就产生敬仰之意，又是为了表彰其功。’案此是正面解释所以有树的意义，而不是说有还是没有树。这是四证。这里说‘社稷所以有树的原因’，这样，稷庙中有树也应很明确了。又《五经通义》说：‘天子太社、王社，诸侯的国社、侯社，制度怎样？曰：社都只有垣墙而没有屋宇，在其中植树，可种木的是因为有土，主土生万物，万物之中没有比木更好的了，所以种树。’这是第五证。这是最为合适的说明社中有树的意旨了。又《五经要义》说‘社庙中必定种上树木’。《周礼·司徒职》说：‘分社而种树，各因土地所适宜生长的树木。’《尚书逸篇》说：‘太社种松，东社种柏，南社种梓，西社种栗，北社种槐。’这是第六证。这又是太社及四方种树有区别的明据。臣又见到诸家《礼图》，社稷图都画上了树木，只有诫社、戒稷没有树。这是第七证。为臣虽然辨社稷中有树种植的依据，还没有确定所种植的树种。查《论语》称‘夏后氏以松，殷人以柏，周人以栗’，可见世代不同。而《尚书·逸篇》则说‘太社种松，东社种柏，南社种梓，西社种栗，北社种槐’，像这样，便是一代之中，而五社所种树种也各不相同。愚见认为应该种植松树。为什么这样说呢？《逸书》说‘太社惟松’，今天种植松树，不怕失于礼制。只有稷坛所种树种没有现成根据，但它是社的分支，大概也不会离了松树。”魏世宗接受了他的意见。
刘芳沉雅方正，气度甚高，精通经传，魏高祖尤其器重礼敬他，动不动就咨询于他。太子元恂在东宫的时候，魏高祖想为他娶刘芳的女儿，刘芳以其女年龄相貌不合适推辞了，魏高祖叹服他的谦虚谨慎，改敕刘芳推举其宗族中的姑娘，刘芳推举了其族子刘长文的女儿。高祖于是为元恂娶了过来，与郑碅女儿相对为左右妻室。崔光对刘芳有师长之敬，遇事必去询问。刘芳撰郑玄所注的《周官·仪礼音》、干宝所注的《周官音》、王肃所注的《尚书音》、何休所注的《公羊音》、范宁所注的《谷梁音》、韦昭所注的《国语音》、范晔《后汉书音》各一卷、《辨类》三卷、《徐州人地录》四十卷、《急就篇续注音义证》三卷、《毛诗笺音义证》十卷、《礼记义证》十卷、《周官》、《仪礼义证》各五卷。崔光上表请求让刘芳取代自己任中书监的官职，世宗不同意。延昌二年(513)去世，享年六十一岁。帝下诏赐帛四百匹，赠镇东将军、徐州刺史，谥称文贞。