祖莹，字元珍，范陽遒人。曾祖祖敏，在慕容垂政权中任平原太守。太祖平定中山，赐给他安固子爵位，拜授尚书左丞。死后，朝廷赠他为并州刺史。祖嶷，字元达。因为从驾出征平原的功劳，晋爵为侯，位至冯翊太守，死后朝廷赠他为幽州刺史。父亲祖季真，很熟悉前言往事，官至中书侍郎，卒于安远将军、巨鹿太守任上。
祖莹八岁，便能诵读《诗经》、《尚书》，十二岁，为中书学生，刻苦好学，不分昼夜地读书，父母担心他会读出病来，想制止他这样做但却不行，他经常在炭灰之中藏着火种，赶走书僮仆人，父母睡觉之后，用衣服遮住窗户，以防止光线漏出去，被家人发觉。由此他的声誉更高了，内外亲属都叫他为“圣小儿”。祖莹尤其喜欢写文章，中书监高允每每赞叹说：“这青年富有才识，不是其他学生能赶得上的，他一定会有大出息的。”
当时中书博士张天龙讲授《尚书》，选他为都讲。学生们都来了，祖莹晚上读书太劳累了，竟不知天亮了。上课时间已到，忙乱中祖莹误把同房学生赵郡的李孝怡一本《曲礼》拿到讲台上去了。博士十分严厉，祖莹不敢回去换书，于是只好把《曲礼》放到案桌上，念诵《尚书》文三篇，竟不漏一字。讲完之后，孝怡觉得很奇怪，查明原委，就向博士说了这件事，惹得学中师生，大为惊奇。后来高祖听说此事，召他入内宫，要他诵背五经章句，并讲述大义，皇帝惊叹不已。祖莹出去之后，高祖开玩笑地对卢昶说：“过去流放共工的幽州北边荒凉地方，怎么会冒出这样的孩子来？”卢昶说：“当是才为世而生。”祖莹以才学名声被任命为太学博士。征授司徒、彭城王元勰的法曹参军。高祖对勰说：“萧赜以王元长为子良法曹，今天我为你任命祖莹，这岂不可以与之匹敌了吗？”命祖莹为彭城王元勰幕府书记。祖莹与陈郡的袁翻齐名秀出，当时人编了一首歌谣说：“京师楚楚，袁与祖；洛中翩翩，祖与袁。”又迁任尚书三公郎。尚书令王肃曾经在衙门里吟咏一首《悲平城诗》，诗说：“悲平城，驱马入云中。陰山常晦雪，荒松无罢风。”彭城王元勰很是为其文辞优美所嗟叹，想让王肃再吟，可是语出差错：“王公您吟咏情性，词语声律，都特别优美，是不是可以再吟一遍《悲彭城诗》。”王肃一听，开玩笑说：“怎么《悲平城》变成了《悲彭城》了。”元勰顿时脸红。祖莹当时在座，就说：“有《悲彭城》，只不过是王公您没有见过。”王肃说：“能否读来听听。”祖莹应声诵读：“悲彭城，楚歌四面起；尸积石梁亭，血流睢水里。”王肃听罢，很是惊叹。勰也大为高兴，回来对祖莹说：“当时你定是神口。今天若不是你，我非得被吴子所屈不可。”
祖莹任冀州镇东府长史，因贿赂一事败露，被除名。后来侍中崔光推荐他为博士，仍领授尚书左户部职。李崇以都督身份北征，引莹为其长史。因军资被人截没，又被除名。没多久，任散骑侍郎。孝昌年间，在广平王府第挖得古代宝印，皇帝下诏让祖莹与黄门侍郎李琰之辨别为什么时候的东西。祖莹说：“这是于阗国王在晋朝太康年间献给皇上的礼物。”于是用墨涂字验看，果然像祖莹所说那样，当时人称他为博物多识的专家。累迁国子祭酒，领给事黄门侍郎，幽州大中正，监察记录皇帝起居事，又监督朝议事宜。元颢来到洛陽，任祖莹为殿中尚书。庄帝还宫，因他替元颢起草诏书，列举..朱荣罪状，免官。后来，朝廷又提拔他为秘书监，中正官职如故。因他参加讨论律历，朝廷赐他爵位容城县子。因事被囚廷尉狱中。前废帝升任他为车骑将军。当初，庄帝末年，..朱兆入洛陽，军人焚烧掌音乐的官署，钟石管弦等各种乐器，无一幸存。皇帝令祖莹与录尚书事长孙稚、侍中元孚掌管制造各种乐器，三年就制造完成，具体情况记在《乐志》。升为车骑大将军。等到出帝登基，祖莹以太常行礼，被封为文安县子。天平初年(534～535)，都将迁邺，齐献武王就此事召见祖莹讨论。因功迁升仪同三司，晋爵为伯。逝世，朝廷赠他为尚书左仆射、司徒公、冀州刺史。
祖莹以文学为世人所重，他常对人说：“文章必须自出匠心，成一家风骨，怎能道别人可以说出的呢？”大概这话说的是世人喜欢剽窃他人文字，以作己用的现象。祖莹的文章，也不是没有天才的火花，只是不能调整统一，玉石都有，剪裁功夫，却不如袁、常二人。祖莹性情豪爽，气节很高，士人有什么麻烦事，托命于他，他必然会尽力相救，当时人也因此夸奖他。祖莹的文集流行于世。子祖王廷，字孝征，袭其爵位。