虞寄字次安，年少时聪慧敏捷。他几岁时，有一客人登门拜访其父，在门口遇见虞寄，便讥嘲他说：“郎君姓虞，必当无智。”虞寄随声答道：“你连文字都分辨不清，岂能不愚呢？”其客非常惭愧。入见对其父说：“令郎乃是非凡之人，孔融小时候酬对李文通之语也不及他。”
等到长大，虞寄好学，擅长于写文章。他性情谦和恬静，有避世隐居之志。弱冠之年荐举为秀才，策试金榜题名。初任梁宣城王国左常侍。大同年间，曾下骤雨，宫殿前常常出现多色宝珠，梁武帝看后很是高兴，虞寄便上奏《瑞雨颂》。武帝对虞寄兄虞荔说：“此颂文采典雅清丽，实为卿家之士龙。打算如何擢用？”虞寄听说，叹息道：“赞美盛世之德，以表达安居乐业的情怀。吾岂是沽名钓誉以求入仕之人呢？”便闭门称病，只以读书自乐。岳陽王任会稽太守，招引虞寄为行参军，迁任记室参军，领郡五官掾。后又调任中记室，掾职不变。虞寄在任期间删去烦苛以从简略，力求从大局着眼，终日安安静静。
侯景之乱，虞寄随兄虞荔住进台城，授官镇南湘东王谘议参军，加任贞威将军。京城陷落后，他逃回乡里。张彪前往临川时，强迫虞寄随他同行，虞寄同张彪的将领郑玮同乘一舟，郑玮违背张彪旨意，劫持虞寄逃奔晋安。当时陈宝应据守闽中，得到虞寄特别高兴。高祖平定侯景之乱后，虞寄规劝陈宝应自首，宝应答应了，便遣使禀告归附之诚心。承圣元年(552)授任和戎将军、中书侍郎。宝应惜爱其才，假托道路不通不遣。宝应总想招引虞寄，任命为手下官吏，把文翰一类的事委托他，虞寄坚决推辞，因而获免。
陈宝应与留异结亲之后，秘密谋反，虞寄暗知其意图，每次交谈时，虞寄总是陈述逆顺之理，暗加劝谏，宝应就说其他事来拒绝他。虞寄又曾令左右诵读《汉书》给宝应听，他躺着聆听，读到蒯通劝说韩信说“我看你背相，贵不可言”。宝应急忙坐起说：“可谓智士。”虞寄严肃地说：“让郦寄背反，让韩信骄狂，不足以称智士；那里比得上班彪作《王命》，知天命之所归呢？”
虞寄知道宝应不会听从劝谏，考虑到祸已及身，便制居士服来拒绝他。常住东山寺，假称脚疾，不行走，宝应认为他是借口，让人烧虞寄的卧室，他安卧不动。身边的人想扶他出去，虞寄说：“吾命无所依傍，想要避难何处可逃？”纵火之人，旋即自己救火。宝应从此信以为真。
留异起兵后，宝应以属下人马相资助，虞寄便写信极力劝谏说：
东山虞寄致信于明将军使君节下：我身逢乱世，寄居他乡，将军以上宾之礼待我，把我看作国中才能出众的人加以宠信，恩情感人之深，永记在心。而寄现病至弥留之际，气数将尽，总担心死后填塞沟壑，没有半点回报，所以斗胆披露心迹，冒味表达自己的赤诚之心，希望将军花一点点时间考虑，稍稍陈书明察我说的，那么瞑目之日，我别无挂恋。
国家安危之兆征，祸福之关键，并不只是天命，也靠人谋事。失之毫厘，差以千里。所以明智之士，居高位而不谋反，执大节而不失偏颇。岂能被浮夸之辞迷惑呢？将军文武兼备，英才威武举世无双，过去身逢乱世，举兵起事兴师征讨，威振千里，怎么不因国家面临危机，与国君协同谋略，匡正时弊酬报君主，让国家安宁，让百姓得到恩惠呢？这就是五尺少年，都愿充军随将军征战的原因。高祖武皇帝创业之初，出来救济艰难之世。那时天下百姓悠悠忽忽，民无定主，凶恶之人横行霸道，冲杀掠夺，天下之人惶恐不安，不知所从。将军运用洞察秋毫之鉴识，鼓动纵横捭阖之舌锋，追随高祖为官，结成同盟，此乃将军宏图大略，心中感动而诚心归服。主上承继帝业后，钦明睿圣，选用贤士能人，群臣谦恭和睦，委任将军以连城卫国的重位。崇奉将军以裂土封邑，难道只是朝廷的宏图伟略，对他人赤诚之心相待吗？屡次颁发明诏，情真意切，君臣之名分已定，如骨之于肉那样恩深义重。不料将军被奸邪之说迷惑，突出非分之想，寄所以痛心疾首，泪尽而继之以血，万全之策，窃为将军痛惜。寄虽年老多病，所言不值得纳用，但千虑一得，请求让我陈述意见。望将军稍稍收敛声威，浪费一点时间，让我尽妄言之说，披露诚挚之心，那么虽死之日，犹生之年。
自从上天厌倦梁德，灾难接踵而至，天下分崩离析，英雄豪杰蜂起，不可胜数，人人自以为能得天下。然而平定凶乱，拯救危难，天下拥戴，神灵眷顾，受禅让而得居帝位者，陈氏也。岂只是历数有在，惟天所赐，顺应大运立为天子？其事很明了了，此其一。主上承继帝业，以明德治天下，法律之天网再张，国家安定，以王琳之强，侯王真之力，进攻足以撼动中原，取胜天下，退守足以屈尊江南，炽盛江南一隅。然而王琳依赖自己有军，侯王真信赖一士之言，王琳则分崩离析，投身异域，侯王真则稽首请罪，效命朝廷。这又是借天之威，而除去其患。其事很明了了，此其二。今将军为皇戚中镇守一方的重臣，拥有东南之众，若能尽忠奉上，戮力勤王，岂不功比窦融高，宠遇胜过吴芮，授爵封地，南面独尊？其事很明了了，此其三。况且圣朝不计前嫌，宽厚待人，只要改过自新，都加以擢用。至于余孝顷、潘纯..、李孝钦、欧陽危页等人，全都视为亲信，委以重任，胸襟豁达，未曾有介心。何况将军肇乱非比张绣，获罪有异毕谌，又何必担心危亡，又哪里会失去富贵呢？其事甚明，此其四。方今与邻邦周、齐和睦相处，境外无忧患，合兵一致，已非一朝一夕，已不是刘邦、项羽相争之时，楚、赵合纵之势，怎么能从容自在，高坐朝堂而论文王之事呢？其事很明白了，此其五。况且留将军畏畏缩缩蜇据一隅之地，一经受挫败北，名利俱丧，胆量和勇气衰退沮丧。高王襄、向文政、留瑜、黄子玉这些人，将军了解，他们都首鼠两端，惟利是图；其他将帅，也可想而知了。谁能披坚执锐，长驱直入，坚守阵地，奋不顾身，身先士卒呢？此事很明了了，此其六。况且将军兵力之强，哪比得上侯景？将军兵众之多，哪比得上王琳？武皇灭侯景于前，今主上摧毁王琳在其后，这是天意，并不只是人的力量。且战乱以后，老百姓都厌恶乱世，哪个愿意去死，离开妻儿，出生入死，随将军战于刀光剑影的沙场呢？此事很明了了，此其七。纵观前古，以往事为借鉴，子陽、季孟，相继倾覆，馀善、右渠，先后灭亡，天命可畏，山川之险难以倚仗。况且将军想以数郡之地，抵挡天下之兵，以诸侯之位，抗拒天子之命，弱强逆顺，怎么能相提并论呢？此事很明了了，此其八。且不是我族我类者，其心必异。不爱护自己的亲人，岂能爱他人呢？留将军身居国爵，其子娶王姬为妇，尚且背弃血亲而不顾，背叛明君而孤立，危急之时，怎么能同忧共患，不背弃将军呢？至于兵师老弱力量处于劣势，害怕被杀贪图赏赐，必然有韩氏、智氏在晋陽反目，张耳、陈余在井陉相争之势，此事又很明了了，此其九。且北军万里远征，锐不可挡，将军在本地作战，人多有顾忌。梁安得人心之背，修日午以匹夫之力，众寡悬殊太大，将帅不齐心，师出而无名，没有测准时机而起事，像这样起兵，毫无益处。汉朝吴、楚，晋室..、..，都连城数十，拥有百万大兵，背叛朝廷，企图自行立国，他们成功了吗？此事很明了了，此其十。
我为将军打算，不如赶快归服，与留氏断绝亲戚关系，子秦郎、快郎，随即遣送作人质，偃甲息兵，一概遵从诏命。况且朝廷赐给将军享受铁券的特权，立过宰马歃血的盟誓，皇上用社稷立誓，是不会食言的。寄听说英明者防微杜渐，明智者不再图谋不轨，这是成功的经验，将军不要有疑虑。吉凶之差，间不容发。方今皇族藩篱尚少，皇子年幼，凡为王室同宗，皆蒙恩受宠。何况以将军之地，将军之才，将军之名，将军之势有能力治理好边远之地，北面称臣，宁愿与刘泽以同年之辈而称道其功业？岂不是身体如山河一样安稳，名声如金石一般远扬？愿将军三思而行，慎重考虑。
寄气力虚弱，剩下的光陰不多了，感恩戴德不自觉地狂言乱语，即使受铁钺之戮刑，如食甘荠。
宝应看信大怒。有人劝宝应说：“虞公病情愈来愈重，说话多谬误。”宝应的怀疑之心才稍稍缓解。也因虞寄民望甚高，便宽容了他。等到宝应败逃，夜至蒲田，对其子扌干秦说：“早从虞公计，不至于像今日。”扌干秦只哭不语。宝应被擒拿后，凡与他有交往的宾客，一概诛杀，惟虞寄因有先见之明而免遭杀身之祸。
当初，僧徒慧扌票博览群书才思敏捷，宝应起兵后，他作五言诗赠送宝应，曰：“我送你的战马，终于到了水滨，远征之战旗顺风飘动，好好看看今夜的月，它必当升上那高高的紫微宫。”宝应得诗甚喜，慧扌票送给虞寄，虞寄一看便止，表情严肃默默无语。慧扌票退下，虞寄便对左右说：“扌票公既以此始，必以此终。”后终被杀。
文帝不久敕令都督章昭达按理发落放遂，令虞寄回朝，章昭达到后，即日引见，对虞寄说：“管宁平安无事。”其慰劳的心情如此。不久，文帝对到仲举说：“衡陽王已出京做藩王，虽然还没置设府僚，但必须得一人早晚相随，兼掌书记，应找老成之士中品行功业兼备者。”仲举还不知如何应答，文帝说：“吾已得此人。”接着亲自下诏起用虞寄。寄入宫致谢，文帝说：“之所以暂时委屈卿仕于衡陽王府，不只是以文翰之类的事相托，而是让你做他的老师。”不久兼散骑常侍，出使北齐，虞寄以年老多病推辞不行，授任国子博士。不久，虞寄又上表请求解职归乡，文帝宽旨答复，允许他东归。接着授任东扬州别驾，寄又称疾推辞。高宗即位，召任扬州治中及尚书左丞，一概不就任。于是授官东中郎建安王谘议，加任戎昭将军，又称疾推辞，不愿早晚相陪伴。建安王王于是特令他停止王府公事，如有疑议，才请他决断，他的任务只是朔望朝谒时修书致意而已。太建八年(576)，加任太中大夫，将军职务不变。十一年去世，时年七十岁。
虞寄年少时行为淳厚，举止仁慈厚道，即使家中童仆也未曾声色俱厉，至于临危执节，则义正言辞正气凛然，刀山火海都毫无畏惧。虞寄自从流落南隅，与其兄虞荔隔绝，便因伤感犯病，每收到兄信，病气便在体内奔窜，多次危险。他前后任官，都未曾服官任满，才一年数月，便自己要求解职。他常说：“知足者不受辱，吾知足矣。”他因病引退住进私宅后，每次诸王任州将，到任时必登门拜访致以敬意，命家人放下鞭板，以几杖陪坐。他常到附近寺庙，乡里人相互传告，便携老带幼成群结队，站在道之东边叩拜，有时立誓定约，只要说像虞寄那样便认为不欺，其超常德行感人至深如此。他所写的文稿，因遭乱多没保存。