王玄谟字彦德，太平郡祁县人。六世祖王宏，官至河东太守，封爵绵竹侯，因为堂叔司徒王允遇乱，辞官回家在新兴居住。后又继续当新兴雁门两郡太守，这是王玄谟自己说的。祖父王牢，在慕容氏那里做上谷太守。后被慕容德攻陷俘虏，住在青州，父亲王彦，早逝。
玄谟小时候便与众不同，族父王蕤颇会相人之术，常常微笑着对人说：“这孩子气概不凡，有我们家祖中的太尉王允的风格。”宋武帝巡察徐州。选他为从事史，和他谈话时觉得他气概不凡。少帝末年，谢晦当荆州刺史，请求他当南蛮行参军，武宁太守。谢晦造反失败，因为他不是主帅而被原谅，元嘉年中，补任长沙王刘义欣镇军中兵参军兼任汝陽太守。
当时魏人攻陷滑台，俘虏朱修之而去，王玄谟上了一道奏章说：“国家的土地刚开拓，马上便沦陷了，不仅有天时的原因，更是人力之故，虎牢、滑台的失守，不仅仅是将军的无能，更是因为国家根基不牢。国家根基不牢，则是因百姓害怕远方的征役。臣下请求从西陽的鲁陽、襄陽的南乡征调武器和士兵，分为两路，直接攻崤山，渑池，军队没有远距离运输的担心。将士们有经常休息的快乐。如果让我国东方部队来攻取虎牢和洛陽，道路遥远，攻克就更难了。”王玄谟多次呈进北伐的计策。文帝对殷景仁说：“听到王玄谟上来的奏策，让人有封狼居胥的气概。”以后他当义安侯刘义宾辅国司马，彭城太守。义宾死后，王玄谟上疏说由于彭城正当水路陆路的中心，请求让皇帝的儿子镇抚徐州，于是文帝让武帝刘骏来此镇守。
到了大举北伐的时候，朝廷让王玄谟做宁朔将军，率前锋进入黄河，接受辅国将军萧斌的指挥，王玄谟率兵攻向石高石敖，敌人戍守的将领逃走。于是进围滑台，好几十天还没攻下，魏国皇帝拓跋焘正率领大军号称百万向南进攻。军鼓的声音，震动天地。王玄谟率领的军队也很严肃整齐，武器精锐，但王玄谟刚愎自用经常杀人立威。刚开始包围石高石敖时城内有很多茅屋，将领们请求用火矩绑在箭上射进去烧毁它们。王玄谟怕减少我们战利品的数量，没有听从。而城中的人马上便把这些茅屋撤掉。魏国诸将的救兵将到的时候，将领们请求用兵车筑成堡垒自保，王玄谟又不听从，将士们很有怨言。他捞取镑种钱财一匹布要求调换人家八百只梨子，因为这些大失人心。到拓跋焘的军队来时，于是迅速退兵，他手下的士兵逃亡死亡光了。萧斌要杀掉他，沈庆之说：“拓跋焘威震天下，率百万大军南来，王玄谟怎么能抵挡，杀掉自己的将领削弱自己，不是好计策！”萧斌才没有杀。当初王玄谟刚要被杀，梦到人家告诉他：“朗颂观音经一千遍便可以免除这个灾难。”醒了，朗颂它正好一千遍，明日他将被处决，仍然朗颂不停。突然有人传呼停止行刑。他被派代替别人戍守石高石敖。江夏王义恭，当征讨都督，认为石高石敖不能防守，召他回来，他被魏军追击，王玄谟大败敌军，飞箭射中他的肩膀。元嘉八年(431)正月回到历城，刘义恭给王玄谟写的信说：“我听说你反败为胜，肩膀上的金疮，未必不是金印的前兆！”
刘邵杀文帝时，王玄谟当冀州刺史。孝武帝讨伐刘邵。王玄谟派洛南太守垣护之率兵参加讨伐行动大事平定，调他当徐州刺史，加都督号，在南郡王刘义宣和江州刺史臧质造反时，朝廷暂任王玄谟辅国将军，拜官豫州刺史和柳元景共同向南讨伐。他的军队驻守梁山。夹着大江修成弯月形的堡垒。
不久又当豫州刺史，淮河流域的亡命之徒，司马黑石推举夏侯方进当皇帝，改他的姓为李弘，用此蛊惑众人。王玄谟攻打并消灭他们，升官宁蛮校尉，雍州刺史加上都督，雍州的人多是北方迁来的侨居者，王玄谟请求以当地的地界为线划这些人为当地人。当时的百姓不愿属于当地籍贯，此事作罢，当年，王玄谟又叫九品以上的官员上交租税，缩小穷富之间的距离。雍州境内的官员无不怨恨，民间谣传王玄谟想造反，当时柳元景正掌权，元景的弟弟僧景做新城太守，柳僧景借助元景的声望，下令南陽、顺陽、上潘新城各郡同时调集军队讨伐王玄谟。王玄谟叫他手下的人安静不动，以解除众人的怀疑，又派人迅速向孝武帝报讯。陈述事情的来龙去脉，孝武帝知道真情，迅速派主书吴喜公安慰他，又写信谈梁山的问题，“开始时我并不在乎，君臣之间正应相互保护，你姑且开心一笑，让你眉头开朗”。王玄谟性格严肃，从未轻笑，当时的人说王玄谟眉眼从来没有舒畅过。所以孝武帝用这来戏答，以后他又当金紫光禄大夫。兼任太常官职，创建明堂时，又以本官兼起部尚书。再领北方人的选拔工作。
孝武帝亲近和侮辱群臣，根据各人的相貌安排每人的外号，须多的人称他为羊，颜师伯缺几颗牙齿，称他为齿彦。刘秀之吝啬，称为老悭。黄门侍郎宗灵秀身体肥胖，朝拜起立不方便，每到君臣集会时，总是赐给他很多物品。想叫他谢恩。拜跪时翻倒在地，作为笑话。又刻画木头做宗灵秀父亲光禄勋宗叔献像，送到他家厅堂正中树立起来，柳元景垣护之都是北方人。而只王玄谟被称为老伧。孝武帝的称谓在下给各地的文告都照样，有次孝武帝替王玄谟作了一首四时诗说：“堇荼花供应春季的饮食，细粟的浆当做夏天的餐食，瓞瓜酱当做秋天的菜羹，白醋解除冬天的寒凉。”孝武帝又宠爱一个山昆山仑奴隶，名叫白主，常常安排在左右，叫他拿拐杖打众大臣，从柳元景以下都遭到毒打。
王玄谟，不久升官平北将军，徐州刺史加上都督号。当时北方正在发生饥荒。于是他散发自家的谷物十万斗，牛一千头用来拯救饥民。又兼官领军将军。
孝武帝逝世，他和柳元景都接受临终托付。外面的军事事务委托王玄谟。当时朝廷权力出自好几个人。王玄谟因为严肃刚正不被容纳。转官青州、冀州二州刺史，加都督号，前废帝已屠杀了颜师伯、柳元景等。犯乱一天比一天狠，又用领军将军的职号征调王玄谟。他的儿子侄儿都劝他称自己有病，王玄谟说：“我蒙受先帝的大恩，怎么能怕灾难。”于是即日起程。到后多次上书进谏劝说。又当面流泪请求缓和刑罚不要屠杀，来安定天下人民，前废帝大怒。
明帝即位，对他待遇很好，当时四方反叛，朝廷让王玄谟做大元帅率领水军向南讨伐，因为脚有病，允许他乘车出入。不久被调为车骑将军，江州刺史，在赭圻做建安王的副将。并赐给他诸葛亮的紧袖铠甲。不久，做左光禄大夫、开府仪同三司，兼护军将军。再任南豫州刺史。