曹操在世的时候，重视司马懿，曾两次请他来朝廷做官，第一次司马懿装病拒绝了，曹操疑心他不是真的生病，派人暗中去打探消息，司马懿及时应对，总算没有露陷。司马懿知道曹操不会善罢甘休，装病也躲不了一辈子，就等上一段时间，然后对外宣布身体痊愈了，应曹操邀请入朝为官。
曹操先后几次提拔司马懿，最后任命他为太子中庶子，专职辅佐曹丕。曹丕对司马懿十分信赖，曹操也经常和他商讨国家大事，大多采用司马懿的对策。没过多久，司马懿就因为功绩显赫而被提升为丞相军司马。
曹操去世后，司马懿主持丧葬，一切都安排得井井有条，令曹丕十分感动。后来曹丕继位成为魏王，立刻升司马懿为河津亭侯，兼任丞相长史。曹丕即位后一直谋划着篡权夺位，自立为皇帝，司马懿当然很清楚他的想法，于是给他提出了很多建议。曹丕成功称帝后，司马懿被任命为尚书，没多久又转为督军，随后升任御史中丞、侍中、尚书右仆射，并被封为安国乡侯。
曹丕去世前，把太子曹叡托付给司马懿和曹真、曹休、陈群三位大将军。曹叡即位后，史称魏明帝，司马懿被封为舞陽侯并骠骑将军。
自从街亭失守后，诸葛亮多次带兵北上伐魏，司马懿亲率大军与之对抗。公元229年，诸葛亮出兵攻打魏国的武都、陰平两个郡县，司马懿作为大将军带兵前去迎战，另有曹真率主力军从长安出发增援，左将军张郃带领一队人马从斜谷出发，司马懿则从荆州渡汉水来到西城（今陕西安康西北），三支部队在汉中会合。司马懿从水路和陆路进攻蜀郡，一直打到新丰，蜀军大败。后来连日大雨，司马懿见天气不利于作战，蜀军损失惨重，料想诸葛亮也不会再有反扑的机会，便班师回朝了。
公元231年，经过一段时间休整后，诸葛亮又一次挥军北伐，包围了祁山地区。司马懿立刻带兵驻守长安，其他部将各自做好抗击蜀军的准备。这一仗打得十分激烈，蜀军抢在魏军之前收获了占据地的麦子，使军队的粮食不至于短缺，让蜀军有足够的时间和精力与魏军抗衡。然而诸葛亮在一次决策上的失误导致蜀军占了下风，而诸葛亮也在不久后因病去世。
公元234年，诸葛亮病死在五丈原（今陕西岐山五丈原），七年北伐随之结束，这场漫长的战役最后是魏军取得了胜利，司马懿因功被升任为太尉，他本来还想乘胜进攻蜀汉，可是被魏明帝制止了。
公元235年，占据辽东的地方军阀公孙度引起了司马懿的注意，公孙度对魏国的态度始终摇摆不定，一会儿同意归降，一会儿又举兵造反，到后来态度越来越恶劣。公孙度的孙子公孙渊成为辽东太守后，一点儿也不把魏国放在眼里，到了公元237年，公孙渊公开宣布脱离魏国，自立为燕王，定都襄平（今辽宁辽陽）。
在得到魏明帝的准许后，司马懿带着骑兵和步兵共四万人，浩浩荡荡从京城出发，历时几个月时间来到辽东边境。公孙渊得知魏军来袭，慌得连忙让大将军卑衍等人带兵在边境布置下20里长的防线。
然而公孙渊的防御没能抵挡住魏军的进攻。司马懿故意在南边竖了很多旗帜，作出准备进攻的样子，公孙渊的军队便把主力全部集中到南边防守，而魏军主力早已在掩护下度过辽水，不攻打辽军军营，而是直接襄平奔去。这完全出乎公孙渊的意料，慌乱之间，驻扎辽水的军队匆忙赶回襄平，可是他们抵不过早有防备的魏军，三次交锋都以失败而告终。最后，司马懿顺利取得辽东战役的胜利，一举攻克下襄平。
可是就在这个时候，京城却送来了魏明帝的急信，要求司马懿接到信件后立刻赶回洛陽。司马懿猜到朝廷一定发生了很重要的事情，于是日夜兼程往回赶。到了洛陽后，司马懿才得知魏明帝已经病入膏肓，在床榻上奄奄一息。司马懿连忙进宫，魏明帝只剩下最后一口气了，他把司马懿和皇亲曹爽叫到床边，命他们二人好生辅佐太子曹芳，说完这些，明帝就去世了。
太子曹芳登基成为魏少帝，司马懿任太尉，曹爽任大将军，两人实力不相上下，各自拥有兵权。曹爽一开始对司马懿很尊重，有什么事情都和司马懿商量，久而久之，他觉得有些厌烦了，加上亲信们在一旁怂恿，曹爽慢慢地有了专权的想法。曹爽想方设想哄骗少帝把司马懿降为太傅，这样一来，司马懿手上没有一点实权，也没有兵力，对曹爽构不成威胁。司马懿知道曹爽的想法，他表面上不动声色，其实心里早就有了盘算。
大将军曹爽掌握了魏国全部的兵力，不免骄傲自大起来，他不管司马懿的劝阻，强行领兵攻打蜀汉，结果被蜀军大将王平击败，几乎全军覆没，只得狼狈逃回洛陽。
公元247年，曹爽采纳亲信的计谋，和曹羲一起把太后囚禁到永宁宫，并逼迫魏少帝曹芳任用自己的亲戚和心腹，一时之间，朝廷内外全是曹爽的手下。曹爽还几次修改律法，到处横行霸道，唯我是尊，引起其他大臣的强烈不满。
司马懿表面上不愿和曹爽正面冲突，他上奏少帝，辞去太傅一职，回家养病去了。曹爽不放心，派人去调查司马懿的病情，得知司马懿真的病入膏肓后，心里悬着的石头才放了下去。从这之后，曹爽更加肆意妄为。其实司马懿表面上是在养病，暗地里集结了很多有势力的大臣，准备寻找机会消灭曹爽。
公元249年，魏少帝带着曹爽、曹羲和一些大臣去给魏明帝扫墓。司马懿听到消息后，立刻精神抖擞地穿上盔甲，进宫面见太后，请太后下令罢免曹爽等人的职位。曹爽和他的手下在城外接到了太后的懿旨，吓得不知所措，他们苦苦哀求魏少帝，可是魏少帝也不敢违背太后的命令，回朝后就下令出去曹爽及其弟的官职和兵权，那些被曹爽安插在朝廷的心腹也被司马懿全部除掉了。
曹爽被废后，只能呆在自己的府里，司马懿派兵把府外围了个水泄不通，防止曹爽逃跑。后来司马懿以谋反的罪名判处曹爽死刑，他的弟弟和几名心腹也被判处死刑，并诛灭三族。从这之后，魏国政权落入了司马家手中。
司马懿死后，他的儿子司马师继承了他的职位，继续专权。公元254年，司马师得知李丰、张缉等人密谋策划废黜自己，便毫不犹豫地除掉了他们，魏少帝也受到牵连，被司马师废了皇帝身份，贬为齐王，随后，十四岁的曹髦被立为皇帝，大权全部被司马师所掌控。