公元229年四月，吴王孙权正式即位称帝。蜀汉大臣大多数认为孙权称帝是僭号，要求跟东吴断绝盟好关系。诸葛亮却认为，蜀汉眼前主要对手是魏国。他坚持和东吴保持联盟，继续准备北伐。
公元231年，诸葛亮第四次北伐，出兵祁山。魏国派了一个大将司马懿和张郃等一起率领人马赶往祁山。诸葛亮把一部分将士留在祁山，自己率领主力拦击司马懿。
司马懿知道诸葛亮的战略。他认为诸葛亮孤军深入，带的军粮不多，所以在险要的地方筑好营垒，叫将士只守不战。
魏军将领以为司马懿害怕诸葛亮，一再请战，说：“您怕蜀军像害怕老虎一样，难道不怕天下人笑话吗？”
司马懿硬着头皮，带兵赶上去跟诸葛亮大战一场，结果被蜀军杀得一败涂地。但是蜀军由于后方的运粮官员失职，粮草供应不上，只好主动撤兵。大将张郃带兵紧紧追赶，赶到木门一带山谷地带，被诸葛亮预先布置好的伏兵用乱箭射杀了。
诸葛亮几次出兵，往往因为粮食供应不上退兵。他接受这个教训，设计了两种运输工具，叫做“木牛”、“流马”（两种经过改革的小车），用它们把粮食运到斜谷口（在今陕西眉县西南）囤积起来。
公元234年，诸葛亮作好充分准备，发动十万大军进行最后一次北伐。他派使者到东吴，约孙权同时发起攻势，南北策应，使魏国两面受敌。
诸葛亮大军出了斜谷口，到了渭水南岸的五丈原。为了作长期打算，他派一部分兵士构筑营垒，准备作战；另派一部分兵士在五丈原屯田，跟当地老百姓夹杂在一起耕种。蜀军纪律严明，百姓和兵士相处得很好。
魏明帝派司马懿率领魏军渡过渭水，也筑起营垒防守，和蜀军对峙着。
孙权接到诸葛亮的信，马上三路出兵进攻魏国。魏明帝也厉害，他一面亲自率领大军到南面抵挡东吴的进攻；一面通知司马懿在五丈原坚持，只守不战。
诸葛亮等待东吴方面的消息，但是结果使他很失望：孙权的进攻失败了。他想跟魏军决战，但是司马懿始终稳守营垒，诸葛亮几次三番向他挑战没有用。双方在那里相持了一百多天。
要使魏军出来打，只有想法子激怒司马懿。诸葛亮利用当时轻视妇女的风俗，派人给司马懿送去一套妇女的服饰。意思就是司马懿这样胆小怕战，还是回去做个“闺房小姐”吧。
魏军将士看到主将受到嘲弄，气恼得嚷着要跟蜀军拼。司马懿知道这是诸葛亮的激将法，并不发火。他安慰将士说：“好，我向皇上上个奏章，请求准许我们跟蜀军决战一场。”
过了几天，魏明帝派了一个大臣赶到魏营，传达命令，不许出战。
蜀军将士听到消息，感到失望。只有诸葛亮懂得司马懿的用意，说：“司马懿上奏章请求打仗，这是做给将士们看的。要不然，大将率领军队在外，哪有千里迢迢去请战的道理。”
诸葛亮料到司马懿的心理，司马懿也在探听诸葛亮的情况。有一次，诸葛亮派使者到魏营去挑战，司马懿挺有礼貌地接待使者，跟使者聊天，说：“你们丞相公事一定很忙吧。
近来身体可好？胃口怎么样？”
使者觉得司马懿问的都是些客套话，也就老实回答说：“丞相的确很忙，军营里大小事情都要亲自抓。他起得早，睡得很晚。只是近来胃口不好，吃得很少。”
使者走了以后，司马懿就跟左右将士说：“你们看，诸葛孔明吃得少，事务又那么繁重，能支撑得长久吗？”
不出司马懿所料，诸葛亮由于过度辛劳，终于在军营里病倒了。
后主刘禅得到诸葛亮生病的消息，赶快派大臣李福到五丈原来慰问。李福跟诸葛亮谈了一些军国大事，就走了。
过了几天，李福返了回来。他看到诸葛亮病势转重，哭了起来。诸葛亮睁开眼睛，对李福说：“我懂得您回来想问些什么。您所要问的人，我看就是蒋琬吧。”
李福说：“丞相说的是。皇上正要我问丞相万一身子不好，由谁来继任您的工作。那末请问蒋琬之后，谁可以继任呢？”
诸葛亮说：“可以由费袆（音ｙī）接替。”
李福还想再问下去，诸葛亮闭上眼睛不回答了。没几天，这个年纪才五十四岁的丞相终于在军营里去世。
按照诸葛亮生前的嘱咐，蜀军将领没有把他去世的消息透露出去。他们把尸体裹着放在车里，布置各路人马有秩序地撤退。
魏营的探子听到诸葛亮病死的风声，报告司马懿。司马懿立刻带领魏军追赶上去，刚过五丈原，忽然蜀军的旗帜转了方向，一阵战鼓响，兵士们转身掩杀过来。
司马懿大吃一惊，赶快拨转马头，下命令撤退。
蜀军将领等魏军离得远了，不慌不忙地把全部人马安全撤出五丈原。
这件事传到老百姓耳朵里，百姓编个歌谣嘲笑司马懿，说：“死诸葛吓走了活仲达（仲达是司马懿的字）！”
司马懿听了也不生气，说：“我只能料到活的诸葛，怎么能料到死的呢！”后来，他又亲自跑到蜀军原来扎营的地方，观察了诸葛亮布置的阵势，赞叹悦：“诸葛孔明真是天下奇才啊！”
诸葛亮想统一中原的愿望并没有实现，但是他的智慧和品格，一直被后代的人赞扬。在民间传说中，诸葛亮往往成为智慧的化身。在一篇相传是他写的《后出师表》里，有两句话，叫做“鞠躬尽瘁（原文是‘尽力’，后来写成‘尽瘁’，瘁音ｃｕì），死而后已”，人们认为这正是对他一生的评价。