唐玄宗以唐太宗为榜样，任用贤臣，励精图治，开创了著名的“开元盛世”。可是，在当了二十多年的太平天子之后，他产生出了懈怠的情绪，逐渐开始纵情声色，不再理会国家大事。
吏部侍郎李林甫是一个不学无术的人，他没有什么本领，却非常善于拍马奉承，通过勾结宦官、讨好嫔妃的方式了解宫里的动静。唐玄宗在宫里的言行举止全都被他探听得一清二楚，因此，唐玄宗找他商议事情的时候，他总是能够按照唐玄宗的想法去回答。此外，他还经常在奏章中奉承唐玄宗，使得唐玄宗越来越喜欢他。
当时杨贵妃还没有进宫，唐玄宗十分宠幸武惠妃。寿王是武惠妃的儿子，因此深受唐玄宗的喜爱，太子和其他皇子逐渐遭到了唐玄宗的疏远。李林甫看到武惠妃得宠，便买通宫里的宦官讨好武惠妃，他还向武惠妃表示，他会尽全力保护寿王。武惠妃十分喜欢他，所以经常在唐玄宗面前提起他，并为他说了不少好话。
当时的宰相张九龄是一个非常正直的大臣，经常对唐玄宗说，不要因为取得了一点成绩就志得意满，贪图安逸。唐玄宗想让李林甫担任宰相，找来张九龄商量这件事。张九龄知道李林甫无才无德，根本不适合担任宰相，所以非常干脆地对唐玄宗说：“宰相是国家的重要官员，责任重大，关系到国家的安危。李林甫是一个不学无术的人，陛下如果让他担任宰相，那么国家将面临着巨大的危险。”
李林甫很快就知道了这件事，他非常气愤，恨不得将张九龄碎尸万段。冷静下来之后，他便下定了除掉张九龄的决心，因为他意识到，只要有张九龄在，他就无法当上宰相。于是，他开始利用每一个机会诽谤张九龄。
唐玄宗打算提拔朔方将领牛仙客，但张九龄认为，牛仙客虽然非常善于理财，可是一点儿文化也没有，不应该受到重用。李林甫摸清了唐玄宗的想法，便对唐玄宗说：“牛仙客是一个非常有才能的人，他才是宰相的最佳人选。张九龄不识时务，根本不应该担任宰相。”不久之后，唐玄宗再次就提拔牛仙客的事与张九龄商议。张九龄仍然坚持自己的观点，不同意提拔牛仙客。唐玄宗突然火冒三丈，大声说道：“我是一国之君，我想提拔谁就提拔谁，你管不着！”
公元736年，蔚州刺史王元淡因为贪污，受到了朝廷的调查。王元淡的妻子是严挺之的前妻。严挺之不忘旧情，打算为王元淡洗刷罪名，以保证前妻的安全。这件事很快就传入李林甫耳中，李林甫知道，张九龄与严挺之是非常要好的朋友，如果严挺之受到查办，那么张九龄一定会挺身而出，为严挺之辩护。于是，他就把这件事秘密地报告给了唐玄宗。事情的发展果然如李林甫预料的那样，唐玄宗追查严挺之的包庇罪，张九龄听说后极力为严挺之辩护。李林甫就利用这个机会，告张九龄与严挺之、裴耀卿等人结党营私。唐玄宗本来就已经很讨厌张九龄了，于是便罢了张九龄的宰相之职，将李林甫提拔为宰相。
李林甫当上宰相之后，为了独揽大权，他总是让那些没有主见、一味顺从的人与他一起共事。他推荐的左相牛仙客从来也不插手政事，所有政事任由李林甫一人处理。牛仙客死后，刑部尚书李适之被唐玄宗任命为左相。李适之也很喜欢权力，打算与李林甫争权，结果却遭到了李林甫的残害。此后，李林甫又把没有主见的陈希烈推荐为左相，一切朝政大权仍然控制在李林甫手中。
李林甫还把朝中大臣与唐玄宗隔绝起来，使得他们无法向唐玄宗提意见。他甚至公开对谏官们说：“我们的皇上非常圣明，他的旨意无不正确，我们这些做臣子的只需要按照他的旨意去办就行了，你们对他的旨意议论纷纷，根本就没有必要。皇宫前那些仪仗用的马匹，你们都应该见过吧！它们吃的饲料非常贵，与三品官的待遇不相上下，但是如果哪匹马敢叫一声，就会立即被杀掉，连后悔的机会都没有。”谏官杜琎根本没有把李林甫的话放在心上，仍然给唐玄宗上奏本提建议，可没想到第二天就被贬到外地当县令了。从此之后，朝中大臣全都惧怕李林甫，再也没有人敢向唐玄宗进谏了。
一天，唐玄宗想起了在外地当刺史的严挺之，他对李林甫说：“严挺之现在在哪里？他是一个很有才能的人，应该受到朝廷的重用。”李林甫说：“我也不知道他在哪里，但是我可以打听一下。”之后，他立即派人找来严挺之的弟弟，说：“我知道你哥哥现在在外地，非常惦记着皇上，很想回京来见皇上。我这里有一个非常好的办法，可以帮助他实现这个愿望。”严挺之的弟弟听后非常高兴，立即问李林甫该怎么做。李林甫说：“这还不简单！你告诉你哥哥，只要他上一道奏折，称有病在身，需要回京治疗，那就行了。”严挺之的弟弟觉得这是一个非常好的办法，所以很快就给他的哥哥写了一封信。严挺之果真按照李林甫的话，给唐玄宗写了一封奏折。李林甫收到这封奏折后，对唐玄宗说：“严挺之现在重病在身，无法继续为陛下效劳了。实在是太可惜了！”唐玄宗听罢，只得放弃了重用严挺之的想法。公元747年，朝廷举行科举考试，李林甫担心那些有才能的人受到提拔后会对自己不利，所以就利用自己的权势，使得全国没有一个人被录取。他还欺骗唐玄宗说，天下所有的贤能之人都已经在玄宗身边了。李林甫不仅阻止唐玄宗启用新人，还诬陷、排挤朝中声名显赫的大臣，使得文武官员全都听命于他。李林甫靠迁就和迎合玄宗的意旨得到唐玄宗的宠信，在唐玄宗时期连续十九年担任宰相之职，搞得大唐王朝政治黑暗，社会矛盾重重。
李林甫和人交往，总是在表面上显得很友好，嘴里说些非常好听的、善意的话。可实际上，他是一个狡猾陰险，经常出坏主意害人的人，与他的表面态度完全相反。日子久了，大家看清了他的真实面目，都在背地里说他“口有蜜，腹有剑”，这也正是成语“口蜜腹剑”的来源。