唐玄宗执政二十多年，见天下太平，便渐渐滋长了骄傲怠惰的情绪。他说，天下太平无事，宰相管政事，将帅守边防，自己何必那么为国事操心。于是，他就追求起奢侈享乐来了。
宰相张九龄看在眼里、急在心上，常常给唐玄宗提意见。唐玄宗本来对张九龄很尊重，但是到了后来，再也听不进张九龄的意见了。
李林甫原是吏部侍郎，奸诈狡猾。他善于拉拢宦官和妃嫔，故而对皇帝的一举一动了如指掌。因此，他每次都能揣测到皇帝的心思而去奏旨，深得唐玄宗的赏识。当时唐玄宗对武惠妃最为宠爱，其子寿王李瑁也最受玄宗喜欢。李林甫谄附武惠妃，由此得以擢升为黄门侍郎。唐开元二十二年（公元734年）五月二十八日，李林甫、张九龄、裴耀卿三人分别被唐玄宗任命为礼部尚书、中书令、侍中，同为中书门下三品。
唐玄宗想提升李林甫为宰相，跟张九龄商量。张九龄看出李林甫是个心术不正的人，就直截了当地说：“宰相的地位，关系到国家的安危。陛下如果拜李林甫为相，只怕将来国家就要遭难了。”李林甫听到这些话，把张九龄恨得咬牙切齿。
朔方（治所在今宁夏灵武）将领牛仙客没读过书，但是很会理财。唐玄宗想提拔牛仙客，张九龄不赞同。李林甫在唐玄宗面前说：“像牛仙客这样的人，是合适的候选人；张九龄是个书呆子，没有大局观念。”
有一次，唐玄宗又找张九龄商量任用牛仙客的事。张九龄还是不同意。唐玄宗生气地说：“难道什么事都得由你做主吗！”
经过几件事，唐玄宗越来越讨厌张九龄，加上李林甫的挑拨，终于找了个借口撤了张九龄的职务，让李林甫当了宰相。
李林甫当上宰相后，第一件事就是要把唐玄宗和百官隔绝，不许大家在玄宗面前提意见。
有一个谏官不肯依附李林甫，上奏本向唐玄宗提建议。第二天他就接到命令，被降职去外地做县令了。大家知道这是李林甫的意思，以后谁也不再向玄宗提意见了。
李林甫自知在朝廷中的名声不好。凡是大臣中能力比他强的，他就千方百计地把他们排挤出朝廷。他要排挤一个人，表面上不动声色，笑脸逢迎，却在背地里暗箭伤人。
有一个官员叫严挺之，被李林甫排挤去外地做刺史。后来，唐玄宗想起他，跟李林甫说：“严挺之在什么地方？这个人很有才能，可以任用。”李林甫说：“陛下既然想念他，我去打听一下。”
退朝后，李林甫忙把严挺之的弟弟找来，说：“你哥哥不是一直很想回京城见皇上吗，我有一个办法能让他如愿。”
严挺之的弟弟见李林甫对他哥哥很关心，当然很感激，连忙请教怎么办才好。李林甫说：“只要叫你哥哥上一道奏章，就说自己得了病，请求回京城来治病就行了。”
严挺之接到他弟弟的信，果然上了一道奏章，请求回京城看病。这时，李林甫就拿着奏章去见唐玄宗，说：“实在太可惜了，严挺之现在已经得了重病，干不了大事了。”
唐玄宗惋惜地吸了口气，也就作罢了。像严挺之这样上当受骗的还有很多。但是，不管李林甫装扮得多么巧妙，他的阴谋诡计还是被人们识破了。人们就说李林甫这个人是“嘴上像蜜甜，肚里藏着剑”（成语“口蜜腹剑”就是这样来的）。
公元747年，唐玄宗欲广招贤士，下令凡有一技之长者，都可到长安参加考试。李林甫下令郡县官吏先行挑选，然后送到尚书省，由尚书复试、御史中丞监试，然后再挑选几人送至皇上。考试结果，李林甫只录取了一人，却向玄宗贺喜说：“这些人才能平庸，可见野无遗贤。”
李林甫在宰相的职位上，一干就是19年，一个个有才能的正直的大臣全都遭到排挤，一批批阿谀奉承的小人都受到重用提拔。在这个时期，唐朝的政治从兴旺走向衰败，“开元盛世”的繁荣气象也消失了，接着就发生了“安史之乱”。
这场安史之乱是唐朝历史上一次重大的动乱，起因是宰相李林甫的统治导致内外不和、腐败严重，加上安禄山和史思明等叛乱将领的倭乱，最终导致了唐朝的衰落和动荡局面。安史之乱持续了整整十四年，给唐朝带来了巨大的破坏和人员伤亡，国力也大幅度削弱。
因此，李林甫的权谋和腐败引发了唐朝的政治危机，为唐朝的衰落埋下了伏笔。他的行为也成为历史上被人诟病的典型，被形容为“口蜜腹剑”的典型代表。