瓦岗军首领翟让，本来是东郡的一个小吏，因为得罪了上司，被打进牢监，还被判了死罪。有个狱吏同情他，跟他说：“我看你是条好汉，怎么能在牢里等死呢。”一天夜里，狱吏偷偷地砸了镣铐，打开牢门，把翟让放了。
翟让逃出了牢监，逃到东郡附近的瓦岗寨，招集了一些贫苦农民，组织了一支起义队伍。当地一些青年人，听到这个消息，都来投奔他。其中有一个青年叫徐世勣（音ｊī），年纪才十七岁，不但武艺高强，而且很有计谋。
徐世勣劝翟让说：“这里附近都是贫苦的老乡，我们不应该去打扰他们；我看荥阳一带，来往的豪门富商很多，不如到那里去筹办点钱粮。”
翟让听从徐世勣的意见，带领农民军到荥阳一带，专门打击官府富商，夺取大批资财。附近农民来投奔翟让的越来越多，很快就发展到一万多人。
李密投奔翟让以后，帮助翟让整顿人马。那时候，附近各地还有一些小股的农民队伍。李密到各处去联络，说服他们联合起来，听从翟让指挥。翟让十分高兴，跟李密渐渐亲近起来。
翟让虽然有了很多人马，但是他并没想到自己能推翻隋炀帝。李密对翟让说：“从前刘邦、项羽，本来也是普通老百姓，后来终于推翻秦朝。现在皇上昏庸暴虐，百姓怨声载道，官军大部分又远在辽东。您手下兵强马壮，要拿下东都和长安，打倒暴君，还不是轻而易举的事！”
翟让听了很高兴，说：“您的意见太好了，我倒没想到这一点呢。”
接着，两人商量了一番，决定先攻打荥阳。荥阳太守向隋炀帝告急。隋炀帝派大将张须陀带大军镇压。
张须陀是镇压农民军的老手。翟让曾经在他手里打过败仗，这次听说又是张须陀来了，有点害怕。李密说：“张须陀有勇无谋，再加上他自以为强大，骄傲轻敌。我们利用他的弱点，保管能打败他。”
李密请翟让摆开阵势，正面迎击敌人；他自己带了一千人马在荥阳大海寺北面的密林里设下埋伏。
张须陀欺翟让不是他的对手，莽莽撞撞地指挥人马掩杀过来。翟让抵挡了一阵，假装败退。张须陀紧紧追赶，追了十多里，路越来越窄，树林越来越密，正是李密布置的埋伏圈。李密一声令下，埋伏的瓦岗军将士一齐杀出，把张须陀的人马团团围住。张须陀虽然勇猛，但是被伏兵层层包围，左冲右突，没法脱围，终于全军覆没。张须陀也被起义军打死了。
经过这一场战斗，李密在瓦岗军里提高了威信。李密不但号令严明，而且生活朴素，凡是从敌人那里缴获来的钱财，他都分给起义将士。日子一久，将士们就渐渐向着他了。第二年（公元617年）春天，李密劝说翟让，趁隋炀帝在江都巡游，东都空虚的机会，进攻东都。瓦岗军派人到东都刺探军情，被隋朝官员发觉，加强了东都的防御。李密就改变计划，提议先打东都附近的兴洛仓（在今河南巩县）。
兴洛仓也叫做洛口仓，是隋王朝建造的最大的一个粮仓。仓城周围二十多里，城里挖了三千个大窖，每个窖里贮藏着八千石粮食。这都是隋王朝多年来从各地农民身上搜刮来的血汗。
翟让、李密两人带七千名精兵攻打兴洛仓。这些兵士原是流离失所的农民，一听得攻打官府的粮仓，个个摩拳擦掌，勇气百倍。他们向兴洛仓发起猛攻。驻守在兴洛仓的隋军还想顽抗，但是怎么也抵挡不住像插翅猛虎一般的瓦岗军。兴洛仓被攻破了。
瓦岗军攻破兴洛仓以后，立刻发布命令，开仓分粮。兵士们打开一口口粮窖，让老百姓尽情地拿。受饥挨饿的农民从四面八方拥向粮仓，从头发花白的老人，到背着孩子的妇女，一个个眼里带着激动的泪花，前来领粮。大伙对瓦岗军的感激心情，就不用提了。
接着，瓦岗军又打败了东都派来的隋军救兵。到这时候，瓦岗军的指挥权渐渐集中在李密手里。翟让觉得自己的才能不如李密，就把首领的地位让给李密。大家推李密为魏公，兼任行军元帅。
瓦岗军在洛口建立了自己的政权后，乘胜攻下许多郡县，隋朝官吏兵士纷纷投降。瓦岗军一面继续围攻东都，一面发出讨伐隋炀帝的檄文，声讨炀帝的罪恶，号召百姓起来推翻隋王朝的统治。这一来，把整个中原都震动了。
正当瓦岗军胜利发展的时候，内部发生了严重分裂。翟让把首领位子让给李密后，翟让手下有些将领很不愿意。有人劝翟让把权夺回来，翟让却总是笑呵呵的不当一回事。但是这些话传到李密耳朵里，李密就很不高兴。李密的部下撺掇他除掉翟让。李密为了保自己的地位，竟起了狠心。
有一天，李密请翟让喝酒。在宴会中间，把翟让的兵士都支开了，李密假意拿出一把好弓给翟让，请他试射。翟让转过身子，刚拉开弓。李密布置好的刀斧手就动起手来，把翟让砍倒了。
打那时候起，瓦岗军开始走了下坡路。但是，北方由李渊带领的一支反隋军却正在强大起来。