投降的武卫将军费穆是尔朱荣的老朋友。尔朱荣年轻时，在洛阳当过一段时间的军官，两人当时就认识。如今久别重逢，两人都很高兴，促膝长谈起来。
谈着谈着，谈出问题来了。尔朱荣和费穆很快发泄起对朝政的不满，感叹起军队地位之低、待遇之差。这一切都缘于北魏的“文武分治”。
北魏是马背上打下来的天下。自孝文帝汉化以来，“文武分治”，文官序列开始压过武将序列。文官职权上涨，发展前途广阔；武将升转、调任不易。渐渐的，朝野重文轻武，文官轻视武将。大臣都拒绝调任武职。饱受欺压的官兵们则越来越不满。孝明帝元诩时期，朝廷采纳大臣张仲瑀的意见，规定军官不能担任重要官职，不能进入权力核心。消息传出，驻扎在洛阳城中的禁卫军官兵发动骚乱，将始作俑者张仲瑀打成重伤，将其弟张始均丢到火里活活烧死。其父征西将军张彝也被打得奄奄一息，两天后不治身亡。可见当时的文武矛盾激化到了何等地步。
更大的矛盾在北方边界地区酝酿。为防御北方强大的柔然势力，北魏在东起河北、西至黄河河套地区，延袤两千余里的边境线上设置了沃野、怀朔、武川、抚冥、柔玄和怀荒六大军镇，调兵遣将驻守，称为“六镇”。初期，北魏朝野非常重视六镇。六镇的将领都从北魏贵族豪强，甚至是宗室子弟中挑选；官兵也是鲜卑族的精壮。六镇将领被视为“国之肺腑”，升迁的机会多，随时可以返回首都当京官；士兵们被视为“国家精锐”，地位崇高，待遇优厚。女子们都以能嫁给六镇的边将和士兵为荣。大规模汉化后，国家崇文轻武，游戏规则变了。在疆场上的英勇斩杀不再被人称道，诗书礼乐和朝堂上的尔虞我诈成了游戏的核心规则。六镇的政治、军事地位不断降低。六镇在汉化改革过程中被“遗忘”了，同样是鲜卑人的官兵们被排挤出权力核心，他们的升迁和待遇远远落后于内地的同族、同僚们。大多数人一辈子也不用指望升迁到内地去了。洛阳的贵族们将边将看作鄙夷的粗俗军人，傲慢得很。优厚待遇没有了，连吃穿都失去了保障，士兵们只好转而聚敛钱财，精壮的就到境外去掳掠财物，老弱的只能砍伐山林、耕种田地，辛辛苦苦一整年收入微不足道。更可悲的是，许多士兵拖家带口，常年滞留边镇，生活艰难且没有希望，类似于流放。
几十年间，六镇官兵从天堂跌入了地狱、从光荣的国家栋梁变为了羞耻的监狱苦役。被背叛、被忽视的情绪和怨恨，迫切希望改善处境的思想，充斥在六镇之中，最终引发了六镇起义。尔朱荣从镇压起义起家，其间收编了许多起义的六镇官兵，后者逐渐成了尔朱荣部队的主力。此时，他们正恶狠狠地盯着洛阳城的达官显贵们。
攻击文武分治和文官集团，成了尔朱荣和费穆的共同话题。费穆不知是为了表忠心，还是发泄不满，给尔朱荣出了一个残忍的主意：“您的兵马不到万人，如今轻易长驱直入洛阳，既没有战胜之威，恐怕不能长久服众。京师之众，百官之盛，一旦知道您的虚实，必然会产生轻侮之心。如果不‘大行诛罚’，树立亲信，恐怕等你北归之后洛阳就会发生变故。到时候，您就前功尽弃了。”费穆所说的百官“轻侮之心”指的是文官集团对军官们的轻视，尔朱荣久居军阵，自然感同身受。他对费穆的意见很认同。客观上，尔朱荣面对不费吹灰之力得来的胜利老觉得不踏实，对自身实力不自信。
于是，尔朱荣召集部将说：“洛阳人物繁盛，骄奢成性，不除掉他们恐怕难以控制。我想趁着百官出迎新皇帝之时，‘悉诛之’，如何？”尔朱荣已经把费穆的“大行诛罚”发展为“悉诛百官”了。部将慕容绍宗反对说：“我们之所以取胜，是因为太后无道，失去了民心。主公以正义之师入洛阳，突然要诛杀百官，不是良策。”尔朱荣没有采纳慕容绍宗的意见，还是决心大开杀戒来立威。
元子攸登基的第三天，尔朱荣以“祭天”为名，命令洛阳的百官到河阴行宫的西北集合参加。文武官员陆续赶到河阴。当时的场面非常混乱，大臣越聚越多，既没有人出面组织，也谈不上任何祭天的准备工作，反而有骑兵横刀立马、气势汹汹地环绕着群臣。
宣称已经出家的胡太后被从寺庙中搜了出来，连同她立的幼帝元钊一道被尔朱荣的骑兵押送到了河阴。胡太后看到杀气腾腾的尔朱荣，“多所陈说”，试图为自己的为所欲为辩解。尔朱荣没听几句就拂袖而去，下令把帝后扔到黄河里去。于是，士兵们把胡太后和元钊装入竹笼，溺死在黄河里了。
接着，尔朱荣把宗室诸王集合起来，开始训话。他大声追问王爷们“天下丧乱”、“明帝卒崩”的原因，诸位王爷无言以对。尔朱荣直言：“这都是你们贪腐暴虐，不相匡弼导致的恶果！”随即，他挥手示意屠杀在场的所有王公。高阳王兼丞相元雍、司空元钦、仪同三司元恒芝、东平王元略、广平王元悌、常山王元邵、北平王元超、任城王元彝、赵郡王元毓、中山王元叔仁、齐郡王元温等人遇害。其中，遇害的东平王元略是尔朱荣的内侄。元略平日自诩为皇亲国戚又是清流大臣，对赳赳武夫的姑父尔朱荣很轻慢，所以虽然是尔朱荣的近亲，也遭到无情杀戮。
宗室王公被杀，引起了云集的大臣们的恐慌。场面出现了骚动。外围的骑兵毫不犹豫地对手无寸铁的百官展开了屠杀。顿时，河阴尸体相陈，血流成河。遇害的官员人数在两千人左右，超过京官人数的一半，且都是有资格参与迎驾和祭天仪式的高级官员。被乱兵杀害的大臣不仅包括了素来为武人厌恶的众多世族大家子弟和奉行“文武分治”、鄙视虐待武人的文官（难怪士兵们杀起来那么起劲，一点都不含糊），也包括了很多追随元子攸、对尔朱荣有功的大臣，比如献出黄河投降的郑季明、李遐等人。当时聚集在洛阳的汉化鲜卑贵族和出仕北魏政权中的汉族大族，无论良奸，全部被刀劈斧砍，杀个精光。
有一百多位“祭天”迟到的大臣，被骑兵包围起来。士兵们举刀正要杀戮、大臣们伏地求饶的时候，有将领高喊：“你们谁能写禅文，可以饶他一命。”所谓的禅文，自然是让北魏皇帝禅让天下给他人。当时在包围圈中的陇西李神俊、顿丘李谐、太原温子升等人都写得一手好文章、名声在外，但不愿当乱臣贼子、耻于从命，趴在地上不吭声。御史赵元则很怕死，连忙爬出来说自己能写禅文。于是，尔朱荣的将士授意他写了一篇北魏国运已绝、尔朱荣堪当大任的文章。
在屠杀之前，尔朱荣有选择地保留了一批大臣，并不是对所有人都大开杀戒。元顺是个耿直忠心的大臣，在万马齐喑的大环境中多次不合时宜地死谏。尔朱荣很赞赏元顺的品格，事先派人传话给元顺：“大人留在洛阳办公，不必去祭天。”一些曾经对外地官兵有恩或者为武人鸣不平的官员，事先也得到了关照。比如江阳王元继对尔朱荣之前多方照顾和提携，被告知留在洛阳；大臣山伟曾经建议提高北方将士的待遇，被六镇官兵们认为是“好人”，屠杀当天特意被安排在洛阳值班。
还有一点容易被遗漏的史实是：部分大臣参与了对同僚的屠杀。这些人主要是不掌权的疏远宗室和洛阳的禁卫军将领。由于宗室繁衍以及朝廷对宗室成员的恩赏随着血缘的疏远而递交，越来越多的“皇亲贵胄”被排除出权贵行列。那些血脉疏远的元氏宗室生活并不如意，充满失落和妒忌。最终，他们加入尔朱氏的阵营，参与骨肉残杀。比如宗室元禹早在尔朱荣起兵前就投入麾下，参与了大屠杀的酝酿和实施；并州刺史元天穆也是宗室，老早就和尔朱荣结为异姓兄弟。尔朱荣起兵后，并州的政务就全权委托给了元天穆。此外，领军将军元鸷也是宗室，投靠尔朱荣后，在大屠杀当天还和尔朱荣一同登上高冢俯看血淋淋的屠杀现场。