在贾诩的谋划下凉州军重新集结，在李傕、郭汜、张济等人率领下浩浩荡荡向长安杀来。

李傕等人从陕县出发时也只有三四万人，但大军一路行进，不断有凉州军旧部加入，樊稠、李蒙等凉州军将领也闻讯率部赶来，人马越聚越多，到达长安时已经超过了10万人。各地的凉州军旧部本来都准备散伙，听说有人挑头讨伐王允，自然跟来了。凉州军一到长安城外，立刻把城围了起来，看到这阵势，王允傻了。

王允这才想起和谈，他派胡文才、杨整修出城去见李傕等人，捎话给凉州军，只要撤兵一切都好商量。但是晚了，李傕等人看到手下有了这么多人马，心里想的就不再是自己如何活命，而是想要别人的命。而胡文才、杨整修二人一见到李傕，不提和谈的事，反劝李傕他们加紧攻城，告诉李傕城里的防守兵力很有限。凉州军挑战，王允派胡轸和徐荣出城迎敌，不出所料的是，胡轸投降，徐荣战死。

凉州军继续攻城，皇甫嵩以国武装部队副总司令（车骑将军）的身份主持守城事务，吕布协助他。长安也是京城，城墙相当厚实，攻起来并不那么容易，但凉州军好像发了疯似的，死多少人都不在乎，非攻下来不可。

他们个个嘴里嚷着为董太师复仇，其实大家心里最清楚，城里有粮食，有大量的财宝，仅收缴董卓的财宝就数不清。而粮食更重要，董卓被杀后李傕等人就断了供应，凉州军将士现在都饿得很。

打开长安城，一切都有了。

皇甫嵩是一名有经验的老将，在他的指挥下，守城将士打得还算顽强，王允不断给大家鼓劲：“顶多坚持一个月，关东方面的援军准到！”但是只守了八天，城里就出现了叛军，长安城被攻破。

叛变的是叟兵，叟人是西南的一个少数民族，叟兵以打仗勇猛而著称，这支叟兵人数有1000多人，是益州牧刘焉派来协助朝廷的，董卓执政时他们就来了，董卓死后，他们归朝廷指挥。

叟兵打开东门，凉州军杀入长安城。城破时吕布带着几百名骑兵杀出城去，这一行人里应该有张辽、高顺等人。吕布临走时不忘把董卓的人头挂在马鞍上，这个东西他见着袁术、袁绍时还用得上。路过青琐门，吕布看到了王允，招呼他一块走。王允不想走，慷慨激昂地说：“如果社稷有灵，可以保佑国家平安，这是我最大的愿望。如果这个愿望无法实现，我愿意为此献出生命！”王允让吕布带话给关东联军的诸位首领：“天子现在还年轻，现在都依靠我。灾难来时我只顾自己逃命，实在不忍心啊！你见到关东联军的各位同人，一定要勉励他们时刻不能忘了皇上！”

吕布只得自己逃命，李傕、郭汜率兵攻到未央宫南宫掖门，在这里杀了太仆鲁馗、大鸿胪周奂、城门校尉崔烈、北军越骑校尉王昕等朝廷高官。长安城里，凉州军见人就杀，见东西就抢，官民死了1万多人，在当时这是一个很大的数字。

街道上到处是尸体和烧抢的痕迹，一片混乱。王允扶着吓坏了的献帝登上宣平门，李傕等人来到城门下，伏地叩头，献帝打起精神，勉强对李傕等人喊话：“你们放纵士兵，想做什么？”李傕等人回答：“董卓忠于陛下，而无故被吕布所杀，臣等为董卓报仇，不敢造反，请求的事批准后我们自会到有关部门请罪！”凉州兵围住楼，非要让王允出来对话，他们大声质问：“董太师犯了什么罪？”王允无法回答，只好下了城楼。

凉州军重新控制了朝廷，李傕胁迫献帝任命自己为扬武将军，郭汜为扬烈将军，樊稠为中郎将。三个月后，李傕升任车骑将军兼司隶校尉，郭汜、樊稠分别升任为右将军和后将军，他们共同主持朝政。张济也升任骠骑将军，按说这个职务高于李傕的车骑将军，但他似乎受到了排挤，率本部出屯潼关以东的弘农郡一带。

和凉州集团关系密切的西部割据势力首领韩遂、马腾等人听说长安大乱，也带兵前来凑热闹，想浑水摸鱼。他们只得任命韩遂为镇西将军，让他驻扎在金城，即今甘肃省兰州市，任命马腾为征西将军，驻扎在董卓昔日苦心经营的大本营郿坞附近。

对朝廷里原有的大臣，李傕等人分别对待，有的留任，有的被杀。前车骑将军皇甫嵩因为有巨大的声望，凉州军不敢动他，改任他为太尉。不久，皇甫嵩因病去世，朝廷追赠他为骠骑将军。赵谦被任命为司徒，接替王允，马日？仍为太尉，杨彪担任了司空。而王允及其追随者，则被李傕等人杀了。

为凉州军立下大功的贾诩被拟任为左冯翊太守，并且准备给他封侯，被贾诩拒绝了，贾诩大概很清楚，自己出的一个主意虽然是为保命所迫，但带来了严重的后果，他哪里敢再以此居功。贾诩自愿到尚书台任职，李傕想任命他当尚书仆射，贾诩又推辞，他最后只担任了尚书，开始慢慢和凉州军那些将领们拉开了距离。

吕布出了长安，从武关道逃往南阳郡方向，在南阳郡的宛县吕布见到了袁术。吕布认为自己杀了袁氏的仇人董卓，理所应当接受袁术的谢恩，但袁术是个从来不做赔本生意的人，看在杀了董卓的面子上对吕布等人倒给了个好脸，但时间一长也不再待见他们，吕布向袁术要粮要钱，袁术说没有。