让江不安的是，政协主席李瑞环从来没有发表过镇压法轮功的言论，如果他继续留在十六大政治局常委会里，将构成对江的威胁，因此将不惜任何代价要将李瑞环搞下台。对权力并不在乎的李瑞环表示同意陪江一起下台。其后中共政治局通过了关于江泽民劝退的决议，并同意接受其亲信进入政治局。这件事的严重性就在于，十六大政治局及常委会里江氏人马占了多数，江显而易见就成了政治局的后台老板。
按理说，对于这样的安排，江泽民应该表示满意，但是江的内心依然极度恐惧，因为在美国被法轮功学员以“群体灭绝罪”告上法庭后，江迫切需要元首豁免资格，但是江要保留国家主席已无可能。作为“前任国家元首”，他已没有豁免权，所以江唯一能做的就是攥紧枪杆子，继续保留军委主席之职，左右胡锦涛，干涉司法公正，以逃避被审判。于是，由曾庆红出面，找在十六大上应该退休的军委副主席张万年密谋江留任的问题，并告诉张，事成之后将让他当国防部长。
2002年11月8日，中共十六大开幕，江泽民不在新的中央委员会预选名单内。这意味着江不会进入新的中央委员会，不会担任任何党和国家的领导工作。全国上下一片欣喜，所有的人都认为江这次真的彻底下台了。几位重量级的元老，例如万里，认为一切都按照政治局的决议在进行。但是13日，在中共十六大主席团常委第四次会议上，张万年突然发难，提出了由二十名主席团成员（全部为军人）连署的“特别动议”，建议江泽民留任新一届中央军委主席。
张万年发言后，被江一笔勾销儿子十亿大案的李岚清、还有女儿成为江人质的刘华清立即表示：完全支持“特别动议”。接着，根本不把胡锦涛放在眼里的张万年又逼胡表态。
会场里鸦雀无声，连呼吸声都听的见，大家都知道胡锦涛要不同意，当时就能被军人带走软禁起来。胡锦涛低声说道：“个人完全赞成张万年、郭伯雄、曹刚川等二十位同志的提议。”江微微笑了。接着，举手表决。除李瑞环、尉健行、曹庆泽三人弃权外，张万年等二十人的“特别动议”获得通过。
这起突然袭击，是一次有部署、有预谋的、由军人出面、江泽民在背后策划授意张万年等搞的不流血的军事政变。而江在得逞后很快把对张万年的承诺忘到了一边，让张“解甲归田”了。当时请假未到的万里听到此消息后气得浑身发抖，拍案大骂江，并愤然退出主席团常委会，以示抗议。
按照事前商议的结果，中共十六大选举了胡锦涛为中共总书记和国家主席，温家宝为国务院总理，吴邦国和贾庆林分别任人大委员长及政协主席。此外，江系人马黄菊，曾庆红，吴官正，李长春和罗干被选进政治局任常委。这届中共新政权中，大部份是江系人马，而且都是贪污受贿的重量级官员。
然而，走上前台的胡锦涛却并不轻松，因为他面临着两个权力中心的矛盾。十六大后，江给9个常委定下几个规矩，其中最重要的是9个人组成的政治局常委会为集体领导，没有核心，因为江不能容忍胡锦涛取代自己成为新核心。江的另一个重要指示是，小事情、一般事务，大家商量着办，而关键问题要江拍板。这样即使江下台，胡锦涛也掌握不了权力。
但这种领导方式被称为“不三不四”，因为既不是第三代，也不是第四代。更可笑的是党的总书记、国家主席胡锦涛是军委副主席，而普通党员江泽民是军委主席，党领导一切就成了笑话。
胡江之间的矛盾和争斗在进入2003年后更趋于激烈了，但依靠中共元老的支持，胡锦涛也在暗中使劲。比如在胡江的排名问题上、在是否坚持所谓的“三个代表上”、在萨斯问题上，等等。
从2004年伊始，江开始面临着其下台后更多的挑战，这些挑战让其心惊肉跳，让其寝食难安。首先，江的历史问题和生活丑闻被要求调查；其次，海外出现了“踩江”活动；其三，蒋彦永要求为“六四”平反的公开信现身和六四光碟，这让靠“六四”镇压上台的江泽民十分着急。此外，邓家捅破天窗凸显对江垂廉听政的反感，甚至好出现了老军人闯入中南海给江送花圈的事件。而且，海外“诉江”如火如荼地展开，江泽民在多国被起诉。
胡江斗中胡锦涛渐占上风。他首先向江的老巢上海砍出了第一刀，将号称“上海首富”的周正毅以操纵证券交易价格罪和虚报注册资本罪判刑3年。其后又查办了上海市委书记陈良宇等。
四面楚歌中的江是无可奈何花落去，但江仍不死心，希望通过出版代表其观点的自传来挽回一些影响，其迫切心理超过了以往。最终美国花旗银行的执行董事罗伯特劳伦斯库恩在获得中共允许其在国内开展更广阔的业务后，按照江的意图写了《江泽民传》。这本伪传肉麻的对江大唱颂歌，而对于江出卖领土、迫害基督教家庭教会、民主人士和法轮功，以及江的糜烂生活、贪污腐化等却只字不提。在法轮功的问题上，该书完全是江的口吻，极尽歪曲诬蔑之辞。
就在这一年8月，洪学智、刘华清、杨白冰等老将军在中央组织生活会上，突然提出江应在四中全会上辞去中央军委主席职务的建议，得到了上届政治局委员、中央军委副主席迟浩田，中央军委委员王克、王瑞林等的支持。老将军们的看法由中办转至中央委员和候补中央委员。有四十多名中央委员、候补中央委员进行回应，致信政治局，认为江全退的时候到了。
8月下旬，江在北京西山的中央组织生活会议上当面批评胡温，指责胡温要对宏观调控负历史责任，说宏观调控严重影响经济增长，还说如果再引起社会动乱，胡温要负历史责任。但胡这一次没有买它的帐，反而据理力争，同时抬出乔石和万里等党内元老压制江的气焰。这样，西山会议成了胡温和江摊牌的会议。
老将军的“逼宫”和胡温的不买账，让江一时无法收场。江因此在会上假惺惺的表示可以随时退下，决不恋栈，请政治局常委会决定。江在政治局常委会安排了很多自己的人，江相信此举没有太大风险。果然，中央政治局常委开会研究后，决定不讨论江退下的问题。这正符合江的真实意思。江知道后大为兴奋，认为自己还是大权在握，有点飘飘然，决定把姿态做得更高一些。
9月1日，江给中央政治局发了一封信，信中强调自己经过“慎重考虑”，提出请辞中央军委主席。江的真实想法是想做个姿态，平息别人对其贪权的指责，并不是真心想交权。江相信自己提拔的人最后会“挽留”他，然后它就可以再度上马，名正言顺的继续垂廉听政。但这一消息很快就被另一派人马透露到海外。9月6日《纽约时报》就透露了江自己请辞的消息。江的处境非常被动。
9月初，江派居多数的中央政治局常委会正式讨论江的请辞信，内部出现分歧。最后的决定是原则上接受江辞去中央军委主席职务，但鉴于当前形势需要，请江留任到2005年年底。
按照惯例，政治局常委会的意见要交政治局讨论，并征求一些离休人员和上届政治局常委的意见。除中共十五届政治局常委会常委朱镕基、李岚清“不表示意见”外；李瑞环、尉健行、李鹏均顺势表示要“尊重”江的要求，支持其退下。中共元老万里、乔石、宋平、谷牧等也表态“尊重”江的决定。
距离四中全会还有五天，政治局连续讨论江的去留问题。会上，个人利益和江紧密相连的那几个人要求江留任至2005年，所持理由是台海形势险恶，江留任可以为胡分挑担子，云云。当中央政治局常委会把征集来的促江下台的元老和上届政治局常委的意见发至中央委员、中央军委委员时，江已无力回天。
9月13日，中央政治局又召开了扩大会议，中央军委委员出席参加了讨论。会上，被江亲手提拔起来的中央军委委员徐才厚、梁光烈、廖锡龙、李继耐等纷纷表态，支持江提出的“请辞”。9月14日，离四中全会还有一天时间，政治局讨论江去留的会议，从下午一直开到晚上近十一时才结束，最后决定江下台。江的军师曾庆红一看风头不对，也赞成江下台。
江在最后几天指示说，万一自己必须退下，应尽量让江系人马掌握更多实权。在9月14日的中央政治局会议上，江系人马提议增补曾庆红为中央军委副主席以及增补广东省委书记张德江、上海市委书记陈良宇为中央书记处书记，但两项议案均未通过。
2004年9月19日十六大四中全会最后一天，江被宣布下台。9月21日，为美国《纽约时报》工作的中国助理赵岩在上海休假时被逮捕带回北京。曾庆红把持的国安试图从他打开突破口，查找军方哪股力量在向海外透消息造舆论，使江假戏成真。
江交出军委主席的职务，是江全面退出历史舞台的开始。尽管江不再频频出现在电视上，但是其所留下的诸多问题和犯下的罪行，不可能一笔勾销。事实上，其统治期间对中华民族和中国社会造成的巨大危害和破坏却依然存在。他是当今中国社会诸多乱象和灾难的制造者。