胡虽觉异常，却也只得令左右在门外等候，随后步入房中。进了客厅，见厅内坐着戴季陶、朱培德、吴稚晖、王宠惠、何应钦、叶楚伧、陈果夫、陈立夫、张群等，都是蒋的亲信。这时，国府秘书高凌百走过来，引导胡进入另一房间。
胡汉民走进室内，见室内端坐一人，他定睛一看，端坐之人是南京市警察厅厅长吴思豫。胡不觉一愣，这时，高凌百将一封蒋介石签名加注的信递给了胡汉民，拆开蒋介石的信，胡汉民越看越看，原来，信中历数了胡的十大罪状。总的说来有两类：一是大革命时期就勾结许崇智，运动粤军，反对国民政府；二是身为立法院长，领头反对训政时期约法，挑起约法之争。
看罢信，胡汉民又气又急，要求蒋介石前来理论。约半个小时后，邵元冲走进来劝说，胡汉民才弄明白蒋的意思，只是要他辞职。对蒋介石失去信心的胡汉民，马上表示自己不仅可以辞去立法院长，甚至可以什么都不干。在幕后的蒋介石听胡此说，立即来到前台与胡汉民见面。
这时，胡汉民仍大骂不止，见蒋介石进来，遂怒斥蒋氏的无端指控。蒋介石听毕，一言不发，并拂袖而去。就这样，胡汉民被软禁了，气恼不过，一夜未眠。第二天一大早，胡汉民被押往汤山。于是，胡蒋斗争的第二个回合结束，蒋介石的强权政治战胜了胡汉民的所谓民主政治。1931年3月2日，国民党中央通过蒋介石提出的召开国民会议案，批准胡汉民辞去立法院长，由林森继任。
蒋介石随心所欲地非法扣押立法院长，实在无法向国人交待，于是便采取各种措施掩盖事实真相。首先，利用新闻界散布错误消息。3月11日，蒋介石控制的报纸都登载胡汉民请求辞职的消息，诡称胡在28日晚召开的会议上，因与蒋政见不一，争论不己，一气之下提出辞职，避居汤山。其次，蒋介石亲自出马大肆批驳胡汉民的主张。3月2日，他在国父纪念周上指责胡汉民犯了四大错误：第一，说胡汉民身为立法院长，竟敢独特异议，坚持不主张制定训政时期约法，曲解孙中山遗教；第二，斥责胡氏不顾本党与国民全体公意，固执己见，引起制定约法纠纷，给党国留下了无穷祸患；第三，指斥胡越权失言，蛊惑人心，其目的是欲以立法院长身份总揽大权；第四，宣称胡汉民一贯不听孙中山的话，而蒋则是完全按总理遗教办事的人。
蒋介石放的烟雾弹的确收到了预期的效果，不少人认为胡被蒋扣押的主要原因是反对约法，与蒋争当总统。其实不然，在被关押前，胡曾对蒋介石说过，约法不会提高自己身份，反而会降低自己信用。自己如果想做总统完全可以在蒋与闯阎大战的时候篡权，而不会等到现在。
除了这次谈话外，胡汉民在给邓泽如的一封信中更加清楚地表明了他反蒋的目的。胡汉民表示，他要支持的是凯末尔，而绝不是袁世凯，如果是袁世凯的话，他必然会反对他。
三、再次下野
1．孙科扛起了反蒋大旗
1931年3月8日，经过司法院院长王宠惠的劝说，由蒋介石本人批准，胡汉民被押解到胡在南京双龙巷的私宅内休养，但胡不许离开一步，不许与外界任何人交往，不许打电话，警察厅奉命派了20名手枪队员看守，宅内仅有胡的女儿胡木兰和一年老女佣随侍。
胡汉民原本有高血压病，蒋介石的这番动作，使他突受惊吓，血压升高，孙科便派了铁道部医官邓真德替胡看病。邓乃广东人，是孙之心腹，同胡汉民交情也很深。由于孙科的周旋，邓得以治病为由，见到了胡。邓对胡讲，孙科要其秘密问下步如何办，胡要邓转告孙科及王宠惠，务必在两广建立反蒋局面救他，甚至不惜与汪派合作。
邓将胡之语转告于孙科，孙遂暗嘱马超俊、梁寒操、王昆仑、钟天心、陈剑如、麦朝枢、周一志等7人，密议救胡之计。由马超俊出面，代孙写了几封密信，由王昆仑赴上海，钟天心回广州，麦朝枢、周一志去沈阳，游说各方反蒋势力，共同反蒋。并嘱周、麦二人路过天津时，顺便把西山会议派拉回广州。同时也要他们告诉汪精卫等人不要再反胡了，目标要一致。
胡汉民被蒋介石扣押起来后，想与汪精卫联合，为的是用他在国民党中的历史地位和影响，共同打击蒋介石，避免蒋汪联合，增加反蒋的阻力。
孙科的秘密反蒋活动，使蒋寝食不安，遂用手段拉拢孙科，设家宴请孙科吃饭。席间，宋美龄和蒋介石对他都十分热情，孙科并不为其言所动，只是虚情应酬。回宅之后，左思右想，感到自己现在在京，时刻有被蒋关押之险，遂于当夜离京到了上海。到上海后，孙科立即派梁寒操赴香港与汪精卫接洽，联汪反蒋。
汪精卫自中央扩大会议破产后，一直苦于没有出路，孙科的邀请，无疑让他看到了重返政坛的希望。所以，他立即表示将即刻赴广州，参加倒蒋。汪精卫到广州后，对人说：过去我和胡先生的不和，都是上了蒋介石的当。蒋介石之所以能专横跋扈，就是因为我们不能团结。这回反蒋，一定要合作到底。即使万一失败了去跳海，也要大家抱在一起去跳。此次反蒋大联合的“非常会议”，以胡汉民一派为中心。
胡汉民及古应芬、陈济棠等，只联合汪精卫本人，对汪派的其他人，如：原改组派的陈公博、顾孟余等，仍抱着算旧账的态度，极力排拒。而西山会议派的一些人则更为夸张，甚至有当众谩骂汪精卫，故意与之为难。为此，汪精卫声言要离开广州，经孙科、李宗仁、覃振等劝慰，勉强维持下来。
这时候，蒋介石见孙科到上海组织各方力量反对他，心中愈加着慌，忙派了蔡元培、吴稚晖、张人杰、李石曾四位元老赴上海游说孙科回宁。
四老抵达上海见到孙科，向孙科保证，党内纠纷由党内解决，胡汉民将恢复自由和职务。孙之反蒋决心为四老语言所动摇，答应回宁看看蒋是否有释胡之真意。消息传出，广州、上海的反蒋各派势力大哗，他们纷纷劝说孙科不要受其干扰，坚持倒蒋到底。此外他们提醒孙科若赴京，凶多吉少，十有八九被蒋扣留。这时，孙科通过麦朝枢，约邓演达到其宅中密谈反蒋之举，邓演达听说孙科将赴京，决定不去孙宅了，麦只得返回孙宅，打算向孙回秉邓之意。当时住在孙科家中的余铭、简又文从麦口中得知此情，力劝麦务将邓拉来见孙，希望邓能向孙进言，阻其赴京。
麦朝枢见二人说得有理，旋及又返回邓演达处，拉邓赴约，邓与孙一见面，邓就力劝孙万万不可赴京，以免上蒋的圈套。二人正密谈之时，陈友仁到。陈于1926年任国民政府外交部长，一贯紧跟孙中山，对孙中山的联俄、联共、扶助农工的三大政策，坚决执行，对蒋的四一二政变，汪精卫的分共，极力反对，不久即随宋庆龄赴苏联，后旋居欧洲，此时刚刚回国，便遇上蒋介石扣押胡汉民事件，陈自然也是坚决反蒋。
几人正秘密交谈之际，蔡、李、吴、张四老也来了，这样，邓演达、陈友仁、伍朝枢、简又文等人在楼上，孙科接待四老于楼下。四老从晚上9点磨到12时，仍然不走，只劝孙科赴京面蒋。楼上数人见四老不达目的不罢休，甚为焦急，但又不好暴露。最后，简又文出了个主意，要孙科夫人在楼上装病，其实孙科夫人身体也确实不好。孙夫人便制造了一个从床上摔到楼板地声响，让楼下的四老听，响声制造后，简又文便急匆匆下楼，向孙科报告夫人病重。孙科正被四老纠缠的没法，听简一说，便顺水推舟的说夫人病重，不能入京，同时表示了送客之态，四老见状，也只起身告辞。孙科没赴宁见蒋，而在上海团结了各方反蒋势力，从此身价大增。
