沒(méi)想到卻因此引來(lái)一場(chǎng)軒然大波，按一般慣例，協(xié)定草案應(yīng)先向外交部長(zhǎng)匯報(bào)，并經(jīng)內(nèi)閣全體會(huì)議討論罷方可簽字。王正廷可能是疏忽了，竟忘了這道程序。結(jié)果，外交總長(zhǎng)顧維鈞首先起來(lái)反對(duì)，他提出草案中有三大疑點(diǎn)：按規(guī)定應(yīng)廢除沙俄同中國(guó)以及其他列強(qiáng)簽署的有關(guān)中國(guó)的一切條約，卻不包括蘇俄同外蒙“獨(dú)立”新政府簽署的條約；蘇聯(lián)從外蒙撤軍具有條件性；俄國(guó)東正教會(huì)房地產(chǎn)的移交問(wèn)題。顧維鈞的態(tài)度得到內(nèi)閣同僚的一致附和。同時(shí)，列強(qiáng)也千方百計(jì)想加以阻撓，因此北京政府宣布王正廷越權(quán)，提出中蘇顧維鈞與加拉罕之間直接進(jìn)行。
蘇方對(duì)此作出強(qiáng)烈反應(yīng)。3月16日，加拉罕下最后通牒，限北京政府3日內(nèi)承認(rèn)草案。3天期滿(mǎn)后，他又轉(zhuǎn)達(dá)蘇聯(lián)政府的指示，說(shuō)中蘇之間的正式談判已宣告結(jié)束，如要重開(kāi)談判，中國(guó)必須立即恢復(fù)蘇聯(lián)的邦交。
此時(shí)，北京政府日子相當(dāng)難過(guò)，國(guó)內(nèi)各社會(huì)團(tuán)體紛紛通電，要求政府承認(rèn)蘇聯(lián)，簽訂協(xié)定，北京學(xué)聯(lián)更是以火燒趙家樓的舊事來(lái)警告顧維鈞，而顧維鈞家中確實(shí)有人送去過(guò)炸彈，結(jié)果誤炸了管家和廚師。另一方面，國(guó)民黨一大上正式確立的“聯(lián)俄”方針，使北京政府有蘇聯(lián)會(huì)同孫中國(guó)領(lǐng)導(dǎo)的南方革命政府建交的擔(dān)憂(yōu)。同時(shí)國(guó)際上也出現(xiàn)了競(jìng)相承認(rèn)蘇聯(lián)的熱潮。這一切，使北京政府恍然覺(jué)察，與蘇聯(lián)恢復(fù)交行已事不宜遲。
表面上，中蘇談判象是已中斷的樣子，但私下的磋商卻一直持續(xù)，北京政府態(tài)度明朗化以后，這種節(jié)奏進(jìn)一步加快。經(jīng)反復(fù)交涉，加拉罕同意中國(guó)方面提出的三項(xiàng)修正案。雙方還約定協(xié)議草案仍保持草簽時(shí)的原樣，修改通過(guò)聲明和交換照會(huì)進(jìn)行，聲明和換文。
5月31日，顧維鈞與加拉罕代表中蘇雙方簽署了《中俄解決懸案大綱協(xié)定》，協(xié)定包括正文及7個(gè)聲明、1個(gè)照會(huì)，還有《暫行管理中東鐵路協(xié)定》。前者規(guī)定，兩國(guó)立即恢復(fù)正常的使領(lǐng)關(guān)系，并在1個(gè)月內(nèi)舉行會(huì)議，商議解決懸案的詳細(xì)辦法，廢止帝俄與中國(guó)及第三國(guó)訂立的一切有損中國(guó)主權(quán)利益的條約，包括將來(lái)或現(xiàn)在的條約；蘇聯(lián)放棄庚子賠款的俄國(guó)部分和在中國(guó)境內(nèi)的一切租界、租借地，取消在華領(lǐng)事裁判權(quán)；中東鐵路由中國(guó)贖回，在沒(méi)有贖回之前，鐵務(wù)業(yè)務(wù)由兩國(guó)共管；蘇聯(lián)承認(rèn)外蒙為中華民國(guó)的一部分，一旦中蘇會(huì)議上商定有關(guān)問(wèn)題，駐外蒙的蘇軍將全部撤退。后者規(guī)定：中東鐵路純系商業(yè)性持，營(yíng)業(yè)事務(wù)實(shí)行兩國(guó)共管，其余所有關(guān)系中國(guó)國(guó)家及地方主權(quán)之各項(xiàng)事務(wù)，如司法、民政、軍事、警務(wù)、市政、稅務(wù)、地畝（除鐵路自用地外）等，均由中國(guó)政府管理，蘇聯(lián)政府將允諾中國(guó)將來(lái)可以贖回中東鐵路，及該路所屬之一切財(cái)產(chǎn)，并允諾將該路一切股票債票稱(chēng)歸中國(guó)，兩國(guó)政府承認(rèn)對(duì)中東鐵路之前途，只能中俄解決，不許第三者干涉。協(xié)議還規(guī)定：中東路設(shè)理事長(zhǎng)，為最高決議機(jī)關(guān)，理事長(zhǎng)為中方，副理事長(zhǎng)為俄方，設(shè)路局局長(zhǎng)一人由俄方擔(dān)任，副局長(zhǎng)二人，俄華各一，均由理事會(huì)委派，由各國(guó)政府核準(zhǔn)，正副局長(zhǎng)職權(quán)由理事會(huì)規(guī)定；路局各處正副處長(zhǎng)由理事公委派，如處長(zhǎng)為華人，則副副處長(zhǎng)為俄人，反之亦然；路局各級(jí)人員按中俄兩國(guó)各半任用。
張作霖在第一次直奉戰(zhàn)爭(zhēng)失敗后曾宣布“獨(dú)立”，公開(kāi)宣稱(chēng)：自1924年5月1日起，一切北京訂立關(guān)于東三省、蒙古、熱河、察哈爾之條約，未得本總司令允許者，概不承認(rèn)，故此為了爭(zhēng)取東北當(dāng)局對(duì)有關(guān)中東路協(xié)定的支持，蘇聯(lián)政府又于同年9月與東方地方當(dāng)局簽訂了《奉俄協(xié)定》，除重復(fù)《中俄協(xié)定》之內(nèi)容外蘇方還作了進(jìn)一步的讓步，中東路無(wú)償全部交給中國(guó)的期限從舊俄時(shí)代規(guī)定的八十年縮短為六十年，并在此期間內(nèi)允許中國(guó)贖回。
《中俄協(xié)定》同《奉俄協(xié)定》具有十分重大的意義，它是繼《中德協(xié)約》后中國(guó)與大國(guó)締結(jié)的又一平等條約，推動(dòng)了中國(guó)人民反帝運(yùn)動(dòng)的發(fā)展，并確定同年的9月3日－9日為全國(guó)的反帝國(guó)主義運(yùn)動(dòng)周，并發(fā)動(dòng)了收回教育權(quán)和非基督教運(yùn)動(dòng)，而中國(guó)在這兩個(gè)條約中也獲得很大的利益。