1929年3月，蔣介石為了控制國民黨中央，伙同陳果夫等操縱召開了國民黨第三次全國代表大會。“三全大會”前夕，為保證蔣介石對黨權的絕對控制，陳果夫用圈定、指派大會代表的方法，對非嫡系人選加以排斥，把大批忠于蔣介石的人拉進了大會。此舉遭到汪精衛等“改組派”分子的堅決反對。谷正綱沒能當上“三全大會”代表，一氣之下加入汪精衛陣營，成為積極的倒蔣分子。

1928年3月14日，“三全大會”召開的前一天，谷正綱在南京市國民黨黨員代表大會上大喊反蔣口號。會場里的“CC”分子和“黃埔系”等蔣系人馬聽后怒不可遏，一邊沖上臺去大打出手，一邊溜出去叫人，隨后陳果夫的手下沖入會場，“改組派”也不甘示弱，雙方頓時混戰起來。不久，一批“黃埔系”趕來助陣，這些人受過軍事訓練，“改組派”立刻敗下陣來，谷正綱被打得鼻青臉腫、身受重傷，還被對方扭送至國民黨中央黨部大禮堂。國民黨中央黨部隨后宣布撤銷了谷正綱的職務，讓他“聽候查辦”。

谷正綱挨了打后，氣急敗壞地向國民黨中央常委會“控訴”，但沒人理睬，而“CC”分子和“黃埔系”卻對他恨之入骨，發動了許多人去中央黨部請愿要求“嚴辦兇手”谷正綱，甚至有人威脅想把他“劫走處死”。當谷正綱從國民黨中央黨部被放出時，一批人早已在門口等候，見他出來，立即上前攔截并暴打谷正綱。幸好“改組派”也有所察覺，提前組織了一批人在中央黨部門口等候。見有人上前打谷正綱，于是沖上去保衛，兩撥人又打了起來。谷正綱好不容易才被同伙救出，于是趕緊隱藏起來，并連夜跑去上海。

從此，谷正綱因兩次挨打出了名，成了“改組派”的一員干將。1931年底，蔣、汪“重新和好”，谷正綱憑著兩次挨打的“巨大影響”，終于弄到了一個國民黨“中央執行委員”的頭銜。由于“選舉”場所設在當時的聲色之地“大世界”，故谷正綱被時人戲稱為“大世界中委”“野雞中委”。