于右任離開鳳翔后向西入甘肅，下四川，在重慶被劉湘、楊森殷切挽留，住了數(shù)月，后乘輪船東下，于１９２２年６月間抵達(dá)上海。不久因陳炯明叛變，孫中山也于８月１３日到達(dá)上海。那一天，于右任和１００多位同志前往碼頭迎接，隨即又到法租界莫利愛路孫中山住處，報告西北革命４年的苦戰(zhàn)經(jīng)過，并謝負(fù)命之咎，孫中山安慰他說：“失敗何傷，我這次不也是因失敗來上海？”當(dāng)下于右任不勝感慨地說：“我的胡景翼，等于先生的陳炯明?！保保霸拢瑥?fù)旦大學(xué)成立２５周年時，特向創(chuàng)辦人之一的于右任贈法學(xué)博士學(xué)位，當(dāng)時于右任方滿４４歲。就在這個月里，他又與葉楚傖等人另創(chuàng)辦了一所上海大學(xué)，并出任校長。

１９２３年元月２１日，孫中山正式任命國民黨本部各部長，２３日委任于右任為參議。３天后，便派于右任北上，與蟄居天津的段祺瑞商洽要公。因為孫中山在當(dāng)日發(fā)布了一個很重要的和平統(tǒng)一宣言，提出裁兵計劃三綱要，以奠立和平之基礎(chǔ)，解決迫在眉捷的民生問題，避免人民遭殃，百事凋殘。如此重大的決策，孫中山要于右任代表他前晤段祺瑞，請段對和平統(tǒng)一宣言所列舉的裁兵計劃，表示支持。由于于右任一貫對孫中山忠堅，他決心圓滿地完成這一重大的歷史使命。號稱“北洋之虎”的段祺瑞在于右任的說服下復(fù)電欣然贊同，后來才有國民黨和北洋皖系、奉系通力合作討伐曹錕、吳佩孚的局面，這就是于右任奉孫中山之命的天津之行所奠定的基礎(chǔ)。２月２１日，孫中山抵達(dá)廣州設(shè)立大元帥府，續(xù)行大元帥職權(quán)。３月１４日，于右任自天津抵廣州復(fù)命。從此于留在廣州，追隨孫中山左右，襄贊一切，處理軍機大計。

１９２４年１１月１５日，孫中山北上，于右任自滬隨行。１９２５年元月底，孫中山病危時，指派于右任、李煜瀛、吳敬恒等為政治委員，代理庶務(wù)。其間孫中山派于右任赴沈陽與張作霖洽談，東北之行雖然圓滿完成，但于右任在孫中山逝世時，未有來得及趕回北京在總理遺囑上簽字，引為終生遺憾。５月上海發(fā)生“五卅慘案”，于在北京天安門廣場上登臺發(fā)表抗英演講。７月１日，國民政府在廣州成立，于右任被推為國民政府委員。１１月，林森等人召開了反對孫中山“三大政策”的“西山會議”，于右任表示反對，拒絕參加會議。年底，他親去河南，檢閱靖國軍部隊及將領(lǐng)，受到時任河南督辦岳維峻及部隊的盛大歡迎。在歡迎大會上，于發(fā)表演說：“革命是被壓迫階級對于壓迫階級的一種反抗行動；革命是人類社會進(jìn)化過程中的必有突變現(xiàn)象；革命是根本解放被壓迫階級根本改造社會的方法，革命是舍己利人，最高尚、最神圣、最光榮的事業(yè)。”他的講話不但闡明了為什么革命的道理，而且還教導(dǎo)了廣大官兵忠于孫中山的遺志，特別對于老部下岳維峻，更是殷切希望他帶好部下，完成國民革命任務(wù)。

１９２６年，國民軍在河北、山東相繼失利，馮玉祥率部退向察哈爾后下野，去莫斯科；直奉兩系軍閥以北京為中心，盤踞河北、山東、河南數(shù)省，并企圖南下。眼看形勢的發(fā)展，對國民革命極為不利，中共北方區(qū)領(lǐng)導(dǎo)人李大釗，特請于右任急赴蘇聯(lián)請馮玉祥回國，解西安之圍。于右任秘密從北京趕赴天津，再潛往上海，即搭乘一艘蘇聯(lián)輪船經(jīng)日本赴海參崴，７月下旬才趕到莫斯科，在郊外與馮玉祥會面，經(jīng)于會談，馮接受了李大釗提出的：進(jìn)軍西北，解西安之圍，出兵潼關(guān)，策應(yīng)北伐的進(jìn)軍計劃。于右任不遠(yuǎn)萬里敦促馮回國，經(jīng)歷了平生從來未見過的驚心動魄的場面與難以想象的磨難，終于勝利完成了這一光榮使命。９月１５日，馮與于抵達(dá)五原（今內(nèi)蒙古西部的一個縣），為了早日實現(xiàn)李大釗的進(jìn)軍計劃，于右任在五原重新組建國民聯(lián)軍。９月１７日，他在興隆長車馬店廣場上，搭起了一座臨時主席臺，所有的部隊都全副武裝，附近的民眾也紛紛趕來參加誓師大會。他還親自起草了誓詞，由馮玉祥宣讀，他以國民黨中央執(zhí)行委員會常委的身份授旗監(jiān)誓，主持了誓師典禮大會，并通電全國，宣布國民聯(lián)軍總司令部成立，馮玉祥任總司令，全軍集體參加了國民黨。會后于右任根據(jù)李大釗提出的進(jìn)軍計劃，與馮玉祥制定了“固甘援陜、聯(lián)晉圖豫”的八字戰(zhàn)略方針。爾后，于還著手建立了國民聯(lián)軍最高特別黨部，他與劉伯堅等１１人當(dāng)選為最高特別黨部的執(zhí)行委員，馮玉祥與史可軒等５人當(dāng)選為監(jiān)察委員。

這時的西安城，在劉鎮(zhèn)華部的重兵包圍下，完全成了一座孤城。楊虎城等在敵眾我寡，裝備懸殊的條件下，堅守達(dá)８個月之久，城內(nèi)一切可充饑的都已吃光，凍死餓死的軍民已達(dá)５萬。為了早日解西安之圍，于右任還說服了馬家，讓馬鴻達(dá)的部隊共同東開。孫良誠、劉汝明等部按于右任制定的作戰(zhàn)方案進(jìn)軍，節(jié)節(jié)取勝，很快進(jìn)到咸陽，孫、劉等指揮輕騎繞到南北麓至敵后，猛擊劉鎮(zhèn)華部的背后，劉鎮(zhèn)華指揮主力反擊，孫、劉等部一受挫，欲想撤退，由于蘇聯(lián)顧問的反對，加之鄧寶珊帶病及時到前線指揮作戰(zhàn)，孫、劉等部一舉攻占了戰(zhàn)略要地三橋鎮(zhèn)，此時城內(nèi)守軍乘機出擊夾攻，到１１月２７日，劉鎮(zhèn)華部開始潰退。２８日，西安解圍，饑寒交迫的市民一齊涌上街頭，歡呼解圍勝利。

１９２７年１月，于右任兼任陜西省政府主席。不久，他相繼任命了各部、廳的領(lǐng)導(dǎo)人，其正副職多數(shù)是國民黨左派和中共黨員，當(dāng)時在陜的共產(chǎn)．黨員有魏野疇、李子洲、史可軒、楊荃駿、楊曉初、許權(quán)中、劉天章、陳家珍等均被委以重任，參與領(lǐng)導(dǎo)。于右任在出任國民聯(lián)軍駐陜總司令期間，認(rèn)真執(zhí)行孫中山先生的三大政策，與中國共產(chǎn)．黨真誠合作，工農(nóng)運動蓬勃發(fā)展，陜西出現(xiàn)了空前大好的國共合作的局面，是大革命時期全國革命運動高漲的少數(shù)幾個省份之一。國民黨陜西省黨部成立時，于右任大書“一切權(quán)利屬于黨”、“一切利益歸于民眾”１５個大字，刻石嵌入省黨部大門墻壁；又橫書“工農(nóng)商學(xué)兵聯(lián)合起來”，作為各界民眾團結(jié)戰(zhàn)斗的口號。在于右任的直接領(lǐng)導(dǎo)下，駐陜總部還創(chuàng)辦了中山學(xué)院，講授三民主義，學(xué)習(xí)革命理論，培養(yǎng)造就了一大批政治工作干部。于右任還頒布了一系列新法令，取消苛捐雜稅，減少地租，發(fā)展農(nóng)業(yè)，改善工人待遇，維護工人合法利益，開展群眾革命運動，督促停頓已久的中小學(xué)迅速開學(xué)等作了不少工作。同年６月，他參加了汪精衛(wèi)、馮玉祥的鄭州會議，并兼任第二集團軍第六方面軍總指揮等職。９月１６日，國民黨寧漢合流成立“中央特別委員會”于出任特委會委員兼監(jiān)察委員、軍事委員會委員等職。國民黨二屆四中全會以后，提升為國民政府常務(wù)委員兼軍委會常務(wù)委員。１９２８年１０月，出任國民政府常務(wù)委員兼審計院院長。１９３１年，提升為監(jiān)察院院長，從此擔(dān)任這個職務(wù)達(dá)３３年之久，直至病卒前。

于右任自１９３１年擔(dān)任監(jiān)察院院長以后，雖然沒有再直接指揮千軍萬馬行軍打仗，但他的軍事活動一直都未有中止過，特別在抗日戰(zhàn)爭中，他不但力主抗戰(zhàn)，而且還主張抗戰(zhàn)到底，表現(xiàn)出了高度的愛國主義精神。１９３７年７月７日，抗日戰(zhàn)爭爆發(fā)后，于右任曾多次發(fā)表講演，力主抗戰(zhàn)，號召全國軍民團結(jié)起來，一致對敵，爭取自由生存。同年９月２０日，他發(fā)表了民族抗戰(zhàn)之精神的講演，在講演中，他極力贊成團結(jié)各界人士抗日，實現(xiàn)第二次國共合作，他還曾公開批評了蔣介石在抗戰(zhàn)中的動搖與不力。他還當(dāng)面向蔣介石進(jìn)言，同年１２月２９日深夜，當(dāng)蔣介石用專車接于右任至某處，就與日方妥協(xié)進(jìn)行磋商時，他對抗戰(zhàn)到底的解釋是：“抗戰(zhàn)到底者，就是能打要打，不能打也要打！只有打，才能勝利，也必能勝利！”蔣介石聽后很肅穆地對于說：“我了解于先生的意思了！”南京失守后，于乘船到達(dá)九江，然后轉(zhuǎn)赴南昌、長沙，沿途對抗戰(zhàn)工作都作了視察，并一再宣傳自己力主抗戰(zhàn)到底的主張。