После славне победе српске војске у Првом светском рату, васпостављена је 1920. године, Пећка Патријаршија – уједињена Српска Православна Црква. Одлуком Светог Архијерејског Сабора и краљевским Указом регента Александра I Карађорђевића, за седиште српских патријарха одређен је град Београд, док су за привремено седиште одређени Сремски Карловци. Доношењем првог Устава Српске Православне Цркве 1931. године, одређено је да црквено-административно седиште Српске Патријаршије, као и седиште Архиепископије београдско-карловачке буде првопрестони град Београд.
Седиште Карловачке митрополије – патријаршије од 1713. године било у Сремским Карловцима, а Београд је био духовно и административно седиште Српске Православне Цркве у Кнежевини-Краљевини Србији до 1920. године.
Одлука о привременом седишту у Сремским Карловцима донета је из практичних разлога. У Карловцима је репрезентативно здање – Патријаршијски двор, подигнут заслугом патријарха Георгија Бранковића крајем XIX века, као и здања Карловачке богословије и некадашње Монашке школе – Стефанеума. Зато је и одлучено да канцеларије патријаршијских административних тела, као и патријархове одаје, буду у Сремским Карловцим, док се не обезбеде зграде у престоном Београду. Поред поменутих карловачких здања, у власништву Патријаршије, још из времена Карловачког митрополита Павла Ненадовића, је и велико и богато патријарашко имање са летњиковцем у Даљу.
Први патријарх васпостављене Српске Патријаршије, 1920. године, био је дотадашњи Митрополит београдски Димитрије Павловић. Његова резиденција, пре избора за Српског патријарха, била је у Београду, у старој згради Митрополије београдске, која се налазила преко пута Саборне цркве. Ова зграда, сазидана 1850. године, после завршетка Првог светског рата била је потпуно оронула. После избора и устоличења, патријарх Димитрије је остао да живи у тој старој згради, а по потреби је, ради патријарашких обавеза, боравио у двору у Сремским Карловцима. После вишемесечног лечења 1929. године, старом и изнемоглом патријарху је саветовано да мирује изван градске буке. Како је био под сталним надзором лекара, није било могуће да опоравак буде у двору у Сремским Карловцима, или патријаршијском имању у Даљу.
Зато је Српској Православној Цркви, у јулу 1929. године, за потребе Патријарха српског, уступљено имање краља Петра I Карађорђевића на Дедињу. Оно се налазило иза Гардијске касарне и граничило се својим двориштем од седам хектара са парком Краљевског Двора. Ту је оболели патријарх проводио своје последње овоземаљске дане, све до 6. априла 1930. године, када се упокојио.
На изборном Сабору, 12. априла 1930. године, Митрополит скопски Варнава Росић изабран је за поглавара – патријарха обновљене Српске Патријаршије. За време његовог архипастирског рада (1930-1937) саграђени су многи храмови, не само на територији Архиепископије београдско-карловачке, већ и у читавој тадашњој Краљевини Југославији. Био је велики духовник, дипломата, градитељ и визионар, највише заслужан за почетак изградње Спомен-храма Светог Саве на Врачару.
По доласку на патријаршијски трон, патријарх Варнава имао је стан у старом Двору архиепископије, али како се бележи: „тај стан био је неуслован и сасвим близу канцеларије и до њега је преко целог дана допирала врева“. Путовање до резиденције у Сремским Карловцима, иако релативно близу Београду, патријарху је чинило тешкоће, јер како је сам наводио „на путу губи доста времена.“
Иако млад, због великих и одговорних послова, патријарху је било потребно да има доличну резиденцију и у престоници.
Када је, напокон, срушен стари Митрополитски двор патријарх се привремено преселио у Сремске Карловце, али је убрзо одлучено да се обезбеди кућа у Београду како би лакше обављао патријарашке дужности. Стога је 1934. године, купљена двоспратна кућа са пространим уређеним вртом на Топчидерском брду. Већи део новца за куповину куће, дао је лично патријарх Варнава од обвезница које је добио као ратну одштету из Првог светског рата, док је намештај платио Патријаршијски управни одбор. Иако је Патријашијски двор завршен 1935. године, патријарх је остао да живи у вили на Топчидеру, где је, и умро 23. јула 1937. године, а по службеној изјави Светог Архијерејског Сабора је „уистину отрован“.
Једна, пак, од првих и великих идеја и жеља патријарха Варнаве била је изградња нове зграде Патријаршије Српске на Врачару, као и Спомен храма Светог Саве. Нажалост, почетак светске економске кризе тридесетих година ХХ века отежавао је остварење његових пројеката.
Тако је донета одлука да се стара зграда Митрополије у Београду до темеља поруши, а да се на њеном месту сагради нова зграда која би служила као Двор Архиепископије београдско-карловачке. Темељи су освећени 15. августа 1933. године, а већ средином наредне 1934. године, када су радови приведени крају, донета је одлука да се зграда привремено уступи Патријаршији за потребе средишта црквене управе. Зграда је завршена 1935. године, а свечано освећење било је 2. априла 1936. године. Ова привремена одлука требала је да важи до изградње зграде Патријаршије на Врачару, али нажалост до те изградње ни до данас није дошло. У нову зграду Двора Архиепископије београдско-карловачке – Патријаршије, преселио се део канцеларија управних тела Српске Патријаршије, као и викарни Епископ Сава Трлајић, потоњи свештеномученик.
После смрти патријарха Варнаве на трон Српске Православне Цркве долази, 1938. године, Митрополит црногорско-приморски др Гаврило Дожић. Он је одбио да живи у вили патријарха Варнаве на Топчидерском брду и настанио се у згради Патријаршијског двора. Вила патријарха Варнаве била је у власништву Српске Православне Цркве до 1941. године, а њен последњи станар након патријархове смрти био је јеромонах Доситеј Стојковић, потоњи викарни Епископ топлички.
Жеља патријарха Гаврила била је да Патријаршија купи у Београду једну кућу у којој би живео. Између више понуда, одлучено је да се за патријархове потребе купи кућа са пространим двориштем (од 30 ари) у улици Румунској (данас Ужичкој) на Дедињу. Кућа је била у власништву Ђуре Паунковића (1877-1938), некадашњег старешине „Сокола“, а после његове смрти Патријаршијски управни одбор је средствима из фондова заоставштине патријарха Димитрија Павловића и Варнаве Росића, купио од његових наследника 1939. године.
Кућа српских патријараха, како је тада названа, била је лични патријархов избор због мирног краја града и пространог дворишта, али ни тада није испуњавала све услове за резиденцију поглавара Српске Православне Цркве. Одмах по склапању купопродајног уговора започета је њена адаптација, као и снабдевање намештајем. Тада се јавила и могућност да се објекат прошири, али је то стављено у други план јер се журило да се патријарх што пре усели.
Нажалост, пред само усељење у нову кућу, бомбардован је Београд 6. априла 1941. године и започео је Други светски рат. Убрзо је, у манастиру Острог, патријарх Гаврило ухапшен. Немачке војне власти заузеле су 23. априла 1941. године зграду Патријаршије и опљачкали су сву готовину, вредносне папире и драгоцености. Канцеларије Патријаршијских тела и Архиепископије београдско-карловачке измештене су у Црквени музеј, који се налазио у данашњем Конаку књегиње Љубице. У конфисковану Кућу српских патријараха на Дедињу уселио се др Хералд Турнер, државни саветник и шеф немачког Управног штаба војног заповедника Србије. Такође је конфискована и вила патријарха Варнаве на Топчидеру.
После ослобођења Београда октобра 1944. године и завршетка Другог светског рата, нове комунистичке власти одузеле су Кућу српских патријараха и у њу уселили министра индустрије у Влади ФНРЈ, Андрију Хебранга. Већ у априлу 1948. године, Хебранг је стављен у кућни притвор, а потом је спроведен у затвор, из кога није никада изашао. Патријарх Гаврило се из заробљеништва у логору Дахау вратио 14. новембра 1946. године, и настанио се у згради Патријаршијског двора. После више молби, комунистичке власти су тек средином 1948. године, вратиле у власништво Српске Православне Цркве кућу на Дедињу. Нажалост, била је од комуниста потпуно опљачкана и како се наводи „гола и празна, без икаквог намештаја“. У кући патријарх је живео заједно са својим синовцима, Владиславом, Слободаном и Јованом, које је издржавао. Домаћинство је водила монахиња Марија (Чајакановић), иначе рођена сестра Веселина Чајакановића (1881-1946), знаменитог српског професора и члана Српске Краљевске Академије. У резиденцији се од последица „срчане капи“ патријарх Гаврило упокојио, 6. маја 1950. године.
На изборном Сабору, 1. јула 1950. године, за Патријарха српског изабран је Епископ злетовско-струмички и администратор Епархије сремске Викентије (Проданов). Патријарх Викентије је живео у Кући српских патријараха на Дедињу све до 26. јуна 1958. године, када је због изненадне болести хоспитализован у болници „Драгиша Мишевић“. Упокојио се у болници већ 5. јула у 13,50 часова, а сахрањен је 8. јула у Саборној цркви у Београду.
Патријарха Викентија наследио је, 13. септембра 1958. године, на трону Патријарха српских, Епископ жички Герман Ђорић. Одмах по устоличењу, патријарх Герман се уселио у кућу на Дедињу. Патријарх Герман је живео и у Двору Патријаршије, а дане одмора је проводио у својој приватној кући у Врњачкој Бањи, коју је још за живота оставио у власништво Српској Православној Цркви.
За време патријарха Германа (1958-1990), патријаршијска резиденција на Дедињу служила је и за одседање високих црквених гостију који су били у посети Српској Православној Цркви. Нажалост, Црква није имала средства ни за основно одржавање куће, која се временом урушавала и више није било услова за нормалан живот у њој.
У време патријарха Павла Стојчевића (1990-2009) и ратних страхота у Југославији Кућа српских патријараха је годинама била под кључем и без станара. Патријарх Павле је молио помоћ од државе да се ово здање обнови, али ништа није учињено све до 2012. године, када је у време патријарха Иринеја Гавриловића (2010-2020) донета одлука да се девастирана кућа у потпуности обнови. Тада је једна просторија адаптирана за капелу, чиме је знатно смањен простор личних патријархових одаја, које су од краја тридесетих година ХХ века већ биле оскудне.
Након обнове, патријарх Иринеј се усељава у кућу. После смрти патријарха Иринеја и избора новог поглавара Српске Православне Цркве, фебруара 2021. године, у лику Патријарха српског Порфирија, Кући српских патријарха је коначно враћен статус и достојанство – какво је имала почетком тридесетих година прошлог века.