Narodil se v [[Oděsa|Oděse]]. V mládí absolvoval církevní školu, ovšem začal se živit jako přístavní dělník. V roce [[1914]] vstoupil jako dobrovolník do carské armády, byl zraněn a po vyléčení byl roku [[1915]] zařazen do ruských jednotek působících ve [[Francie|Francii]]. Tam byl postupně vyznamenán třemi francouzskými válečnými kříži a roku [[1918]] vstoupil do francouzské [[Cizinecká legie|cizinecké legie]]. Tu však v roce [[1919]] opustil, vrátil se do [[Rusko|Ruska]], kde se přihlásil do rodící se [[Rudá armáda|Rudé armády]]. Postupem času stoupal na vojenských hodnostech, roku [[1926]] vstoupil do [[Komunistická strana|Komunistické strany]] a poté studoval na Vojenské akademii [[Michail Frunze|M. V. Frunzeho]] v [[Moskva|Moskvě]]. Po jejím absolvování došlo k jeho dalšímu kariérnímu postupu, roku [[1936]] odjel jakožto vojenský poradce do [[Španělsko|Španělska]], kde se zúčastnil bojů [[Španělská občanská válka|španělské občanské války]] na straně republikánské vlády. Do [[Sovětský svaz|SSSR]] se vrátil v roce [[1938]], díky čemuž se vyhnul [[Josif Vissarionovič Stalin|Stalinovým]] vojenským čistkám. V roce [[1939]] byl jmenován profesorem na [[Frunzeho vojenská akademie|Frunzeho vojenské akademii]] a v roce [[1940]] byl povýšen do hodnosti [[generálmajor]]a.
V roce [[1941]] se vrátil do aktivní vojenské služby, kde byl jmenován velitelem 48. střeleckého plukusboru. Po zahájení [[Východní fronta (druhá světová válka)|Velké vlastenecké války]] velel od srpna [[1941]] 6. armádě, s níž vedl poměrně úspěšné ústupové boje. 18. listopadu [[1941]] se stal velitelem [[Jižní front|Jižního frontu]]. V první polovině roku [[1942]] zažil největší neúspěch své kariéry, když jeho vojska byla rozprášena německou přesilou, přičemž front přišel o 200 000 vojáků. Přes tento neúspěch byl v červenci [[1942]] jmenován zástupcem velitele [[Severokavkazský front|Severokavkazského frontu]] a zároveň velitelem Donské armádní skupiny. V srpnu až říjnu 1942 velel 66. armádě, v [[Bitva u Stalingradu|bitvě o Stalingrad]] velel od prosince 1942 2. gardové armádě. V těchto bojích zabránil [[Erich von Manstein|Mansteinovi]], aby osvobodil obklíčenou [[6. armáda (Německo)|6. armádu]] generála [[Friedrich Paulus|Pauluse]]. V únoru roku [[1943]] byl jmenován velitelem [[Jižní front (druhá světová válka)|Jižního frontu]] a krátce nato [[Jihozápadní front|Jihozápadního frontu]], v dubnu [[1943]] mu byla udělena hodnost [[Armádní generál|armádního generála]]. V říjnu [[1943]] byl Jihozápadní front přeměněn na [[3. ukrajinský front]] a on sám jako jeho velitel s ním dobyl [[Donbas]], západní [[Ukrajina|Ukrajinu]] a v dubnu [[1944]] i své rodné město [[Oděsa|Oděsu]]. V květnu roku 1944 se stal velitelem [[Druhý ukrajinský front|2. ukrajinského frontu]], který provedl útok na [[Rumunsko]], díky čemuž se Rumuni přidali na stranu Spojenců. V září 1944 byl jmenován [[Maršál Sovětského svazu|maršálem Sovětského svazu]]. Jeho vojska pokračovala v útoku na [[Maďarsko]] a v únoru [[1945]] dobyla [[Budapešť]]. V dubnu se probila na [[Slovensko]] a postupovala na [[Morava|Moravu]]. Osvobodila [[Brno]] a vedla útoky na německá vojska na jihovýchodní Moravě. Počátkem května obdržela rozkaz k postupu na [[Praha|Prahu]] od jihovýchodu. Do Prahy se ovšem o jen několik hodin dříve probila vojska maršála [[Ivan Stěpanovič Koněv|I. S. Koněva]] útočící ze severu z prostoru [[Drážďany|Drážďan]] (konkrétně 3. a 4. gardová tanková armáda). Po ukončení bojů v [[Evropa|Evropě]] byl odvelen na [[Dálný východ]], kde velel [[Zabajkalský front|Zabajkalskému frontu]] v bojích při operaci [[Sovětsko-japonská válka|Srpnová bouře]].
Po ukončení [[Druhá světová válka|druhé světové války]] zůstal v armádě, v březnu [[1956]] byl jmenován prvním náměstkem ministra obrany [[Georgij Konstantinovič Žukov|G. K. Žukova]], působil zde zároveň jako vrchní velitel sovětských pozemních vojsk. V roce [[1957]] se po G. K. Žukovovi stal sovětským ministrem obrany, přičemž ve své funkci vydržel až do své smrti. Zemřel [[31. březen|31. března]] roku [[1967]] v [[Moskva|Moskvě]].
