Engagé volontaire en 1914, décoré plusieurs fois au feu, est lieutenant dans l'armée tsariste en 1917. Passa à l'Armée rouge en 1919 ou il combattit les armées de Denikine et Wrangel. Breveté de l'Académie Frunze en 1931, il fut un chargé de missions militaires en Espagne et en Allemagne. Revint en URSS en 1933 pour y commander un corps de cavalerie, il est expédié en Extrême-Orient où il combattit victorieusement les Japonais en Manchourie, précisément à la bataille de Khalkhine Gol en 1939.

En 1940, il commanda l'armée d'occupation russe en Bessarabie roumaine annexée par l'URSS avec l'accord de l'Allemagne. Promu chef d'État-major de l'Armée rouge en Mars 1941, il se voit obligé de faire une "job de bras" sur le front de Léningrad pour solidifier la défense de cette ville semi-encerclée par les Allemands. Il remplaça Timoshenko le 6 Octobre 1941 à la tête du Groupe d'Armée Centre, devant Moscou. Il fit une contre-attaque massive réussie le 6 Décembre 1941 et repoussa les Allemands devant Moscou, mais la météo ne lui permet pas de transformer sa contre-attaque en contre-offensive. En 1942, il dirige la défense de Stalingrad et inflige aux Allemands leur second revers important. Il est promu maréchal en 1943 et commanda successivement les Fronts d'Ukraine et de Biélorussie à la tête duquel il entra à Varsovie et à Berlin. Il reçut la capitulation de l'Allemagne le 8 Mai 1945 et commanda les troupes soviétiques d'occupation jusqu'en Juillet 1946.