Durant la campagne d'Europe occidentale de 1940, Harmel participe aux opérations en Hollande et en France. Il se distingue au combat et est décoré des Crois de Fer de seconde et de première classes, ainsi que l'insigne de combat d'infanterie. Il descend ensuite dans le sud de la France. Au début Janvier 1941, Harmel prend la tête du deuxième bataillon motorisé du régiment SS Der Führer. En avril 1941, le capiatine Harmel prend part à la campagne de Yougoslavie. À Belgrade, Heinz Harmel est promu commandant. En juin 1941, débute l’offensive allemande contre l' URSS, l’opération Barbarossa. Sous les ordres du général Hausser de la division Das Reich le commandant Harmel est, avec son bataillon, au centre du dispositif. Il prend part aux combats de Jelna et enfonce les défenses devant Moscou. Ayant, à plusieurs reprises, démontré son courage personnel, Heinz Harmel se voit attribuer la Croix allemande en Or, le 29 Novembre 1941. Le 4 Décembre 1941, Harmel se voit confier provisoirement la direction du "SS-Panzergrenadierregiments Deutschland" pour remplacer le général Hausser, grièvement blessé à un oeil. Harmel ne devient officiellement commandant d’un régiment de cette division que le 18 Juin 1942. Harmel est promu Obersturmbannführer, lieutenant-colonel, le 20 Octobre 1942. Pendant l’hiver 1942-1943, Harmel lutte avec ses hommes du côté de Rjev-Oskol, avec courage et abnégation. Il participe à la reprise de Kharkov en Mars 1943. Il se distingue alors personnellement en attaquant de nuit, avec son véhicule blindé, faisant de son unité le fer de lance de la contre-offensive en cours. Pour ces faits d’armes, Harmel reçoit la Croix de chevalier de la Croix de fer, le 31 Mars 1943. Un mois plus tard, Harmel recevra la médaille des combats rapprochés et les feuilles de chêne pour sa Croix de Chevalier pour sa nouvelle promotion de colonel.

_

Du 15 mars 1944 au 27 avril 1944, le colonel Harmel suit une formation au commandement à Hurschberg, en Silésie. Le 27 Avril 1944, il prend le commandement de la 10^ème Division blindée. Le 18 Mai 1944, Harmel est promu SS-Oberführer, un grade SS intermédiaire entre colonel et général de brigade. Le 7 Septembre 1944, Harmel est promu major-général de la Waffen-SS. Âgé de 38 ans, il est surnommé respectueusement der Alte, " le vieux ", par ses hommes, ces derniers ayant, pour la plupart, moins de 20 ans. La division Frundsberg compte, à l’origine 19,513 hommes, mais elle sera par la suite durement touchée par les combats. À l'été 1944, la division change de front, passant du front de l'Est au front de l'Ouest, en Normandie. Le général Harmel est chargé de forcer une percée dans les lignes britanniques, afin de libérer les unités allemandes piégées à Falaise. En août 1944, environ 125 000 soldats de la 7e Armée allemande sont alors encerclés. L’opération se solde par de très lourdes pertes, et de graves dégâts matériels. Envoyé avec sa division aux Pays-Bas, le général Harmel participe à la contre-offensive allemande, face à l’offensive alliée de l’opération Market Garden. Il s’illustre de nouveau dans les combats avec ses automoteurs StuG. Pour la défense des pays conquis par l’Allemagne dans la région de Nimègue, Heinz Harmel obtient le 15 Décembre 1944 la Croix de chevalier de la Croix de fer avec feuilles de chêne et épées. Sa division est ensuite transférée en Alsace, où le général Harmel est chargé d’établir une tête de pont vers la poche de Colmar. Harmel termine la guerre en mai 1945 à Sprembergdans le Brandebourg, ou il est fait prisonnier.

Harmel est détenu deux ans. Lorsqu'il rentre chez lui, il retrouve une vie civile normale. Lors du voyage commémoratif en Normandie d'un groupe d'anciens combattants allemands, en 1984, Heinz Harmel fut fait Citoyen d'Honneur de la ville de Bayeux dans le cadre de la réconciliation franco-allemande. suscitant une polémique à Bayeux.