Né à Bungo-Ono, il a fait des études de droit et diplômé en 1907. Intéressé par la diplomatie, il est accepté aux Affaires étrangères et travaillera comme haut-fonctionnaire dans plusieurs légations: Berlin, Londres et Seattle. Au moment de l'incident de Moukden, Shigemitsu cavalait en Europe, de pays en pays, pour calmer les inquiétudes des chancelleries sur les conséquences dudit incident. Durant l'incident de Shanghai en 1932, il réussit à servir d'entremetteur entre le Kuomingtang et l'armée japonaise. N'empêche qu'en Avril 1932, Shigemitsu fut blessé lors d'un attentat à la bombe mené par un indépendantiste coréen contre la voiture du général Shirakawa: ce dernier a été tué et Shigemitsu a perdu sa jambe droite. En 1936, il est l'ambassadeur japonais à Moscou, et deux ans plus tard il négocia un arrangement de fortune avec les Soviétiques suite aux accrochages sur la colline de Changfuken. En 1939, il est l'ambassadeur japonais en Angleterre, et il aura la tâche ingrate de minimiser la détérioration progressive des relations diplomatiques entre Londres et Tokyo. Shigemitsu est rappelé au Japon en Juin 1941. Il demeura très critiques vis-à-vis les initiatives diplomatiques de Matsuoka, et dénonce la signature du Pacte tripartite. Shigemitsu passa un petit moment à Washington pour rencontrer l'ambassadeur Nomura afin essayer de parvenir à une sorte d'arrangement avec les États-Unis, notamment organiser une rencontre d'urgence entre le prince Konoye et le président Roosevelt.

Les initiatives de Shigemitsu aux États-Unis déplaisent aux militaristes japonais, si bien que deux jours après l'attaque contre Pearl Harbor, Shigemitsu est tabletté comme représentant national officiel pour la Sphère de Co-prospérité. Il n'a rien contre ce concept, mais affirme qu'il ne peut fonctionner si la Chine n'est pas traitée comme un véritable partenaire, au même titre que les autres pays asiatiques à libérer. Le 20 Avril 1943, le premier ministre Tojo dément son ministre des Affaires étrangères Tani et le remplace par Shigemitsu. Cette nomination lui permet d'assister à la Conférence de la Grande Asie comme chef de la diplomatie japonaise. Il gardera son job dans les cabinets Suzuki et Koiso jusqu'à la fin de la guerre.

C'est Shigemitsu qui signa avec le général Umezu la reddition du Japon le 2 Septembre 1945 sur le cuirassé Missouri, en présence du général Douglas MacArthur et de son aréopage de représentants de la Grande Alliance. Il fut plus tard accusé de crime de guerre et condamné à sept ans de prison par le Tribunal de Tokyo. Cette condamnation a été vivement contestée par l'ancien ambassadeur américain au Japon, Joseph Grew et, curieusement, par le procureur en chef des procès de Tokyo, Joseph Keenan. Libéré sur parole en Novembre 1950 (suite à une directive du SCAP du 7 Mars 1950), et il occupera de nouveau les fonctions de ministre des Affaires étrangères jusqu'en 1956.