Il commence sa carrière diplomatique en 1917 comme membre de la légation américaine à Berne. Après la fin du conflit, il obtient son diplôme à la George Washington University Law School et est admis au barreau du district de Columbia. Il suit des cours pour entrer au service diplomatique et est nommé vice-consul à Zurich, puis à Munich entre 1921 et 1925. Il est consul à Paris de 1930 à 1936, puis chargé d'affaires sous l'ambassadeur William C. Bullitt dont il assure l'intérim auprès du gouvernement de Vichy jusqu'à la nomination de l’amiral Leahy. Toujours accrédité auprès de Vichy, le président Roosevelt le nomme son représentant spécial en Afrique française du Nord et conseiller politique auprès du général Eisenhower. En Algérie française, Murphy prend des contacts avec le général Giraud, par l'intermédiaire de l'industriel Lemaigre Dubreuil, mais aussi avec l'amiral Darlan, il recrute des officiers de l'armée française et développe des liens avec les dirigeants des réseaux de résistants locaux afin de préparer le débarquement américain (opération Torch), la première grande offensive alliée pendant la Seconde Guerre mondiale.

Après la guerre, Murphy poursuit sa carrière diplomatique. Il sera, entre autres, ambassadeur en Belgique en 1942, puis au Japon en 1952. Un an plus tard il devient assistant secrétaire d'État. En 1958, Murphy sera plénipotentaire d'Eisenhower durant la crise libanaise, puis prend sa retraite au début des années 60.