Am 15. August 1888 wird Hermann Leopoldi als Sohn eines Berufsmusikers in Wien-Meidling unter dem Namen Ferdinand Cohn geboren. Nach der Matura erhält er 1904 sein erstes Engagement als Pianist. 1914-1918 Kriegsdienst. In dieser Zeit, vor allem aber in der Nachkriegszeit, komponiert er, tritt auf Kleinkunstbühnen auf und macht Schallplattenaufnahmen. Seit 1925 auch Engagements in Berlin, 1929 Zusammenarbeit mit Betja Milskaja, 1937 erhält er das Silberne Verdienstzeichen der Republik Österreich.
Als Jude wird Hermann Leopoldi am 26. April 1938 verhaftet und in das KZ Dachau eingeliefert. Im August wird er von dort nach Buchenwald überstellt. Hier komponiert er im selben Jahr das Buchenwald-Lied (Text: Fritz Löhner-Beda). Familienangehörigen Hermann Leopoldis, die in die USA fliehen konnten, gelingt es, ein Affidavit für ihn zu erhalten.
Anfang Februar 1939 kommt Leopoldi aus dem KZ frei. Nachdem er sich in Wien die für die Ausreise notwendigen Papiere besorgt hat, reist er Anfang März in die USA. Am 20. März 1939 trifft er in New York ein. Hier lernt er seine neue künstlerische Partnerin und spätere zweite Ehefrau Helly Möslein kennen. Leopoldi beginnt eine zweite Karriere, gibt Konzerte und erhält Schallplattenverträge. 1947 kehrt er nach Wien zurück, nimmt aber erst 1951 die österreichische Staatsbürgerschaft an. Es folgen Auftritte, Tourneen und Schallplatten-Einspielungen.
Am 28. Juni 1959 verstirbt Hermann Leopoldi in Wien.