Im Alter von 15 Jahren trat er in das Wiener Konservatorium ein, wo er Klavier und Komposition studierte. Er gewann mehrere Preise und beendete 1878 sein Studium. Ab 1880 wirkte er als Theater- und Opernkapellmeister (Hall, Laibach, Olmütz, Kassel, Prag, Leipzig) und wurde 1888 Direktor des königlich ungarischen Opernhauses in Budapest. Von 1891 an war er als erster Kapellmeister in Hamburg tätig. 

Im Jahre 1897 wurde Mahler an das Hof - Operntheater in Wien berufen und bald darauf zu dessen Direktor ernannt. Seine 10jährige Direktionszeit (bis 1907) gilt als die glänzendste in der Geschichte dieses ruhmreichen Musiktheaters. Nach seinem Rücktritt verpflichtete er sich als Gastdirigent an das Metropolitan Opera House in New York (zwei Spielzeiten) und übernahm später die Leitung des New Yorker Philharmonic Orchestra. Als er 1911 inmitten der New Yorker Konzertsaison schwer erkrankte, wurde er auf eigenen Wunsch nach Wien gebracht, wo er am 18. Mai starb. 

Seine rastlose Tätigkeit als Dirigent und als Operndirektor ließ Mahler nur in den Urlaubsmonaten Zeit zum Komponieren; er war ein "Ferienkomponist", der seine großen Werke am Attersee, am Wörthersee und ab 1908 in Toblach schuf. Häufige Konzertreisen, bei denen er eigene Kompositionen dirigierte, führten ihn durch die Städte der österreichisch-ungarischen Monarchie, durch Deutschland und Holland sowie nach Italien, Russland und Frankreich.