Na verdade, a seleção nacional é anterior à federação, disputando uma série de três jogos com a Hungria entre outubro de 1902 e outubro de 1903, mas a criação de um novo órgão dirigente abriu a porta para a adesão à recém-fundada FIFA em 1905.
Optou por não participar da primeira Copa do Mundo em 1930, apesar de ser uma das seleções mais fortes da Europa. Sob o comando do técnico Hugo Maisle, eles tiveram uma série de quatorze partidas sem perder, de 1931 a 1932, o que lhes valeu o apelido de “The Wunderteam”, antes de terminar em quarto lugar na Copa do Mundo de 1934.
Com a anexação alemã da Áustria em 1938, a equipa austríaca deixou de existir como uma unidade separada até ao final da Segunda Guerra Mundial. Durante a qualificação para a Copa do Mundo de 1950, eles desistiram, alegando que o time reconstruído era muito inexperiente para competir no torneio. Mas quatro anos depois eles terminaram em terceiro, que continua sendo o seu melhor resultado em Copas do Mundo.
Desde então, eles não conseguiram recuperar a antiga glória, participando de apenas quatro das quatorze Copas do Mundo entre 1962 e 2014.
