Peter János Weissmüller blev født af tysksprogede forældre i et område af det daværende Østrig-Ungarn, som nu ligger i Rumænien. Han var dog ikke fyldt et år, før familien emigrerede til USA, hvor hans navn blev amerikaniseret til Johnny Weissmuller. Tidligt begyndte han at svømme og revolutionerede crawl-disciplinen, idet han lå højere i vandet, end datidens svømmere ellers havde for vane. I 1922, blot 18 år gammel, satte han for første gang verdensrekord, og derefter var han svømmestjernen over alle dem alle i de følgende 10 år. Op gennem 1920erne satte han adskillige verdensrekorder og opnåede i alt fem guldmedaljer ved Sommer-OL i Paris i 1924. Her vandt han desuden bronzemedalje som medlem af det amerikanske vandpolohold. I samme periode vandt han 52 nationale mesterskaber i USA.