Joala muusikukarjäär algas biitansamblis Kristallid 1966. aastal flöödimängija ja lauljana ning pärast ka basskitarristina. Sügisel 1968 lõi ta bassimängija ja lauljana kaasa Toivo Kurmeti ansamblis Virmalised. Sellesse aega jäävad ka tema esinemised Eesti Televisiooni populaarsetes saadetes „Horoskoop” ja „Kanal 13” ning kiiresti kasvav tema kui laulja kuulsus. Sooloartisti karjääri alguses ja veidi hiljemgi oli tema repertuaaris suhteliselt palju Euroopa vallutanud itaalia poplaule, millest osa on ka sellel heliplaadil. 1970. aastatel võitis ta auhindu paljudel lauluvõistlustel ja festivalidel nii Eestis kui ka välismaal.
Ta valiti korduvalt NSV Liidu parimaks meeslauljaks. Jaak Joala on mänginud muusikalistes filmides ja löönud kaasa Rahvusooperi Estonia etendustes.
Aastatel 1978–1983 esines Jaak Joala saateansambliga Radar. 1980. aastate lõpus loobus ta aktiivsest lauljakarjäärist. Uut indu lisas kuldsete kuuekümnendate projekt „Kollane Allveelaev G” 1991. aastal ja nostalgiatuur „Las jääda kõik, mis hea” koos sõprade Ivo Linna ja Tõnis Mägiga 1996.
Loobudes laulmisest, pühendus Jaak pedagoogi-, produtsendi- ja saatejuhitööle. Ta oli seotud ka Eesti Eurovisioonile viimisega alates 1993 kuni 2008.
Jaak Joala oli Georg Otsa kõrval üks kuulsamaid eelmise sajandi eesti lauljaid nii üleliidulises kui rahvusvahelises ulatuses. 1979. aastal anti talle ENSV teenelise kunstniku aunimetus ning Eesti Fonogrammitootjate Ühing tunnustas teda postuumselt 2015. aastal elutöö preemiaga erakordselt viljaka muusikalise tegevuse eest.
Jaak oli üks Eesti Esitajate Liidu asutajaid ja kauaaegne juhatuse esimees.