Koós János 1937. november 21-én a romániai Gyergyószárhegyen született Kupsa János néven. A Bartók Béla Zeneművészeti Szakközépiskola után Zeneművészeti Főiskolán oboa szakon végzett. Az Országos Pénzügyőr Zenekar tagja volt 1957 és 1960 között, majd ezután indult táncdalénekesi karrierje.
Táncdalfesztiválokon nagy közönség- és szakmai sikert aratott - három fesztivált megnyert -, legemlékezetesebb dala a Kislány a zongoránál. Énekesi karrierjével párhuzamos volt színészi pályafutása is, a hatvanas és hetvenes években több filmben is szerepelt: játszott Az oroszlán ugrani készül című James Bond-paródiában, a Bűbájosak című drámában, A gyilkos a házban van című krimiben egy nőcsábász énekest alakított. Utolsó mozifilmje az Apám beájulna volt, amelyben az egyik tinilány apját formálta meg.
A Mikroszkóp Színpad tagjaként színész és parodista volt 1982-től 1985-ig. Pályája itt és ekkor kapcsolódott össze Hofi Gézával, akivel énekes-parodista duót alakítva számos sikeres színpadi és televíziós produkciót készített. Később a karmesterséggel is megpróbálkozott: szimfonikus zenekart vezényelt a Zeneakadémián is, 1999-től televíziós szórakoztató műsorokat vezetett.
Felesége az énekesnő Dékány Sarolta, lánya, Réka énekes színésznő, Gergő fia is a családi hagyományt folytatva a zenével foglalkozik. Örökzöld slágerei: Annyi ember él a földön, Én, aki nála jártam, Kapitány, Mondjátok meg Máriának, Nem vagyok teljesen őrült, Sír a telefon.
Koós János megkapta az Artisjus zenei életműdíját, a Hungarotontól életműlemezt vehetett át, és 2008-ban ő kapta meg elsőként a tiszteletbeli pénzügyőr címet. 2014-ben Szenes Iván Életműdíjjal tüntették ki.