Agárdy Gábor örmény származású édesapját még gyerekkorában elveszítette. Nyolcévesen, 1931-ben - a fesztivál indulásakor - már játszott a Szegedi Szabadtéri Játékok színpadán, a Magyar Passióban, 15 éves korában szerződtette a szegedi Városi Színház mint "táncos boyt és kardalost".
A háború után első országos sikereit a fővárosban, a Petőfi Színházban aratta, ahol - saját bevallása szerint - pályafutása legszebb tizenkét esztendejét töltötte el. Pályáját a Nemzeti Színházban folytatta, ahol vígjátékokban és drámákban egyaránt felejthetetlen alakításokat nyújtott.
Filmben először 1954-ben szerepelt, olyan művekben játszott, mint a Szegénylegények, a Csempészek, az Egy magyar nábob, a Kárpáthy Zoltán, az Egri csillagok vagy a Retúr.
Ikonfestőként is nagyszerű alkotásokat hozott létre: a pannonhalmi apátság alapításának ezredik évfordulójára 175 centiméteres szárnyas oltárt festett, több munkája látható az oroszországi Danyilov kolostorában, Szent Istvánt ábrázoló ikonját pedig II. János Pál pápának ajándékozta a Vatikánban.
Művészetét 1985-ben Kossuth-díjjal ismerték el. 2000-ben a Nemzet Színésze lett. Szülővárosa is elismerte munkáját, 2004-ben Pro Urbe díjjal tüntették ki, és ugyanebben az évben nagyszabású kiállítást rendeztek a Móra Ferenc Múzeumban.
Agárdy Gábor hosszan tartó betegség után, 2006. január 19-én halt meg Budapesten.
