Pályakezdése a magyar színészet hőskorát idézi: Szegeden gyermekszerepekben ismerkedett a színpaddal. Kilenc éves korától – 1933-ig Arcaliján Gábor néven – játszott szülővárosában. Gimnáziumi tanulmányait félbehagyva 1937-ben beiratkozott Sziklai Jenő szegedi színházigazgató színiiskolájába. Sziklai csakhamar leszerződtette növendékét a „táncos boy és kardalos” szerepkörre, később segédszínésszé léptette elő. Az úgynevezett cseretársulati rendszer bevezetésekor, 1939-ben Ihász Aladár együttesében folytatta karrierjét. 1940-től Hlatky László, 1943-tól Szabó Hangya Márton, 1944-től Jódy Károly másodrendű társulatában formált meg kis szerepeket. 1944-ben a Tábori Színház, majd a Frontszínház tagjaként szovjet fogságba esett.
Csak 1946-ban tért haza. Ettől kezdve 1949-ig kis magántársulatokkal járta az országot. Az államosításkor a Miskolci Nemzeti Színházba helyezték. Először itt kapott tehetségéhez méltó feladatokat, bár jobbára a kor sematikus színműveiben és operettjeiben kellett színpadra lépnie. 1952-től a Fővárosi Operettszínházban, 1955-től a Petőfi és a Jókai Színház közös társulatában lépett színpadra. Pályájának legszebb, legtermékenyebb időszaka kezdődött ekkor. Remek – sokszor teljesen eltérő karakterű – szerepekben bizonyíthatta tehetségét. Tamási Áron Énekes madár című művében (Jókai Színház, 1956) Bakk Lukácsot személyesítette meg, míg Molnár Ferenc Olympiájában Krehl csendőrezredesként (Petőfi Színház, 1957) remekelt. Az 1956-os forradalom után jelentős karakterszerepet kapott Visnyevszkij Optimista tragédia című forradalmi darabjában (Petőfi Színház, 1957); majd a Švejk, a derék katona című Hašek-regény színpadi változatában (Petőfi Színház, 1958) mint Katz páter aratott sikert. Ezért a két alakításáért kapta 1958-ban első Jászai-díját.
Alapító tagja lett az 1960-ban átadott első hazai musicalszínháznak, a Petőfi Színháznak. Legkedvesebb szerepeit ebben a társulatban játszotta el: Bicska Maxit Brecht és Weill Koldusoperájában, és Sipost Molnár Ferenc Az üvegcipő című művének zenés változatában.
A színház feloszlatása után, 1964-ben a Nemzeti Színházba került, ahol kisebb szerepekkel kellett beérnie. Ráadásul színésztársai nem nézték jó szemmel, hogy 1967-től a Kamara Varieté műsoraiban is szerepelt; 1971-től pedig a Rádiókabaré Nyomják Krahácsot című jelenetének állandó szereplője lett.
A Nemzetiben jelentősebb feladatokat inkább csak 1978 és 1982 között, elsősorban Zsámbéki Gábor rendezéseiben (Gorkij: Éjjeli menedékhely, Wesker: A konyha, Korniss Mihály: Halleluja) kapott. Bár 1982-ben hívták a Katona József Színház alakuló társulatába, ő a Nemzetiben maradt, ahol 1985-től nyugdíjasként játszott. 1989-ben a színház örökös tagja lett. 1991-ben rendezőként is bemutatkozott, Bókay János elfeledett Négy asszonyt szeretek című vígjátékát vitte színre.
A Mikroszkóp Színpad mellett máshova is hívták vendégszerepelni. Fellépett a Játékszínben, a Vidám Színpadon, a Fővárosi Operettszínházban, a Hököm Színpadon, a Karinthy Színházban. Pályájának utolsó nagy alakítása mégis a Nemzeti Színházhoz fűződik: 1986-ban Sütő András Advent a Hargitán című színjátékában Zetelaki Dániel szerepét formálta meg. Azt vallotta, ezért az előadásért érdemes volt ezt a pályát választani. Elismerően írtak róla, hogy tisztán, eszköztelenül, átéléssel játszott. Élete utolsó éveit megkeserítették a Nemzeti Színház körüli csatározások, nem tudott belenyugodni abba, hogy az új épület átadásakor a régi társulatot megfosztották rangjától.
Először 1954-ben állt filmkamera elé, rendszeresen 1957-től filmezett. A nagyközönség leginkább az Egri csillagok (1968) Sárközijeként, A dunai hajós (1974) Karl Jäger nyomozójaként, és A retúr (1997) Károlyijaként ismeri.
Autodidaktaként, Erdélyi Mihály szegedi festő által, illetve rajztanárai segítségével ismerkedett meg a képzőművészettel. Pályája kezdetén gyakran festett díszleteket, az 1970-es évektől kezdve ikonokat alkotott. Munkáiból több önálló kiállítást rendezett, egy-egy alkotását a Pannonhalmi Apátság és a Vatikán is őrzi. Gazdag hagyatéka a család nagylelkű felajánlása jóvoltából 2018-ban az Országos Színháztörténeti Múzeum és Intézetbe került. A kutatók a fordulatos pályát dokumentáló hivatalos iratok, levelek, fényképek, szcenikai tervek és előadásfelvételek tanulmányozása mellett Agárdy Gábor személyes tárgyait is megtekinthetik.
Munkásságát 1985-ben Kossuth-díjjal ismerték el, 2000-ben megkapta a Nemzet Színésze címet. Ablonczy László, a Nemzeti egykori igazgatója, így emlékezett a 20. század második felének egyik legjelentősebb színházművészére: „Virtuózan ismerte Molnár Ferenc Monarchiájának világát, és otthon volt a Hargitán is. Amiben játszott, az sikert ígért. Mert Agárdy Gábor a csodák tudója, örömteremtő művész, nagy játékos volt.” (Hitel, 2006. 3. szám)