Jankovszkij véletlenül került a szaratovi színházművészeti főiskolára és az ottani színházban kezdte karrierjét. Alig két évvel később alakította első filmszerepét, s már 1973-ban felfedezte és Moszkvába hívta Mark Zaharov, a Lenini Komszomolról elnevezett - ma már csak Lenkom néven ismert - kiváló moszkvai színház főrendezője.
Azóta Jankovszkij a színház egyik oszlopos tagja volt, de filmekben is számos remek, maradandó alakítást nyújtott. Vezető szerepeket játszott egyebek mellett Andrej Tarkovszkij Tükör és Nosztalgia című filmjeiben, Enyedi Ildikó 1989-ben készült Az én XX. századom című alkotásában, számos kiváló szovjet és orosz, valamint több román és francia filmben.
1993 óta az évente Szocsiban rendezett Kinotavr (Kinotaurusz) nyílt orosz filmfesztivál elnöke volt. 1984-ben állami díjjal, 1991-ben (az utolsó) Szovjetunió Népművésze címmel tüntették ki, az Orosz Filmakadémia Nika díját több alkalommal is elnyerte.
Felesége a főiskola második évfolyama óta Ljudmilla Zorina színésznő, fia, Filipp Jankovszkij színész és rendező.