Rođen je 1937. godine u porodici pesnika Sergeja Mihalkova, diplomirao je na odseku režije Ruskog državnog instituta za kinematografiju. Još na institutu počeo je da piše scenarije (kratkometražni film Andreja Tarkovskog „Klizalište i violina“), a već 1965. godine snima svoj prvi film „Prvi učitelj“.
Ali drugi film Končalovskog, „Priča o Asji Kljačinoj, koja je volela, ali se nije udala“, nije izašao na veliki ekran i stajao je na polici 20 godina. Ipak, njemu nije zabranjeno da se bavi filmom. On je snimao kao režiser („Plemićko gnezdo“, „Ujka Vanja“, „Sibirijada“), nastavio da piše scenarije i ne samo sa svoje filmove (među njegovim radovima su „Andrej Rubljov“ i „Robinja ljubavi“).
Osamdesetih godina Končalovski je radio u Holivudu gde je snimao „Pomahnitali voz“, „Tango i Keš“, „Homer i Edi“ i još nekoliko filmova. Danas se u njegovoj režirskoj filmografiji nalazi tridesetak filmova, od kojih su dva dobila „Srebrnog lava“ na Venecijanskom festivalu („Bele noći poštara Alekseja Trjapicina“ i „Raj“). Napisao je nekoliko knjiga, postavio osam predstava (uključujući rok-operu „Zločin i kazna“ u moskovskom Pozorištu mjuzikla) i pet opera. Končalovski trenutno radi u Italiji na istorijskoj drami o Mikelanđelu, čija premijera je planirana za 2018. godinu.