Vasiljevski je sanjao o tome da postane agronom, ali je početak Prvog svetskog rata promenio njegove planove. Učenik bogoslovije se s nekoliko drugova iz razreda upisao u vojnu školu. U maju 1915. godine u činu zastavnika otišao je na front. Već godinu dana kasnije bio je imenovan za komandira čete koja je bila proglašena za jednu od najboljih u puku. Na ovoj dužnosti je učestvovao u poznatom Brusilovskom prodoru. Posle revolucije 1917. godine bio je pozvan u redove Crvene armije. Preko 10 godina je uspešno rukovodio pukovima Tverske streljačke divizije. Izuzetne organizatorske sposobnosti Vasiljevskog su primećene i on je angažovan za rad u štabu.
Veliki otadžbinski rat ga je zatekao na službi u Generalštabu, na dužnosti zamenika načelnika operativne uprave. Posedovao je duboko poznavanje prirode boja, umeće strateškog mišljenja, analize i uopštavanja situacije, predviđanja toka i razvoja ratnih dejstava. Sve ove stručne osobine Aleksandra Vasiljevskog cenilo je najviše rukovodstvo zemlje. On je postao jedan od Staljinovih pomoćnika u godinama rata. Poveravano mu je rešavanje najkomplikovanijih zadataka.
Vasiljevski je odigrao jednu od ključnih uloga u organizaciji odbrane Moskve i kontranapada koji je zatim nastupio. On je isplanirao i pripremio kontranapad kod Staljingrada, kaže vojni istoričar Aleksej Isajev.
U maju 1942. godine Vasiljevski je postao načelnik Generalštaba. Treba reći da je praktično obavljao obaveze dvojice ljudi. U svojstvu predstavnika Vrhovne komande on se nalazio na frontu i neposredno je učestvovao u planiranju i sprovođenju konkretnih operacija. U Staljingradskoj bici je učestvovao od samog početka upravo kao predstavnik Vrhovne komande.
Saborci se sećaju da je Vasiljevski bio prilično krut čovek. Ovu rigidnost je ispoljio u toku Kurske bitke. Staljinu se rezultati ove krute linije nisu sasvim svideli i Vasiljevski je izvesno vreme bio u nemilosti. Poslat je u južni sektor sovjetsko-nemačkog fronta. U Generalštab se vratio 1944. godine posle sjajno izvedene Krimske ofanzivne operacije.
Vasiljevski je 1945. godine bio na čelu 3. beloruskog fronta i uspešno je izvršio operaciju u Istočnoj Pruskoj. Juriš na Kenigzberg kojim je rukovodio, ušao je u sve udžbenike vojne taktike. Ova operacija se smatra hrestomatijskom, kaže vojni istoričar Vladimir Dajnes.
Kenigzberg je dobro učvršćena tvrđava koja je imala nekoliko linija odbrane. Operacija je izvedena od 6. do 9. aprila, odnosno, za 4 dana. Ovako moćna tvrđava pala je pod udarom sovjetske vojske. Zamisao Vasiljevskog sastojala se u tome da se istovremeno nanesu udari po gradu s tri strane, kako bi se zatim opkolila neprijateljska grupacija. Tako je komandant tvrđave kad je zarobljen, na pitanje kako procenjuje situaciju (a ocena protivnika je bolja od bilo čije) rekao da se nije moglo pretpostaviti da će tvrđava kao što je Kenigzberg pasti tako brzo.
Za vreme rata s Japanom Aleksandar Vasiljevski je 1945. godine imenovan za glavnog komandanta na Dalekom istoku. Pod njegovim rukovodstvom je stvoren plan Mandžurijske operacije. Svega 24 dana bilo je potrebno sovjetskoj i mongolskoj vojsci da potuče milionsku kvantunsku armiju Japana. Za ovu operaciju Vasiljevski je udostojen druge medalje "Zlatna zvezda".
