Įspūdingą, kiekvienam vilniečiui matytą „pilaitę“ statė gydytojas Hilarijus Raduškevičius. XIX antr. p. jis buvo gerai Vilniuje žinomas žmogus – miesto dūmos narys, sanitarinės komisijos pirmininkas, našlaičių globos ir kitokių labdaros organizacijų veikėjas.

Tiesa, rūmų statyba ėjo ne itin sklandžiai, architektams sunkiai sekėsi išpildyti užsakovo lūkesčius. 1894 m. projektavimo ėmėsi architektas J. Januševskis, tačiau dėl nuolatinių pakeitimų projekte neapsikentęs nutraukė bendradarbiavimą. Vėliau kurį laiką projektavimu užsiėmė S. M. Krajevskis, po 1897 m. prisidėjo dar ir to meto populiarusis inžinierius A. Filipovičius-Dubovikas. Galų gale visos statybos užbaigtos 1900 m., tačiau tais pat metais Raduškevičius mirė, todėl rūmais pasidžiaugti nespėjo.

Vėliau kompleksu naudojosi Raduškevičiaus giminaičiai, veikė chemijos mokykla, avalynės fabrikas „Progres“, Zingerių stiklo fabrikas ir kt. Deja, šiandien matoma tik dalis buvusios Raduškevičiaus rūmų didybės – 1959 m. Kalvarijų g. buvo praplatinta, išasfaltuota, nutiesta troleibusų linija, todėl vakarinė komplekso dalis 1962–1963 m. nugriauta. Dabar pastate įsikūrę Lietuvos architektų rūmai.