Netikėtoje vietoje miesto centre dalinai išlikusios Šv. Rapolo kapinės buvo įkurtos 1791 m. ir iš pradžių priklausė netoliese stovėjusiai Šv. Teresės bažnyčiai (ji 1837 m. sugriuvo), vėliau buvo perduotos Šv. Rapolo parapijai. Dokumentai byloja, kad šis nekropolis visada prižiūrėtas gana menkai – jau 1812 m. prasidėjo kapinaičių nykimas, miestiečiai jas ardė kasdami molį ir smėlį. 1866 m. kapinės uždarytos, tačiau jose dar kurį laiką buvo laidojama, 1885 m. užfiksuota 19 antkapių įrašų, pavieniai laidojimai vyko XX a. pr. Pokariu teritorija nebetvarkyta, apleista, 8 deš. vykdant naujas statybas dalis kapinių sunaikinta.

Šiandien galima išvysti restauruotą XIX a. pirm. p. kapinių koplyčią, kurioje nuo 2006 m. veikia vienintelė Lietuvoje armėnų bažnyčia, jai suteiktas Šv. Vardano pavadinimas. Tai – mažiausia pagal dydį Lietuvoje veikianti bažnyčia. Kapinėse išlikę metaliniai kryžiai, kuriuos 1989 m. Lenkų sąjunga pastatė trims žuvusiems Armijos Krajovos kariams atminti.