Man vermutet, dass der Gaon in der Žydų-Straße 8 gewohnt hat. Er war einer der letzten großen Talmudkenner, genannt Gagoen rabeinu Elijahu (der heilige Lehrer Elijah, oder Elijah Ben Salomon Salman (1720 – 1797).
Im Jahre 1784 lebte die Familie des Gaon in einem der Kahala-Häuser in der Žydų-Straße, vorher im Stadtviertel Antakalnis. Schon im Alter von sieben Jahren predigte er in der Großen Synagoge von Vilnius, wo er eine komplizierte Frage des Talmuds erläuterte, und die Kunde von seinen Begabungen breitete sich in dem ganzen Großfürstentum Litauens aus.
Man erzählt, dass der Junge mit neun Jahren das Alte Testament vollständig auswendig gelernt hatte, mit zehn beinahe den ganzen Talmud, mit zwölf hat er an einem Gelehrtenstreit teilgenommen. Es ging um die Genauigkeit des jüdischen Kalenders. Dank seiner Kenntnisse in Astronomie gewann er diesen Streit.
Gaon war der erste jüdische Denker, der die Notwendigkeit erkannte, die Fehler, die sich im Laufe der Jahrhunderte in den religiösen Schriften angesammelt hatten, zu beheben.
An der Stelle des Hauses, in dem der Gaon wohnte, nicht weit von der Žydų-Straße 3, steht nun „Der Weise“ – ein Denkmal, das eine lange Geschichte hinter sich hat.
Im Jahre 1959 beschloss der litauische Bildhauer Teodoras Kazimieras Valaitis, ein Modell des Denkmals für den Gaon aus Gips herzustellen. Da es in der Sowjetzeit nicht in einer Ausstellung präsentiert werden konnte, landete „Der Weise“ auf dem Dachboden. Die Brandschutzkommission entdeckte das Modell und warf es fort. Bald, 1974, kam der Autor selbst ums Leben. Die Freunde des Bildhauers erinnerten sich 1997 an sein Werk, wandten sich an die Selbstverwaltung von Vilnius mit dem Angebot, ein Denkmal für den Gaon aus Anlass des nahenden 200. Jahrestages seines Geburtstags zu errichten.
Der Bildhauer Mindaugas Šnipas vermochte in sehr kurzer Zeit aufgrund erhaltender Fotos die Skulptur wiederherzustellen. Das aus Bronze gegossene Denkmal wurde am 12. September 1997 eingeweiht.