Az épületet Szemző Sándor ügyvéd építtette szecessziós stílusban az 1910-es évek elején. A ház Szemző birtokában volt 1917-ig, utána Reményi Ferenc katonatiszt, utazó vette meg.
A második világháború után különböző funkciókban működött, a 2000-es években a helyi Művészetek Házának adott otthont. Felújították, 2018 óta a Felsőbbfokú Tanulmányok Intézete fenntartásában kutatóhely.
Az építtető, Szemző Sándor izraelita családba született 1876-ban, Budapesten volt ügyvédjelölt, házasságkötése után költözött Kőszegre, ahol irodát nyitott és városi képviselőként működött. Az első világháború idején katonatisztként szolgált, praxisát a háború után áttette Szombathelyre. Házát eladta Reményi Ferenc katonatisztnek. Reményi 1868-ban született Pesten. Apja, Reményi Antal hét évvel a fia születését megelőzően tért vissza amerikai emigrációjából. A szabadságharcban aktívan küzdött, majd 12 évet töltött Angliában és az Egyesült Államokban, ahol meglehetősen mozgalmas életet élt. Több, az amerikai kormány által szervezett expedícióban is részt vett, melyek során a kontinens ismeretlen területeit térképezték fel. 1860-ban Párizsba utazott, majd az általános amnesztiával tért vissza Magyarországra 1861-ben.
Reményi Ferenc Pesten végezte elemi iskoláit, majd apja unszolására 1882-ben beiratkozott a fiumei tengerészeti akadémiára. Húsz éves korában, 1888-ban tiszti vizsgát tett, ezzel megindulhatott katonai pályája. 1912–1917 között a Soproni Honvéd Főreáliskola parancsnoka volt, 1914-ben ezredessé léptették elő. Kitüntették a Ferenc József rend tiszti keresztjével. 1917 februárjában „kőszegi” előnévvel IV. Károlytól nemességet nyert. A minisztertanácsi jegyzőkönyvekből tudjuk, hogy a háború után, 1921 márciusában nyugalmazott ezredesként kinevezték a Kőszegi Katonai Alreáliskolába. 54,000 korona értékben megvásárolta dr. Szemző Sándor ügyvéd Chernel utcai házát, s a visszavonult egykori tengerész 1940-ben bekövetkezett haláláig ott lakott.
Reményi Ferenc népes család sarja volt, apjának hét testvére született, köztük Ede, a híres hegedűművész. Ferenc sokat írt, katonai szakcikkeket és útleírásokat közölt, részt vett a Révai Nagy Lexikon összeállításában. A nagy kaland azonban a világutazás volt, amelyre Reményi Ferenc az újonnan épült cirkáló, a Kaiserin Elisabeth fedélzetén Ferenc Ferdinánd főherceget és trónörököst elkísérte. Reményi úti krónikásként működött, a Vasárnapi Ujságban 19 közleményt tett közzé, amelyekben a tapasztalatait, megfigyeléseit rögzítette.
