1774-ben épült a barokk lakóház, az építészeti stílust a Felvidéken is használták, Sopronban és Pápán is található hasonló-stílusú épület. A szomszédos Alsókapu torony, az ún. tornyosok zenészeinek vezetője, Bittner Jakab építette, a meglévő mészárszék fölé emelt egy szintet, ezután az épület bálházként működött, ahol táncmulatságokat, lakodalmakat tartottak. Bittner halála után a házat a felesége örökölte. A 19. században itt élt a városi sebész, majd Szlávik József őrnagy, 1922 és 1952 között Pákh Albert orvos alezredes birtokában volt az épület. 1959-ben, majd 1970-71-ben helyreállították, ezután ide költözött Kőszeg város Levéltára, amely jelentős feudalizmus kori iratanyagot őriz.