Keszthely egykori földesurainak, illetve híres szülöttének nevét viselő ház a város legrégibb világi épülete. A középkori város képén a jobbágyok egyszerű, agyagból készült házai között minden bizonnyal meghatározóak voltak a kőből, téglából emelt egyházi létesítmények és az olyan földesúri kőházak, mint a Pethők 15. században épült kúriája a mai kastély helyén és ez, a „keszthelyi utcában”, a mai Sétáló utca közepén álló egykori lakóházuk. A török uralom után is csak 3 kőből épült házról szólnak a tudósítások, köztük e kettőről. A jelenleg látható, a középkori épület alapjaira emelt árkádos barokk épület már a 18. századból való. Az utca más épületeihez képest eltérő homlokzata jelzi az egykori utcaszélességet és ma is az utcakép egyik meghatározó eleme.
A gersei Pethők és Keszthely története 15. század elejétől 300 éven át kapcsolódott össze szorosan. Egészen 1600-ig Keszthely kizárólagosan urai voltak, majd a család leányági örökösei által egyre több földesúri család osztozott rajta. A legnagyobb birtokos, Pethő János, részeit 1739-ben vásárolta meg Festetics Kristóf, aki hamarosan Keszthely kizárólagos tulajdonosává vált. Így került a Pethő-ház is az ő tulajdonukba.
A 18. századtól egyre jelentősebb zsidó közösség élt a városban. Az egykori Pethő-házban már 1769-ben állt egy zsidó imaház, ennek helyén később zsinagóga épült. Az eklektikus stílusú egyház az udvar végében ma is látható. A II. világháború idején itt alakították ki a gettót.
Az épület másik névadója, Goldmark Károly, ebben a házban született 1830-ban, amikor apja a hitközség kántoraként dolgozott. A ház homlokzatán elhelyezett emléktábla a zeneszerző leghíresebb műve, a Sába királynője című operájából tartalmaz egy részletet.
