Az egykori Chernel-, vagy Festetics-palota helyén az 1700-as évek elején még két kisebb ház állt, amelyek a gróf Nádasdy család tulajdonában voltak. Ezeket Kelcz József, a Dunántúli Kerületi Tábla ügyvédje, később királyi kancelláriai tanácsosa egyesítette, és 1766-ban későbarokk-rokokó stílusban átépíttette az épületeket. Gróf Festetics Imre, aki súlyos sérülését követően felhagyott a katonáskodással, 1802-ben vásárolta meg az épületegyüttest. Festetics Imre ma a genetika atyjaként ismert.
Házasság révén került a Chernel család tulajdonába az épület, Chernelék egészen az államosításig birtokolták. Chernel Kálmán történetíróról nevezték el később az utcát, fia, az ornitológus, Chernel István a Magyar Ornitológiai Központ vezetőjeként fejezte be madártantudósi pályafutását.
Az államosítást követően a Chernel leszármazottak Németországban telepedtek le, az épületben önkormányzati lakásokat alakítottak ki. Az épület 2018-ban megújult, a felújítás során a régészek értékes, 18. századi mennyezetfreskóra bukkantak a szalonban.
A műemléki rekonstrukció az új funkciónak megfelelően készült. Az egykori palota a Kőszegi Felsőbbfokú Tanulmányok Intézete fenntartásában működik, itt kapott helyet a Hankiss archívum és egy társadalomtudományi gyűjteményt tartalmazó könyvtár, valamint kutatók, kutatócsoportok otthona, munkahelye az épület.
