A malom 1846. január 1-jén kezdte meg a működését, és egészen az 1952-es államosításig üzemelt. A malmot Veszprém városa építtette.
A telek, amelyen az épület áll, az Aranyos völgyben, a Séd, valamint az utca között fekszik és Észak felé kissé lejt. A telket az utca felől kétszárnyú kapuval áttört kőfal zárja le. A telek formáját a malomárok határozza meg.
A kelet-nyugati tájolású főépület hossztengelye merőleges az utcafrontra, így csonka kontyos oromzatával néz az utcára, amelyet két lakószinti és két tetőtéri ablak tör át. Udvari homlokzatán, a főépület keskenyebb részén, három ajtó és négy ablak nyílik. A lakórészbe vezető, felülvilágítós kétszárnyú ajtó igényes kialakítású, faragott középosztóval. A szélesebb épületrészen folyik át a malomcsatorna vize, így a kerekek fedett helyen voltak. A telek lejtésének köszönhetően az északi oldal jelenik meg emeletesként, itt a nyílásrendszer is szigorúbb.
Az emeletes homlokzatának és a homlokzat íves nyílású átfolyójához vezetett malomároknak köszönhetően különösen Észak-Nyugat felől látványos épülettömeg továbbá a belső térformálás a Fenyves (volt Budai-Pozsgay)-malmot a műemléki védelemre érdemes építészeti emlékek körébe emeli.
A működő berendezéssel megőrzött gyönyörű épület jelenleg egy fiatal malomépítő mester tulajdonában van, aki múzeumot és a víz felhasználását bemutató játszóházat alakított ki tereiben. A Fenyves Malom Múzeum 2020. augusztus végétől fogad látogatókat, idegenvezetéssel egybekötve, előzetes bejelentkezés alapján. A múzeumban megtekinthető a malom teljes gépészete, és korabeli használati tárgyak, amelyeket a látogatók ki is próbálhatnak.
