A 18. század elején Keszthely több földesúr tulajdonában volt. A legnagyobb birtokostól, Pethő Jánostól vásárolta meg az ő részeit Festetics Kristóf 1739-ben. A barokk stílusú kastély építése 1745-ben kezdődött. Az akkoriban 34 termes épületet a XVIII. és XIX. században háromszor átépítették, bővítették. 1883 – 87 között neobarokk toronnyal és újabb épületrészekkel bővítették. Ezáltal az U alakú (cour d'honneur elrendezésű), egyemeletes, közép- és oldalrizalitokkal tagolt kastély főhomlokzata elvesztette korábbi szimmetriáját. A kastély 101 helyiségből áll. A kastély bejárata előtt található a család leghíresebb tagjának, gróf Festetics Györgynek a szobra, aki kiemelten fontosnak tartotta a kultúrát. A kastélyban 20 termen keresztül mutatják be, hogyan éltek a főurak a 18., 19. században. A Tükör teremben minden héten tartanak operett koncerteket.
A második világháború nem okozott komoly pusztítást a városban, a Festetics-kastélybútorzata és könyvtára épen maradt.