Dominantou obce Svätý Anton je barokovo-klasicistický kaštieľ, ktorý bol postavený na mieste menšieho opevneného hradu spomínaného už v 15. storočí. Kaštieľ bol postavený v barokovom slohu ako dvojkrídlová budova s arkádami do otvoreného nádvoria s barokovou kamennou fontánou. V polovici 18. storočia gróf Andrej Koháry ukončil prestavbu kaštieľa na honosné štvorkrídlové šľachtické sídlo.
Kaštieľ slúži ako múzeum od roku 1962, v súčasnosti sa v ňom nachádza umelecko-historická a poľovnícka expozícia. Vďaka rôznorodosti svojich zbierok zachovaných vo výnimočne ucelenej a autentickej podobe bol v roku 1985 celý areál kaštieľa vo Svätom Antone vyhlásený za Národnú kultúrnu pamiatku. Múzeum vo Sv. Antone je príspevková organizácia priamo riadená Ministerstvom pôdohospodárstva a rozvoja vidieka SR.
Neodmysliteľnou súčasťou histórie kaštieľa vo Svätom Antone sú Koháryovci a Coburgovci, ktorí sem sústredili prekrásne diela umu a šikovných rúk umelcov a remeselníckych majstrov z rôznych končín sveta, od začiatku 18. storočia do začiatku 20. storočia. V bohatom zariadení kaštieľa, ktoré môžete obdivovať v umelecko-historickej expozícii, sa odzrkadľuje spôsob života, vkus a záľuby týchto dvoch rodín.
Poľovnícka expozícia, najväčšia svojho druhu na Slovensku, obsahuje nielen množstvo vzácnych trofejí zveri, ale aj bohatú zbierku historických poľovných zbraní, obrazov, umeleckých predmetov, kníh, časopisov a fotografií. Tématické okruhy kynológie, sokoliarstva, strelectva a rybárstva sú doplnené diorámami zvierat žijúcich na Slovensku.
Súčasťou areálu kaštieľa je aj nádherný park, ktorý voľne prechádza do lesa. Historické dokumenty o tom, ako vyzeral v minulosti, sa nezachovali. Predpokladá sa, že najväčší rozkvet park zažil pri dostavbe kaštieľa okolo roku 1750.
V súčasnosti sú na terasách v blízkosti hlavnej budovy plochy so zvyškami pravidelnej barokovej úpravy, ktoré voľne prechádzajú do prírodne-krajinárskeho parku a lesoparku.