Van het ooit zo indrukwekkende kasteel te Sint-Maartensdijk, dat met zijn stallen, tuin en park aan de noordzijde van het gelijknamige plaatsje was gelegen, even buiten de bebouwing, resteert bitter weinig. Een deel van de slotgracht en het kasteeleiland, meer is er niet van over. Het kasteel werd in 1818-1819 afgebroken; de vrijgekomen bouwmaterialen werden te gelde gemaakt. Alleen een zeer oude lindeboom op de nederhof en een al in de zeventiende eeuw genoemde tuinmanswoning bleven destijds staan, totdat de boom aan ouderdom ten onder ging en het gebouw in 1963 alsnog aan de slopershamers werd prijsgegeven.

De eerste vermelding van het slot dateert van 1342, toen het nog in handen was van de familie van Overbordene en door de Van Borsseles werd belegerd. In datzelfde jaar nog zou het kasteel definitief in handen van de Van Borsseles zijn gekomen, zo wordt wel gesteld in de literatuur, maar harde bewijzen hiervoor ontbreken. Het ligt voor de hand, dat het kasteel tijdens genoemde belegering schade opliep en moest worden opgeknapt of herbouwd.

Voor haar dood in 1485 had Franks zuster Alienora, de laatste Van Borssele, Sint-Maartensdijk en Scherpenisse aan haar kleinzoon Floris van Egmond vermaakt. De overdracht ging niet helemaal zonder slag of stoot, want een andere kleinzoon, Jasper van Culemborg, meende eveneens aanspraak op dit bezit te maken en om zijn claims kracht bij te zetten maakte hij het de Van Egmonds knap moeilijk.

Waarschijnlijk is het kasteel in deze tijd beschadigd geraakt, zo niet erger. Jaspers wangedrag was dusdanig dat hij in 1500 niet alleen in het ongelijk werd gesteld, maar uiteindelijk zelfs werd verbannen. Aldus kwamen Sint-Maartensdijk en Scherpenisse in handen van de familie Van Egmond.

In 1577, met de pacificatie van Gent, kreeg Willem van Oranje zijn goederen terug en zou Maria de Burense bezittingen beheren, aangezien haar broer Filips Willem als gijzelaar in Spanje verbleef.

Na de dood van Willem van Oranje ontstonden er problemen over de verdeling van de erfenis. Omdat Maurits aanspraak meende te hebben op bepaalde erfgoederen van zijn vader, in Zeeland, liet Maria zich in 1585 huldigen als vrouwe van Sint-Maartensdijk.

In 1606 sloten Maria en Filips Willem een overeenkomst waarbij hij alles terugkreeg en zij met een jaarlijkse schadeloosstelling van 10.000 gulden genoegen moest nemen.

In 1625 stierf prins Maurits en werd opgevolgd door prins Frederik Hendrik.

Frederik Hendrik was een vermogend man. Vandaar dat er tijdens zijn regime weer wat in het slot werd geïnvesteerd. De ingrepen die destijds plaatshadden, waren, behoudens het bouwen van een nieuwe kapel op de nederhof, niet bijzonder ingrijpend. Sint-Maartensdijk werd geen Honselaarsdijk, Huis ter Nieuburch of Huis ten Bosch. Er werd slechts een dak vernieuwd van een gebouw dat stormschade had opgelopen, het duifhuis in de plantage werd wegens bouwvalligheid afgebroken en om de entree van het kasteel te sieren, sneed Pieter Goris schilddragende leeuwen, die fraai werden beschilderd. Over de aanleg van nieuwe tuinen horen we niets, maar in 1641 is er sprake van de aanschaf van buxus en het vervlechten en scheren van ligusterhagen, op kosten van Frederik Hendrik.

Het hof te Sint-Maartensdijk anno 1621

Frederik Hendrik stierf in 1647. Daarmee lijkt het ook gedaan te zijn geweest met de toch al geringe interesse van de Oranjes voor het kasteel van Sint-Maartensdijk, al stelde men de inkomsten die uit het domein voortvloeiden natuurlijk nog altijd zeer op prijs.

In januari 1685 werd François Leidecker (1650-1718)  door Willem III tot baljuw en drossaard van Sint-Maartensdijk benoemd en tevens tot schout. Het jaar na zijn benoeming vond er een inspectie plaats op last van de Nassause Domeinraad. Geconstateerd werd dat de rentmeester het slot bewoonde en in orde en geschiktheid hield. Met de aanleg van een bos in de Herenhoek werd in 1688 begonnen. In 1694 kreeg Leidecker toestemming nog eens 60.000 iepen te planten en werd tevens opgedragen de jonge boompjes goed te beschermen. Ieder jaar zou hij er vervolgens op moeten toezien dat er 6000 boompjes werden bijgeplant, wat de eerste twee jaar zeker niet werd gehaald.

Het kasteel te St. Maartensdijk anno 1695

De interesse van de Oranjes voor Sint-Maartensdijk was niet van lange duur gebleken. Hoewel men het kasteel niet van de hand deed, werd het vooral beschouwd als een domein om inkomsten uit te verkrijgen en niet als een plaats om te wonen. Het kasteel werd daarom meer en meer als de woning van de rentmeester van de omliggende landerijen gezien.

Wat evenmin zal hebben bijgedragen aan een optimale conservering van het hof, was het feit dat de rentmeester zelf zorg moest dragen voor de staat van de bebouwing. Alleen het onderhoud aan de kapel en het zogenaamde gijzelhuis (de latere tuinmanswoning) konden als kostenposten worden opgevoerd bij de Oranjes.

Omdat deze regeling inderdaad slecht onderhoud in de hand werkte, werd deze in 1696 veranderd. Vanaf nu moesten de pachters van de goederen rondom Sint-Maartensdijk niet alleen financieel maar ook door middel van herendiensten bijdragen aan het onderhoud van het kasteel.  

Kortom, het kasteel werd onderhouden en bleef zoals het was. Hier en daar zal een raam zijn dichtgezet, een torentje gesloopt. Langzaam aan werd het kasteel beetje bij beetje onttakeld.

De teloorgang van het kasteel

In 1695 was het opperhof in verval en vanaf 1710 was het gesloopt zo valt op te maken uit de stadsrekeningen. Hierin worden voor dat jaar uitgaven vermeld voor het mennen van wagens die gevuld waren met stenen afkomstig van het oude slot. 

De Franse tijd betekende de ondergang van het kasteel. In 1795 verkreeg de Bataafse Republiek de Nassause domeinen, waarop de Nassause Domeinraad haar officiële taken beëindigde. Om de administratie goed draaiende te kunnen houden, bleef er echter veel bij het oude. Zo behield Willem de Jonge van Ellemeet (1735-1806), die voor de omwenteling te Sint-Maartensdijk en Scherpenisse rentmeester van de Oranjes was geweest, zijn baan en werd in 1802 zelfs opgevolgd door zijn zoon Marinus.

Zo rond deze tijd werden er op het kasteelterrein hier en daar zelfs nog herstelwerkzaamheden uitgevoerd. Toen Marinus de Jonge van Ellemeet in 1812 naar Den Haag verhuisde, bleef het kasteel leeg en onbewoond achter.

In 1813 kocht de Jonge van Ellemeet het slot om het enige jaren later, vanaf 1818, af te laten breken.