Graaf Floris V gaf het kasteel en de erbij behorende inkomsten aan zijn vriendin Catharina van Durbuy, de weduwe van Albrecht van Voorne. Na haar dood in 1328 ontving Simon van Benthem (of Bentheim) in 1339 het slot in leen van graaf Willem IV en gaat zich van Teylingen noemen. Het kasteel werd in 1337 grondig verbouwd en kreeg de functie van jachtslot van de Hollandse graaf. Hierna werd het kasteel telkens aan anderen in leen gegeven, waarbij bedongen werd dat de leenperiode voor bepaalde duur was. Zo voorkwam de graaf dat zich door vererving op het kasteel een nieuw adellijk geslacht zou ontstaan, dat zich op den duur als zijn tegenstander zou kunnen gaan manifesteren.

Het slot kreeg de functie van jachtslot en houtvesterij van de Hollandse graven en de leenman kreeg de titel van houtvester en werd feitelijk een soort ambtenaar met de verantwoordelijkheid voor het beheer.

Hij zorgde ervoor dat de bossen hout leverden, de venen turf, de wildstand vlees en de wateren vis, kortom: hier wordt het principe van het kasteel als productie-eenheid op slag duidelijk.

Teylingen anno 1647 door Roelant Roghman

De bekendste houtvester was Jacoba van Beieren (1433). Zij was uit de hoogste adellijke kringen afkomstig, maar had door een ongewenst huwelijk met Frank van Borsele haar rechten op de grafelijkheid verspeeld. De kamers van Jacoba van Beieren bevonden zich waarschijnlijk in het huis op de voorburcht van Teylingen in tegenstelling tot wat in veel teksten beweerd wordt. Het huis dat hier stond voldeed namelijk veel meer aan de wooneisen van haar tijd dan de woontoren van de hoofdburcht. Ze overleed in 1436 aan tbc. Haar echtgenoot Frank van Borsele stierf in 1470, waarna Teylingen wederom het verblijf wordt van een reeks houtvesters.

Teylingen anno 1720 door Abraham de Haan

Tijdens de Tachtigjarige Oorlog werd het slot zwaar beschadigd. Teylingen valt in 1572, tijdens de belegering van Haarlem en Leiden, ten prooi aan de Spanjaarden en werd tot bouwval gereduceerd.

In 1598 stond het huis er nog steeds "geheel verwoest en genouchsaem geruïneerd" bij en Jan van Duivenvoorde krijgt de opdracht de grachten en boomgaarden weer te herstellen.

Met het herstel van het kasteel wordt begonnen in 1605. Het hele burchtterrein wordt flink onder handen genomen. Ook werd er een groot nieuw woonhuis met fraaie trapgevel toegevoegd op de voorburcht. Dit gebouw is inmiddels weer verdwenen. De woontoren van de hoofdburcht werd alleen nog gebruikt als gevangenis voor illegale jagers die opgepakt waren door de houtvester.

Helaas trof een flinke brand de hoofdburcht in 1676. Na deze brand, waarbij het dak van de donjon werd verwoest, werden donjon en ringmuur niet opnieuw opgebouwd. De ruïne die er nu nog is, is hier een overblijfsel van.

Tot de Franse bezetting van ons land in 1793 behield het slot zijn functie als houtvesterij.

Ruïne rond 1900 

Na de opheffing van de houtvesterij wilde het rijk, in 1795, ook Teylingen van de hand doen. In 1801 werden het slot en de omliggende gebouwen verkocht, waarbij bepaald werd dat de ringmuur en de donjon niet gesloopt mochten worden. Hierdoor werd Teylingen een van de eerste monumenten in onze geschiedenis.

Twee jonkheren van Teylingen – geen directe afstammelingen van de voormalige heren – kochten in 1857 bij een publieke verkoping het resterende gedeelte op.

In 1888 werd de inmiddels zwaar verwaarloosde burcht aan het rijk overgedragen en was het beheer van het monument vooral gericht op behoud en pas sinds 1933 wordt verder verval door constructieve maatregelen voorkomen.

Sinds 1995 wordt de ruïne beheerd door de Kastelenstichting Holland en Zeeland.

De burcht bestaat heden ten dagen uit de nog altijd indrukwekkende rondburcht (37 m doorsnee) op een kasteeleiland omgeven door een brede gracht. Aan de binnenzijde van de muur zijn grote spaarbogen te zien, waarop een weergang is aangebracht. Tegen de muur is ook het massieve woongebouw opgetrokken. Het is nu een lege romp, maar vroeger had het vier bouwlagen, waarvan de eerste was overwelfd. In het interieur zijn de balkgaten van de bovenste vloeren nog te zien.