De Kasteeldreef is de kaarsrechte weg aangelegd in opdracht van Geraard van Vilsteren, baron van Laarne, in de tweede helft van de zeventiende eeuw. Deze privéweg tussen een dubbele bomenrij diende voor verplaatsingen tussen de Sint-Machariuskerk en het kasteel. Aan het begin en aan het eind van de dreef stonden barelen die enkel voor de kasteelbewoners werden geopend. Naast de rij bomen uiterst rechts liep een landweg, die door de bewoners van Laarne werd gebruikt. Tot in het begin van de twintigste eeuw was er in de Kasteeldreef weinig of geen bebouwing.
De Kasteeldreef was in de zeventiende eeuw beplant met eiken. Begin de achttiende eeuw werden ze vervangen door beuken en dat bleef lang zo, tot de droge zomer van 1976. Toen kwamen wilde kastanjes in de plaats van de afgestorven beuken. De kastanjebomen werden op hun beurt in 2010 en 2012 vervangen door jonge zomereiken.
De Kasteeldreef in Laarne is niet de oudste dreef in het centrum van de gemeente. Parallel met de Kasteeldreef loopt de Achterdreef die wellicht dateert uit de middeleeuwen. Beide dreven zijn verwezenlijkingen van de kasteeleigenaars en nog steeds bepalend voor de vormgeving van het centrum van Laarne.