Das Schloss ist neben dem Alten Kirchle das älteste Bauwerk in Wasseralfingen. Es geht auf die Ritter von Ahelfingen zurück , die es erbaut und bewohnt haben. In den älteren Urkunden wird es vorwiegend als „Burg“ oder „Feste“ bezeichnet, was darauf hindeutet, dass es sich zunächst um eine Wehr- und Verteidigungsanlage gehandelt hat. Als solche reicht sie bis in die frühalemannische Zeit zurück. Seit 1992 ist in dem Gebäude die Schule für Sprachbehinderte (Landkreis) untergebracht.
