Er was eens een koning met een reusachtige gestalte en enorme oren. In Voorburg liet hij een kasteel bouwen zoals er nog nooit één was geweest.

Althans, dat meent Petrus Scriverius, die in 1663 schrijft: "Dese Coninck Eseloor was dus gheheten omdat sijn Ooren so lanck waren oft een Ezel hadde gheweest: ook soo was hy seer groot ende hadde een Wijf die oock een Reusinne was. Dese Coninck Eseloor dede maecken by Voorburch een al te grooten Casteel soo datmen sijns gelijcke niet en wiste van grootheyt noch van hoocheyt."

Koning Ezelsoor was een nazaat van Friese koningen die oorlogen in Engeland hadden gevoerd en van daaruit in de buurt van de monding van de Oude Rijn waren komen wonen. Ezelsoors vader was een Heer Lem, stichter van de stad Haarlem. Een bastaardzoon van Ezelsoor, genaamd Valck (hij had ogen zo rond en zo scherp als van een valk) zou Valkenburg hebben gesticht. Ezelsoor zou ergens aan het eind van de zesde of het begin van de zevende eeuw aan de macht zijn geweest. In de beroemde middeleeuwse kroniek 'Liber Chronicarum' uit 1493 van de Duitser Hartmann Schedel, staat zelfs een afdruk van een houtsnede waarop Ezelsoor te zien is: een bebaarde koning met enorme, wanstaltige oren.

Zou die Voorburgse koning van Friese afkomst echt hebben bestaan? De Voorburgse gemeentearchivaris Bernard Dijkman vermoedt van niet. Volgens hem is Ezelsoor een volkssprookje, ontstaan door de vondst van oude Romeinse munten. Daarop was een Romeinse keizer met een lauwerkrans afgebeeld. Die lauwerkrans werd voor ezelsoren aangezien. Omdat veel munten in de buurt van de Elsberg werden gevonden, een met vele elzen begroeide heuvel (waar nu de Elsbergstraat ligt), werd door de laatmiddeleeuwse chroniceur Hegenitus geopperd dat 'Elsberg' een verbastering was van 'Koninck Eseloors Berg'.

Wilco de Jonge en Jean-Luc Marcillaud van de Archeologische Werkgroep Voorburg (AWV) menen echter sterke aanwijzingen te hebben dat Ezelsoor niet een folkloristische sprookjesfiguur was, maar dat hij echt heeft bestaan. "Die machtige Coninck Eseloor" was volgens Scriverius namelijk de zoon van Heer Lem, de stichter van de stad Haarlem.
Die zoon van Lem wordt ook in andere historische bronnen genoemd.

De negentiende-eeuwse geschiedkundige J.P. Arend noemt hem 'Udolf Haron' en dat is volgens De Jonge en Marcillaud weer dezelfde als de koning 'Audulfus Frisia', wiens naam wordt vermeld op een aantal munten uit het begin van de 7de eeuw, die deel uitmaakten van een schat die werd gevonden in het Brabantse plaatsje Escharen.

De Jonge en Marcillaud betwijfelen of Audulfus een echte Fries was. In die tijd werd iedereen die boven de Maas en de Waal woonde, gewoon 'Fries' genoemd. Wel had Audulfus waarschijnlijk nauwe banden met het Friese koningshuis.

Volgens een document uit de Abdij van Egmond uit de tiende eeuw, verwoestten de gevreesde Noormannen in 863 een fort van de vroegere koning Aurindubius bij Voorburg. In 1521 verwart historicus Willem Heda de naam Aurindubius met die van de Romeinse keizer Aurelianus, en daar maakt de Hoornse amateur-historicus Hadrianius Junius in 1570 weer 'Elinus' van: 'Ezelinus'. Scriverius maakt het nog bonter met zijn Coninck Eseloor en dat is, volgens De Jonge en Marcillaud, de Friese Audulfus.

Voorburg heeft er dus weer een beroemde historische figuur bij. Voorburgser dan de Romeinse veldheer Corbulo, die tweeduizend jaar geleden een oerversie van de Vliet liet graven. Meer duister ook dan de rechtlijnige veldheer. Iemand over wie heel wat te fantaseren valt, deze Koning Ezelsoor.