In 1424 schiep de kunstenaar Jacob van Huse een beeld dat in de klokkentoren werd geplaatst. Het beeld moest de juiste tijd aangegeven door met een hamer op de klokken te slaan. Al gauw stond dit beeld bekend als Jantje van Sluis.

Vanaf zijn de standplaats in de toren keek Jantje van Sluis neer op de stad en zijn bewoners. Er is niemand die zoveel geheimen weet als hij.

Op een dag in het jaar 1606 verzaakte hij zijn plicht, maar werd voor altijd de held van Sluis:

Gedurende de Tachtigjarige Oorlog veroverde Prins Maurits in 1604 de stad Sluis op de Spanjaarden. Die wilden koste wat kost Sluis heroveren in 1606. De Spanjaarden, onder leiding van Seigneur du Terrail, hadden een plan bedacht om op een bepaald uur 's nachts Sluis aan te vallen; het teken voor de aanval zou gegeven worden door het slaan van de klok op het hele uur. De bestorming zou gebeuren via de Oostpoort, de plek waar maar matig wacht werd gehouden, omdat daar het wachthuisje was afgebrand. Gelijktijdig zou men ook een schijnaanval uitvoeren aan de zuidzijde van de stad.

De Spanjaarden wachtten op een teken om ten aanval te gaan. Maar … de klok sloeg niet! De vijand werd bang, dacht aan verraad, maar Du Terrail liet zich niet van de wijs brengen, hij ging weer aan de slag. Een paar soldaten zwommen de stadsgracht over en lieten de sloten van de twee valbruggen ontploffen, waardoor de valbruggen naar beneden kwamen. Enkele Sluise wachten en hun sergeanten kwamen toegesneld, net op het ogenblik dat de springbus ontplofte. Deze dappere helden hebben de slag niet overleefd, maar droegen er wel toe bij dat maar een gedeelte van de vijandelijke soldaten de poort durfde te bestormen. Ook de aanvallers aan de zuidkant van de stad waagden het niet de vesting te belegeren uit vrees voor verraad.

De aanval bleef uiteindelijk beperkt tot de bestorming van de Oostpoort, de burgers in de binnenstad waren veilig. Waarom gaf de klok nog taal nog teken? Hier volgt de ontknoping: volgens de legende kon Jantje van Sluis op die dag de verleiding niet weerstaan om de Sluise kermis te bezoeken. Klaar staat voor de bevolking is een prioriteit, maar een keertje de geneugten des levens proeven, moet toch kunnen, zal de klokkenman hebben gedacht. Met die gedachte daalde hij van zijn toren neer, om zich in het feestgewoel te mengen.

Hierna was hij niet meer in staat om zijn taak naar behoren te vervullen en had hij deze overgedragen aan zijn zoon en neef. Deze twee, onkundig in het vak, hadden er niets van terecht gebracht, met alle, hierboven gemelde gevolgen van dien. Noem het een geluk bij een ongeluk. In ieder geval was de Sluise bevolking gered van de aanval van de
vijand.

Ondanks de verwoesting van het Belfort tijdens de Tweede Wereldoorlog, waarbij het beeld van Jantje van Sluis met toren en al naar beneden stortte, bleef het ongedeerd.

Na de restauratie van het Belfort in 1960 werd Jantje teruggezet op zijn vertrouwde plekje in de Toren.