1801
In het begin van de negentiende eeuw wonen in Dendermonde ongeveer 5.000 mensen. Aan de monding van de Dender is het een belangrijke vesting- en garnizoensstad.
Op 30 januari bevalt Marie-Jeanne Buydens van de tweeling Pierre-Jean en Colette-Aldegonde. Vader Judocus is intussen een vermogend man geworden. De Franse oorlogseconomie heeft daar zeker toe bijgedragen. Het gezin woont nog steeds langs de oevers van de Dender, in de Scheldestraat (vandaag de Franz Courtensstraat).
De buurt waar Pierre-Jean opgroeit ligt vlak bij de Visgracht en de binnenhaven van Dendermode. Voor het huis liggen vaak zeilschepen aangemeerd. Wanneer die schepen gelost en geladen moeten worden, is het voor de pijnders van de Scheldestraat een erg drukke tijd. Achter de tuin van de woning staat de oude Mechelse kazerne. Naast en recht over het huis van de familie De Smet bevinden zich ook enkele kloosters en kapellen. Het zijn allemaal elementen die in het leven van Pierre-Jean een belangrijke rol zullen blijven spelen.
Judocus is een vrome maar levenslustige man die veel van zijn kinderen eist. Zijn streng karakter ligt aan de basis van de afstand die altijd tussen vader en zoon De Smet zal blijven bestaan.
Op zijn twaalfde is Pierre-Jean reeds een stevige knaap. Zijn speelkameraadjes noemen hem niet voor niets Samson. Langs de kade en op de schepen ontwikkelt de jonge knaap de zin voor avontuur en verre reizen die hem heel zijn leven zullen typeren.
1814
Maar voorlopig blijft het bij dagdromen, want in 1814 moet Pierre-Jean naar de katholieke kostschool in Beirvelde bij Gent. 2 jaar later verhuist hij naar het internaat van Sint-Niklaas en in 1818 volgt Pierre-Jean college in Aalst. Een jaar nadien studeert hij aan het klein seminarie in Mechelen. En daar stort de wereld van Pierre-Jean in wanneer op 19 september 1819 zijn lieve moeder overlijdt. Ze is pas 47.
1821
In juni geeft een zekere pater Nerinckx in Mechelen een voordracht die Pierre-Jean overtuigt dat hij zijn roeping gevonden heeft. Hij wil en zal de apostel van Kentucky volgen en missionaris worden. Maar hij is niet de enige kandidaat en Nerinckx moet een beetje selectief te werk gaan. Hoe dan ook, de roeping van Pierre-Jean wordt ernstig genomen en hij kan mee met de overige aspirant-missionarissen : Felix Verreydt (Diest), François de Maillet (Brussel), Jean-Antoine Elet (Sint-Amands), Jean-Baptiste Smedts (Rotselaar), Judocus Van Assche (Sint-Amands) en Van Horzig (Hoogstraten). Al die jongens komen uit het groot seminarie, behalve Van Assche en De Smet die nog aan het klein seminarie studeren. Priester Veulemans en Pierre-Jean Verhaegen, een jonge leraar uit het klein seminarie, zullen het onervaren groepje jongens begeleiden. De rekruten verlaten het seminarie en wachten op hun vertrek in de Mechelse tabakswinkel Het Schip op de hoek van de Sint-Jan- en de Koestraat (vandaag Frederik de Merodestraat).
Op 23 juli is het zover. De Smet, Elet, Smedts en Van Assche reizen van Mechelen naar Antwerpen. In het Koninkrijk der Nederlanden van Willem I zijn de postkoetsreizigers nog verplicht om aan de poorten van elke stad een zogenaamd paspoort te tonen, maar bij elke poort mengen onze 4 seminaristen zich in het lokale verkeer en zo reizen ze ongemerkt door de noordelijke provincies. Op 26 juli komen ze in Amsterdam aan. Nerinckx heeft er voor opvang bij Hollandse katholieke families gezorgd. Het duurt niet lang of de 9 emigranten zijn terug samen.
De Smet is nog minderjarig en heeft geen ouderlijke toelating. De bejaarde Judocus De Smet krijgt lucht van de zaak en stuurt zijn zoon Charles naar Amsterdam met de opdracht om Pierre-Jean terug te halen. Maar Pierre-Jean overtuigt zijn oudere broer om hem toch te laten vertrekken. Charles geeft hem zelfs een aanzienlijke som zakgeld mee. Het groepje verhuist naar het ruim van een schip en op 31 juli varen ze de Zuiderzee op. Op 2 augustus komen ze in het donker op het eiland Texel aan. Ook daar worden ze door bevriende katholieke families opgevangen. Nerinckx voegt zich bij het gezelschap. Onderweg schrijft De Smet zijn oude vader niet minder dan 7 afscheidsbrieven, die allemaal door de Antwerpse pastoor Jean-Baptiste Buelens achtergehouden worden en pas na diens overlijden in 1868 bij toeval teruggevonden worden.
Maar de marechaussee is hen op het spoor. Om de verplichte paspoortcontrole te omzeilen, wordt besloten om niet rechtstreeks in te schepen. Als illegale emigranten zullen ze met een kleinere boot in volle zee het grote schip opwachten. Het plan lukt, en zo kan Nerinckx op 15 augustus ongezien op de Amerikaanse brik Columbia met zijn rekruten naar de nieuwe wereld vertrekken. Vader De Smet kan Pierre-Jean's impulsieve beslissing moeilijk aanvaarden. Hij zal in 1827 overlijden, zonder zijn zoon Pierre-Jean ooit terug te zien.
(Het Stedelijk Museum van Dendermonde heeft in haar collectie een schilderij van de bejaarde Judocus De Smet. Het doek dateert van 1825, 2 jaar voor zijn dood. Het portret bevindt zich in de Jumelagezaal van het stadhuis in Dendermonde).