Une fois le dernier morse disparu, les eaux entourant l’Île Madame ont continué à être une bonne source de produits et de nourriture, ce qui justifiait toujours la présence des Européens. Éventuellement, les Basques, qui avaient établi des usines de poissons pendant des générations, ont décidé d’habiter la région en permanence et se sont donc assimilés avec les familles acadiennes telles que les Goyetche, les DesRoches, les Baccardax et les Josse (Joyce). Aujourd’hui, on retrouve des descendants qui portent toujours ces mêmes noms de famille.
Outre la présence des Basques, la première colonisation de l’Île Madame fut pendant les années du règne français à Louisbourg. Pendant ce temps, deux marchands de la France, d’Aroupet et Hiriat, ont transformé le village de Petit de Grat en un port de pêche et de contrebande. On croit même qu’il y avait plus de commerce qui se faisait à Petit de Grat qu’au port de Louisbourg.
Même si l’Île Madame fut habitée par des familles acadiennes telles les Gerroir, les LeJeune et les Doiron, la majorité de la population est venue de la France afin de travailler pour Hirait et D’Aroupet. À la suite de la prise de Louisbourg en 1758, presque tous les résidents ont quitté l’île. Un grand nombre de nos ancêtres acadiens sont arrivés dans les années suivant cet événement historique. Les familles telles les Boudrot (Boudreau), Samson, Martel(Martell), Dugas, DeCoste, Boucher, Petitpas, Vigneau, Fougère, Marchand, Poirier et Landry ont colonisé la région de Port Toulouse (St.Peter’s). Après avoir été chassées de leurs demeures, ces familles ont passé des années en exil avant de se rendre éventuellement à l’Île Madame. D’autres, telles les Forêt, Thériot(Thériault), Babin, Leblanc, Forgeron, Bellefontaine, Lavandier, Meunier et Richard ont été expulsées du Vieux Acadie, sur les côtes de la Baie de Fundy. Tout comme les familles énumérées antérieurement, celles-ci se sont retrouvées à l’Île Madame suite à la Déportation des Acadiens en 1755.
Beaucoup d’habitants vivaient dans des conditions qui n’offraient guère que des moyens de subsistance. Ils furent défendus d’assumer les fonctions officielles, de voter, d’enseigner, de fréquenter les écoles et même d’être propriétaires terriens. Les lois pénales anti-catholiques plaçaient les Acadiens à la merci des autorités locales. À la tête de cette oppression se trouvait Charles Robin, un anglican français des îles anglo-normandes. Ses activités de pêche et de commerce s’étendaient aux ports du Golfe Saint-Laurent, mais c’est Arichat qui s’avérait toujours son point de départ. Étant le seul acheteur de la région, il put monopoliser la pêche et établir les prix. De plus, il était propriétaire du seul magasin, donc tous les pêcheurs se devaient d’acheter leurs marchandises de Charles Robin, « à son prix évidemment »! Son exploitation des Acadiens les a poussés à des limites quasi-intolérables. Plusieurs marchands de l’Île de Jersey, tels les Janvrin, Levesconte, Gruchy, Hubert, Jean et Moore ont suivi Robin et ont continué à exploiter les pêcheurs de l’Île Madame jusqu’au début du vingtième siècle. La compagnie à Robin exista jusqu’à 1910, tandis que celle de Levesconte ferma ses portes au début des années 1930.
Heureusement pour la population acadienne sans cesse croissante, les lois anti-catholiques de la Nouvelle-Écosse furent abolies en 1786. Cette année-là, la population d’Arichat avait tellement augmenté qu’un prêtre lui à été désigné, ce qui a rendu cette paroisse catholique la deuxième plus ancienne en Nouvelle-Écosse. Au moment de sa création, elle englobait l’est de la Nouvelle-Écosse, l’Île du Prince-Édouard et la Vallée de Memramcook au sud du Nouveau-Brunswick.
Une nouvelle prospérité s’est donc écoulée des nouvelles libertés spirituelles. Avant l’arrivée du prochain siècle, Simon Forêt d’Arichat ouvra une taverne dans son village et Pierre Babin, ancêtre des Babin de l’Île Madame, construisit et navigua ses propres bateaux.
Lors de l’arrivée du 19e siècle, la prospérité s’est répandue davantage. C’était maintenant évident que le port d’Arichat en sera un des plus fréquentés du Canada atlantique. Situé à l’entrée du Détroit de Canso, qui se trouve lui-même sur la route du Golfe St.-Laurent, Arichat occupait une position idéale, car les navires qui voyageaient aux Canadas utilisaient ce port comme escale. De plus, notre position géographique était parfaite pour l’échange triangulaire des marchands qui échangeaient le poisson en retour du rhum et de la mélasse des Caraïbes et des produits manufacturés de l’Europe. Le havre d’Arichat étant parmi les plus grands et les plus creux le long de la côté atlantique de l’Amérique du Nord, il ne pouvait faire autrement qu’inviter ces navigateurs à ses quais.
Le résultat de l’ensemble de ces avantages fut la naissance d’une époque florissante sur l’Île Madame, surtout dans les villages d’Arichat-Ouest et D’Escousse, qui furent les sites d’un grand nombre de chantiers navals. Ici, les pêcheurs acadiens qui étaient auparavant accablés par la puissance de Charles Robin, construisaient en abondance une variété de navires. Pendant la décennie des 1830, environ 60 bateaux furent bâtis, et ce à Arichat seulement! Cinq forges fournissaient les outils et les produits nécessaires aux chantiers.
En 1867, plus de 400 bateaux considéraient Arichat comme leur port d’origine en plus des centaines qui s’étaient établis à Arichat-Ouest, D’Escousse et Petit de Grat. De plus , le nombre de navires entrant de l’Espagne, de la France et des États-Unis était tellement élevé que les gouvernements de ces pays ont placé des agents consulaires à Arichat pour s’occuper des affaires de leurs compatriotes. Vers 1860, Arichat pouvait se vanter des établissements suivants: deux écoles secondaires, une cathédrale, deux églises protestantes, un palais de justice, 24 grands quais, plusieurs avocats et médecins, un temple maçonnique, quelques hôtels, quatre bars et un journal.
Il est donc évident que l’Île Madame avait les ressources pour attirer les gens d’ailleurs. Plusieurs familles telles les LeNoir, Hureau, LeBrun, Mury, Covin et Frank sont arrivées de la France et furent rapidement assimilées parmi la population acadienne. Les David et les Linden sont arrivés lorsque les ancêtres de ces familles ont déserté des navires qui passaient dans le Détroit de Canso et ont nagé jusqu’à la côte pour se sauver. L’assimilation s’est faite rapidement lors de la rencontre de ces hommes et des femmes acadiennes.
Cependant, l’assimilation des immigrés irlandais a été plus difficile. Les Flynn, Hennessy, Barret, Power, Phalen, Madden et Tyrrel, qui demeuraient à Arichat, ont longtemps gardé leur identité. Les célébrations de la St. Patrice dans ce village étaient reconnues comme les plus exubérantes à l’est de Montréal. Encore plus dévouées à l’héritage irlandais étaient les familles Kelly, Doyle, Wilson, Dunn, Kehoe, O’Hearn et Keating qui demeuraient à Rocky Bay. Ce village est devenu la communauté irlandaise la plus distincte au Cap-Breton et même jusqu’au temps de la Deuxième Guerre mondiale on utilisait encore l’ancienne langue des Irlandais.
La fin de la vague d’immigration et le début du déclin économique sont arrivés simultanément. L’échange triangulaire a vu sa fin. Le commerce d’exportation s’est réduit énormément et le poisson de l’Île Madame était beaucoup moins recherché. L’apparition des bateaux à vapeur était également nuisible à l’économie, car ces nouveaux paquebots pouvaient se rendre à leur port de destination sans arrêt. De plus, les navires à propulsion mécanique et les navires en fer demandaient des investissements et de l’expertise technique qui dépassaient les capacités et les moyens financiers des habitants d’Arichat. Le résultat de ces événements fut un déclin économique plus ou moins lent. Peu de nouveaux bateaux furent construits, ceux-là qui existaient se sont détériorés et enfin les grand voiliers ont disparu de l’Île Madame pour toujours.
