Il est né le 8 mai 1828 à Toffo près de Cotonou (ex-Dahomey, aujourd'hui Bénin). Son père était chef de gare.
Il est séminariste,avec pour evêque monseigneur Parisot.

En 1953 il va faire ses études à Rome
Il est ordonné prêtre, le 14 janvier 1951 à Lomé, au Togo.
Le 19 décembre 1956 il devient eveque auxiliaire de Cotonou
Le 5 janvier 1960 il est nommé administrateur apostolique et le 15 Archevêque de Cotonou . Il est intronisé le 17 mars. C'est le premier archevêque métropolitain africain.
Le 8 avril 1978, le Pape Jean-Paul II le nomme Préfet de la Congrégation pour les Évêques et Président de la Commission Pontificale pour l’Amérique Latine.

C'est le 15 mai 1988 qu'il vient à Dijon présider les fêtes du cinquantenaire du Sacré Coeur et qu'il est reçu par Monseigneur Jean Balland et le père Bourland.

En juin 1988 il signifie son excommunication à Mgr Lefebvre et aux quatre évêques dissidents que le chef des traditionalistes français a consacrés.
Le 30 novembre 2002, le cardinal Gantin retourne définitivement au Bénin, après avoir passé 30 ans à Rome.
Il décéde le 13 mai 2008 à Paris
Six cardinaux ont fait le déplacement pour ses obsèques. Le peuple béninois lui rend un hommage sans précédent le jeudi 22 mai.. Le gouvernement a pris en charge financièrement l’organisation des différentes cérémonies.La journée est payée et chomée avec la retransmission en direct à la télévision nationale de toutes les cérémonies.
L’aéroport de Cotonou portera désormais le nom du cardinal Gantin.
Comme il l’avait souhaité, il repose dans la chapelle de St Gall avec Monseigneur Louis Parisot. (photo : voir voyage au Bénin 2011)