Depuis le grenier où il collectionne livres et revues d'exploration et d'ethnologie, le jeune Paul-Émile Victor, membre des Éclaireurs de France, cultive deux rêves ambitieux et d'apparence antagonistes : se rendre un jour aux pôles et en Polynésie.
Après avoir été élève officier sur un cuirassé, aspirant sur un porte-avion puis pilote d'avion, il met de côté les promesses d'aventure en reprenant les affaires familiales de fabrication de pipes de bruyère. Cet écart ne dure pas. Bientôt, il fait la connaissance de l'explorateur Jean-Baptiste Charcot et embarque avec lui sur le Pourquoi-pas ? en 1934. Sa découverte du Groenland le marque à jamais. Fasciné, il n'aura de cesse d'y retourner, traversant l'île en traîneaux à chiens, vivant parmi les Inuits en ami et en ethnologue, apprenant leur langue, esquissant ses premiers dessins de masques. À son retour, il se fait connaître en multipliant les conférences et les publications, notamment pour le musée de l'Homme.
En 1947, juste après la guerre et en grande partie à l'aide d'anciens résistants, il fonde les Expéditions Polaires Françaises (EPF), qui inaugurent des missions scientifiques de grande envergure tant en Arctique qu'en Antarctique, où il installe les bases Dumont d'Urville et Charcot.
Grand défenseur de l'environnement à la fin de sa vie, il termine ses jours, selon son rêve, en Polynésie.