Issu d'une famille noble et vouée à la carrière des armes, il naît à Sauve dans le Gard, et passe sa prime jeunesse au château de Florian, sur la commune de Logrian, près de Sauve, au pied des Basses-Cévennes. Sa mère, d'origine espagnole meurt lorsqu'il est enfant et il est élevé au château de Florian. Son oncle ayant épousé la nièce de Voltaire, c'est à dix ans, en juillet 1765 lors d'un séjour à Ferney, qu'il est présenté au célèbre écrivain, son grand-oncle par alliance, qui le surnomme Florianet et parle de lui dans sa correspondance comme étant son « neveu par ricochets.