De famille sénatoriale, Grégoire gouverna le pays d'Autun, en qualité de comte, pendant quarante ans ; il remplit cette charge avec un grand sentiment de l'équité et avec une fermeté qui en faisait la terreur des méchants. De son épouse Armentaire, il eut deux fils, dont l'un, Tetricus, fut son successeur sur le siège de Langres, et l'autre fut le grand-père de l'historien Grégoire de Tours. Il était déjà avancé en âge quand, devenu veuf, il abandonna le monde et se donna à Dieu sans réserve. C'est alors que le Clergé et les fidèles de Langres l'élurent comme Evêque. Après son Sacre, on vit en lui un admirable exemple de fidélité à tous les devoirs de sa charge pastorale ; sans le laisser paraître extéricurement, il pratiquait une rigoureuse abstinence, ne vivait que de pain d'orge, ne mêlait que quelques gouttes de vin à l'eau qu'il buvait, consacrait de longues heures à la prière durant la nuit.
La ville de Dijon, à cette époque, faisait partie du Diocèse de Langres ; Grégoire y faisait d'assez longs séjours. Sa résidence était contiguë au baptistère de Saint-Vincent, non loin de l'endroit où se trouve l'église Saint-Étienne. De nombreuses Reliques étaient exposées dans ce baptistère, et Grégoire venait les vénérer pendant la nuit. Un de ses Clercs, qui épiait ses démarches, raconta que, durant l'une de ces veilles, les Saints dont les Reliques étaient ainsi exposées vinrent se joindre à lui pour chanter les louanges du Seigneur. Il entendit Saint Bénigne, dont le culte était négligé, se plaindre de cet oubli ; ce qui amena Grégoire à renouveler la châsse du Saint Martyr.
Grégoire gouverna pendant trente-trois ans le Diocèse de Langres ; il assista en personne aux conciles d'Épaone et de Clermont, en 517 et 525, il se fit représenter à celui d'Orléans de 538. Il se rendait à Langres pour les fêtes de l'Épiphanie quand il fut atteint de la fièvre et passa à une vie meilleure le 4 janvier 539 ; il était plus qu'octogénaire. Selon son désir, son corps fut inhumé dans le baptistère de Dijon.
L'épitaphe composée par Venance Fortunat laisse entendre que le saint homme sut réparer ses excès de sévérité comme gouverneur séculier par la tendre charité dont il usa envers tous durant la dernière partie de sa vie. De fait, les miracles accomplis après sa mort, par son intercession, furent de préférence en faveur de captifs frappés par la justice humaine.
Lorsque Tetricus, fils et successeur de Grégoire, voulut lui élever un monument plus somptueux, on procéda à l'exhumation, et le corps fut trouvé dans l'attitude du sommeil et sans corruption ; l'anniversaire de cette translation se célèbre le 6 novembre.
