Il fut inscrit par la gauche de l'Assemblée, en décembre 1875, sur la liste des sénateurs inamovibles, et fut élu au 2^ème tour de scrutin, par 345 voix sur 699 votants. Chanzy ne prit qu'une faible part aux travaux de la Chambre haute. En 1876, il se prononça, à propos du projet sur la collation des grades pour le ministère centre-gauche formé par Dufaure; arrivé trop tard d'Alger pour déposer son bulletin, il déclara que ce bulletin aurait été favorable au ministre de l'instruction publique. En 1878, il apparaît deux fois à la tribune, la première fois pour dire qu'il acceptait le texte d'un amendement de M. Lucet sur l'état de siège de l'Algérie en cas de guerre; la seconde fois (19 mars), pour entretenir le Sénat de la situation de la colonie. Il se défendit du reproche d'avoir modifié par des décrets la direction centrale des affaires d'Algérie. Au congrés pour l'élection du président de la République (30 janvier 1879), les monarchistes donnèrent 99 voix au général Chanzy, qui n'était pas candidat, et qui protesta par une lettre à M. Gailly, sénateur des Ardennes. Quelques jours plus après (18 février 1879), le président Grévy nommait ambassadeur de France à Saint Pétersbourg son concurrent, sans le vouloir. Il fut bien accueilli par le tsar. Lors de l'arrestation à Paris du nihiliste Hartmann, par ordre de M.Andrieux (décembre 1879), les journaux reconnurent l'habileté dont le général Chanzy fit preuve dans les négociations qui terminèrent heureusement cette affaire. Le 22 août 1878, Chanzy avait été promu grand croix de la Légion d'honneur. Lorsque fut formé le ministre Gambetta (14 novembre 1881),le général donna sa démission d'ambassadeur, et revint en France prendre le commandement du 6^ème corps d'armée. Aussi les comptes rendus des séances du Sénat ne citent le plus souvent son nom que sous la rubrique: n'ont pas pris part aux votes. Une seule fois, durant l'année 1882 (29 juillet). Chanzy parut à la tribune du Sénat pour défendre la discipline militaire qu'il jugeait menacée par une proposition du commandant Labordère, ainsi conçue "Néanmoins l'obéissance militaire n'étant due qu'aux ordres donnés pour l'exécution des lois et des règlements militaires et pour le bien du service, il n'y a ni crime ni délit lorsque le refus s'applique à un ordre dont l'exécution serait un acte qualifié par la loi et s'il se produit en temps de paix avec l'étranger." C'est à Chalons sur Marne, au siège de son commandement du 6^ème corps, que mourut subitement le général Chanzy: il se préparait à se rendre aux funérailles de Gambetta. Celles du général eurent lieu le 9 janvier par les soins de l'Etat et aux frais du Trésor Public. Le général Billot, ministre de la guerre, avait proposé qu'elles fussent célébrées à Paris, aux Invalides. Mais, Mme Chanzy, exprima le désir que la cérémonie fut faite à la cathédrale de Châlons et qu'ensuite le corps fut transféré à Buzancy. Une allocution fut prononcée dans l'église par l'évêque de Chalons; puis sur la place de la cathédrale, MM. Eugène Pelletau, au nom du Sénat, Philippoteaux, maire et député de Sedan, au nom du département des Ardennes, Neveux, au nom du conseil général de ce même département, les généraux Lallemand et Vuillemet, enfin le ministre de la guerre pronocèrent l'éloge du défunt. - Une statue du général Chanzy, ayant le caractère d'un monument commémoratif en l'honneur de la deuxième armée de la Loire érigée au Mans.