Fils de Joseph Lubin Hippolyte CAILLAUX (1783-1856), avocat, et de Petronille THIRION. Frère de Adrien Hippolyte Alfred CAILLAUX (X 1835, à qui l'on doit le Tableau général des mines de la France (1875)). Marié à Henriette GIRARD, fille de banquier.
Père de Joseph CAILLAUX (1863-1944) qui avait échoué au concours d'entrée à Polytechnique, ce qui ne l'a pas empêché de devenir député de la Sarthe, ministre des finances, président du conseil des ministres, et de Paul CAILLAUX (1864-1900).
Ancien élève de Polytechnique (promotion 1841 ; sorti en 1845 classé 12 sur 118 élèves) et de l'Ecole des ponts et chaussées. Il appartient au corps des ponts et chaussées.
Il fait le métier d'ingénieur ordinaire du service des ponts (à Laval puis Le Mans) jusqu'en 1862, puis devient ingénieur en chef à la Cie des chemins de fer de l'Ouest. Il dirige la construction de chemins de fer dans la Sarthe, dont il devient député en 1871 (centre-droit, groupe de Allain Targé). Il est ministre des travaux publics de 1874 à 1876 dans le gouvernement de Cissey et y soutient la construction de lignes de chemin de fer et la construction de ports (Dunkerque, Calais, Boulogne, St-Nazaire). Il devient sénateur de la Sarthe de 1876 à 1882, et ministre des finances dans le gouvernement de Broglie en 1877. Partisan de la droite monarchiste, il vote contre les lois de Jules Ferry sur l'éducation.
Il est président de la compagnie de Paris-Lyon-Méditerranée (PLM) de 1891 à sa mort. Son directeur général était Noblemaire.