Fils de Jules Henri BAILLY, docteur en médecine puis régisseur, et de Marie Elisabeth DESFRÈRES. Frère de Marie Charles Nicolas BAILLY (1866-1942 ; X 1885 ; Intendant militaire général) et de Marie Joseph Victor Paul BAILLY (1862-1933 ; X 1881 ; Ingénieur général du Génie maritime).
Ancien élève de l'Ecole polytechnique (promotion 1888, entré classé 4ème et sorti classé major sur 181 élèves), et de l'Ecole des Mines de Paris (entré et sorti classé major). Corps des mines.
Né le 8/11/1871 à Lindre Basse (Lorraine Allemande)
En 1908, Bailly n'est nommé ingénieur en chef que deux ans en retard par rapport à son camarade de promotion Rivet parce qu'il avait pris un congé de 7 mois (1907-1908) pour convenance personnelle. Il faisait à cette époque des conférences de législation et d'économie minière à l'Université de Nancy.
En 1911, Bailly, qui avait accepté des postes de conseils d'administration dans plusieurs entreprises mátallurgiques et minières, ne put pas prolonger son congé et dut démissionner du corps des mines. Il entra dans la sidérurgie. Il contribua notamment au développement de l'exploitation de la potasse en Alsace dans le cadre du seul groupe français (consortium dirigé par la "Société Amélie" puis la Société des mines de Kali Sainte-Thérèse) qui reçut de la part des allemands l'autorisation d'exploiter de la potasse.