Nato nel Limosino da padre francese e madre inglese, Nivelle si diplomò alla École polytechnique nel 1878 e servì in Indocina, Algeria e Cina come ufficiale di artiglieria. Salì nella scala gerarchica, dal grado di sottotenente nel 1878 a colonnello nel dicembre 1913, grado che manteneva allo scoppio della guerra nell'agosto 1914.

Artigliere di grandi capacità, l'intenso fuoco che fu in grado di mantenere giocò un ruolo chiave nel fermare gli attacchi tedeschi durante l'offensiva francese in Alsazia nelle prime fasi della guerra, così come nella Prima battaglia della Marna (5–10 settembre 1914) e nella Prima battaglia dell'Aisne (15–18 settembre 1914).

Fu promosso a generale di brigata nell'ottobre 1914. Fu assistente di Philippe Pétain a Verdun, e il suo successo al comando delle truppe della 2a Armata che rioccuparono Fort Douaumont e Fort Vaux lo portarono ad assumere il comando dell'intero settore di Verdun nel 1916. Nivelle era fautore di una tattica aggressiva, sosteneva infatti che utilizzando il fuoco di sbarramento mobile si sarebbe potuto porre termine alla guerra sul fronte occidentale.

Le sue idee erano viste con favore da Aristide Briand, il Primo Ministro francese, e il 13 dicembre 1916 Nivelle prese il posto, come comandante in capo dell'esercito, di Joseph Joffre, giudicato di impostazione troppo statica.

Mise a punto un piano grandioso per vincere la guerra entro il 1917 (sosteneva di conoscere "la formula" per la vittoria). Riuscì a convincere l'alleato britannico, forse anche in virtù della sua fede protestante e del suo inglese fluente, e Lloyd George accettò di porre al suo comando una parte delle truppe britanniche. Il piano prevedeva un attacco britannico per trattenere le riserve tedesche, seguito da una massiccia offensiva generale francese, incentrata sul saliente Arras–Soissons–Reims. Tuttavia Nivelle non desiderava altro che parlare del suo piano con chiunque, giornalisti compresi, mentre i tedeschi riuscirono a trovare delle copie del piano di battaglia nelle trincee francesi catturate; di conseguenza si perse l'elemento sorpresa.

Quando fu lanciata nell'aprile 1917, l'Offensiva Nivelle (passata quindi alla storia come la tragica offensiva sul Chemin-des-Dames) fu un fallimento totale: trecentocinquantamila uomini perduti per un guadagno di terreno insignificante.

Nivelle continuò tuttavia a seguire la propria strategia fino a che l'esercito iniziò ad ammutinarsi. Fu destituito il 15 maggio 1917 e rimpiazzato da Pétain, che riuscì a restituire alle forze francesi la capacità di combattere. Ebbe un nuovo incarico in Nord Africa nel dicembre 1917, dove trascorse il resto della sua carriera militare prima di ritirarsi nel 1921.