Mauve werd in 1838 in Zaandam geboren als zoon van de doopsgezinde predikant Willem Carel Mauve (1803-1869) en Elisabeth Margaretha Hirschig (1805-1876), een nicht van Antonius Hirschig, de grootvader van Anton Hirschig, die de laatste dagen van Vincent van Gogh deelde.[1] Een jaar na zijn geboorte in Zaandam verhuisde het ouderlijk gezin naar Haarlem, alwaar zus en latere zangeres Susanna Pouwlina Mauve werd geboren. Daar groeide hij op en ontstond ook de wens om kunstschilder te worden. Van zijn vader kreeg hij toestemming om een opleiding tot kunstenaar te volgen, mits hij de akte voor het geven van tekenonderwijs zou behalen. De reden hiervoor was dat dat maatschappelijke zekerheid gaf.
In de periode van 1854 tot 1857 heeft hij als leerling geschilderd in het atelier van Pieter Frederik van Os. Vervolgens is hij ook nog in 1858 enkele maanden in de leer geweest bij Wouterus Verschuur. In zijn verdere ontwikkeling heeft hij ook nog samengewerkt met: Paul Gabriël, Marinus Heijl en J.J. Doffegnies. In die periode schilderde hij in de trant van de Haagse School. Mauve was medeoprichter van de Hollandsche Teekenmaatschappij en lid van Kunst Zij Ons Doel uit Haarlem.
Anton Mauve trouwde met de achttien jaar jongere Ariëtte Sophia Jeannette (Jet) Carbentus (1856-1894), een nicht van Vincent van Gogh. Vincent ging eind 1881 op 28-jarige leeftijd voor ongeveer drie weken bij zijn aangetrouwde neef in diens Haagse atelier werken. Via hem kwam Vincent in contact met het werk van onder anderen Jaap en Matthijs Maris, J.H. Weissenbruch, H.W. Mesdag, G.H. Breitner en Jozef Israëls. Mauve gaf Vincent schilderles. Zijn invloed op Vincent was groter dan doorgaans wordt aangenomen. Thema’s als spitters, aardappeleters en houtverkopers nam hij van Mauve over. Door zijn relatie met Sien Hoornik kwam Vincent in conflict met Mauve. Toen Anton Mauve in 1888 plotseling te Arnhem overleed, droeg Vincent in Arles zijn Souvenir de Mauve, roze bloeiende perzikbomen, aan hem op.
Zijn meest productieve jaren bracht Mauve door in Laren NH, waar hij een van de oprichters was van de Larense School. Veel van zijn schilderijen heeft hij in de omgeving van Laren geschilderd. Door veel toeristen en kunstkenners werd het Gooi ook wel 'Het land van Mauve' genoemd.
In 1887 won Mauve een gouden medaille op de Parijse salon met zijn doek De terugkeer van de kudde.
Zijn zoon Anton Rudolph Mauve jr. werd ook kunstschilder. Anton Mauve overleed aan een aneurysma.
Van september 2009 t/m januari 2010 organiseerden Teylers Museum in Haarlem en het Singer Museum in Laren een dubbeltentoonstelling van het werk van Anton Mauve.