Ellen Bergman föddes i Strängnäs 1842. Hon var egentligen döpt till Eleonora, men kallades alltid Ellen. Pappan var präst och Ellen och hennes fyra systrar utbildades hemma av honom och Ellens mamma, Mathilda Scholander. Musiken var en viktig del av deras liv. Ellen spelade violoncell (cello), men med tiden blev det sång hon ägnade sig åt.
Det sägs att Ellen var "ostyrig och vild" som barn, och att hon inte ville anpassa sig till hur flickor skulle bete sig, så kanske hon redan då grundlade sin lust att kämpa för kvinnors rättigheter.
1864 började Ellen sin utbildning vid Kungliga Musikaliska Akademien i Stockholm. Där tog hon organistexamen, utbildade sig i sång, och började jobba som sånglärarinna. Det fortsatte hon att arbeta som under resten av sitt liv. Dessutom var hon tonsättare, hon komponerade klassisk musik.
Men Ellen Bergman var också feminist, och agitator. Trots att hon som vuxen beskrevs som en lugn och stillsam person i övrigt, var hennes offentliga tal både skarpa och välformulerade. Det retade förstås upp den tidens manschauvinister, till exempel kallade August Strindberg henne för den "djefla maran Ellen Bergman".
I början av 1870-talet hade den engelska prästfrun Josephine Butler startat organisationen British, Continental and General Federation för att kämpa mot prostitution. 1878 startade en svensk avdelning. Den kallades kort och gott för Federationen och den samlade först både radikalare feminister och välgörenhetskvinnor. Ellen Bergman var med redan från början, och 1881 valdes hon in i styrelsen.
Det är svårt för oss idag att förstå hur uppseendeväckande det var att kvinnorna i Federationen talade offentligt om mäns sexualitet, och gav ut en tidning som skrev om såna frågor. Många av Federationens medlemmar var ju gifta, och därmed omyndiga, och kvinnor hade inte rösträtt. Ändå tog de sig friheten att både kritisera männen för att de var prostitutionsförövare och ifrågasätta samhället för att det gjorde det lätt för prostitutionen – genom systemet att regelbundet kontrollera prostituerade kvinnor för könssjukdomar. Det kallades reglementeringssystemet.
Ellen Bergman argumenterade både mot reglementeringssystemet och för att kvinnor hade viktigare uppgifter i livet än bara äktenskap och moderskap. (Själv gifte hon sig aldrig.) Hon fick förstås hårt mothugg (precis som vi feminister idag blir kallade "manshatare"), men hon svarade vänligt:

"Väl blir jag ofta bitter i mina utlåtanden mot männen vid tanken på reglementeringen såväl som på deras sätt i allmänhet att behandla oss qvinnor från urminnes tid tillbaka. Om jag likväl vädjar till Er, män, huru I skullen känna det i vårt ställe, så kanske I ändå ej med godt samvete kunden säga, att min bitterhet är obefogad?"

    Federationens medlemmar kallade kvinnorna i prostitutionen för sina systrar. En del sa det lite ovanifrån och i välgörenhetsbetydelse, men andra, som Ellen, menade att den förnedring som vissa kvinnor utsattes för egentligen handlade om synen på alla kvinnor, och att alla kvinnor måste kämpa tillsammans mot patriarkatet.
Det var också den synen på kvinnoförtryck som kom fram i den andra petitionen som Federationen lämnade till regeringen, i december 1883, med krav på att reglementeringssystemet skulle upphöra. Den kallades Kvinnopetitionen, för att alla 2.500 undertecknare var kvinnor. I den stod att reglementeringssystemet påverkade samhällets syn på kvinnan som människa och medborgarinna, och att reglementeringen visade att kvinnans likställdhet inför lagen i praktiken inte existerade.
Men Federationen förändrades, det fanns allt mindre plats för radikal kvinnokamp. Ellen Bergman lämnade Federationen redan 1884. Istället engagerade hon sig i Fredrika Bremerförbundet. Senare blev hon också engagerad i Teosofiska sällskapet (en flummig lära, som menar att alla religioner kan enas i en gudomlig vishet).
Ellen Bergman dog våren 1921, knappt 80 år gammal.