Hřbitov byl v roce 1877 vystavěn na velkém pozemku na okraji města, kterému se říkalo „V černým“, jako nový městský hřbitov náhradou za rušená pohřebiště blíže centru. Došlo zde též k přesunu cenných náhrobků. Pozemek vysvětil 1. listopadu 1877 farář Arnošt Vychodil, první pohřeb se zde konal hned následujícího dne. Hřbitov svou severní částí přiléhá na městský židovský hřbitov zřízený roku 1882. Byl zde též umístěn pomník pruským vojákům padlým v nedaleké bitvě prusko-rakouské války.

Podél zdi jsou umístěny hrobky a čestné hroby významných obyvatel města. Později zde vznikly též budovy zázemí hřbitovní správy a městské pohřební služby. 

Pohřbeni jsou zde také vojáci a legionáři bojující v první a druhé světové válce, stejně jako vojáci Rudé armády padlí při osvobozování Československa roku 1945.

Areál byl původně menší, než ho známe dnes, hlavní kříž byl přibližně uprostřed celého hřbitova. V roce 1912 přišlo první rozšíření plochy hřbitova. Další rozšíření – o „vojenský hřbitov“ – přišlo v době 1. světové války. V osmdesátých letech bylo přikročeno k přestavbě starého „vojenského“ hřbitova. Černý pomník zůstal zachován – dnes se nachází v prostoru třetího urnového háje jako památka obětem 1. světové války. Po výstavbě průmyslu značně vzrostl počet obyvatel Přerova (z 20 na 40 tisíc) a tak byl hřbitov rozšířen téměř na dvojnásobnou plochu směrem na východ. Současně byl postaven nový vchod u zimního stadionu. Na nejvyšším místě nového hřbitova pak vyrostla nová obřadní síň. Celý areál byl předán k užívání v roce 1987.