Der neue Friedhof wurde 1805 auf einer Fläche von 1.850 Quadratmetern eingeweiht, 1806 fanden die ersten Begräbnisse dort statt. 1850 und 1867 wurde die Friedhofsfläche nach Norden und Westen erweitert; ebenfalls im Jahr 1867 beschloss der Magistrat der Stadt Teltow den Bau einer Leichenhalle, des heutigen Gebäudes der Friedhofsverwaltung.
Anfang des 20. Jahrhunderts wurde die Friedhofsfläche drei weitere Male bis zur heutigen Größe von 3,5 ha erweitert. 1933 bis 1934 entstand die Friedhofskapelle nach Entwürfen des Architekten Professor Winfried Wendland. Gleichzeitig wurde das Eingangsportal des Friedhofes repräsentativ gestaltet und mit einem Relief des Bildhauers Joachim Karsch versehen. Kapelle und Eingangsrelief wurden im Jahr 2011 in die Denkmalliste des Landes Brandenburg aufgenommen.
Unter den historischen Grabstätten befinden sich auf dem Friedhof unter anderem Erbbegräbnisse wohlhabender Ackerbauern, Gräber der Bürgermeister Max Liebig und Viktor Palleske, zweier ehemaliger Teltower Prediger, von Oberinnen, Vorstehern und Schwestern des Diakonissenhauses und weiterer prominenter Bürger. Weiterhin mahnen deutsche und sowjetische Kriegsgräber sowie ein Obelisk gegen die Schrecken des Krieges.