De geschiedenis van de begraafplaats begint eigenlijk al aan de Charloisse Kerksingel in Rotterdam-Charlois.
Heel vroeger, toen Charlois nog een zelfstandig dorp was, werden de overledenen in en rondom de Oude Kerk begraven.
Er zijn in de Oude Kerk nog grafstenen aanwezig van mensen die in de kerk begraven zijn.
Met de groei van het dorp en de noodzaak tot allerlei hygiënische maatregelen werd besloten niet meer rondom en in de kerk te begraven maar een begraafplaats in te richten aan de Sluisjesdijk. Deze begraafplaats heeft gefunctioneerd tot 1924. In die tijd werd door de burgerlijke gemeente van Rotterdam besloten om de Waalhaven te graven en daarom moest de begraafplaats worden verplaatst naar de plek waar de begraafplaats thans is gevestigd.
Direct na binnenkomst door het hek van de huidige begraafplaats staat ter linkerzijde een monument dat aangeeft dat de overblijfselen die in 1924 nog aan de Sluisjesdijk werden aangetroffen, zijn overgebracht naar de Charloisse Lagedijk.
Gezien de ontstaansgeschiedenis waren de kerkvoogden en notabelen van de Hervormde Gemeente Charlois verantwoordelijk voor het beheer van de begraafplaats.
Vandaar dat altijd de aanduiding “Hervormde Begraafplaats Charlois” is gehanteerd.