Cmentarz założono prawdopodobnie w okresie wojen napoleońskich. Chowano wówczas poległych z załogi broniącej Modlina w 1813 roku. W czasie I Wojny Światowej grzebano zabitych żołnierzy armii niemieckiej i rosyjskiej, w tym Polaków walczących w mundurach armii zaborców. W 1915 roku, po zdobyciu twierdzy, Niemcy pochowali tu ok. 400 zabitych żołnierzy. Rok później, gen. Hans von Beseler odsłonił okazały pomnik żołnierzy niemieckich. Niestety, do naszych czasów zachowała się tylko jedna zbiorowa mogiła żołnierzy, którzy stracili życie w czasie szturmu fortu XVI. Innych poległych uświetnia żeliwny krzyż na betonowej podstawie z częściowo zatartą tablicą głoszącą: „1914-1920 Pamięci poległych i zmarłych żołnierzy tu pochowanych”. Najstarszymi grobami polskich żołnierzy jest dziewięć mogił legionistów z pułków piechoty Legionów przebywających w twierdzy w czasie tzw. kryzysu przysięgowego, w latach 1916-1917.
W okresie wojny polsko – bolszewickiej 1920 roku cmentarz stał się miejscem wiecznego spoczynku żołnierzy polskich, poległych w walkach i zmarłych w szpitalu wojskowym w Modlinie. Betonowe krzyże z imieniem i nazwiskiem wieńczą mogiły 325 polskich żołnierzy.
W okresie międzywojennym cmentarz forteczny pełnił również rolę cmentarza parafialnego św. Barbary i grzebano wówczas także osoby cywilne. Pochowano tu także dwóch uczestników Powstania Styczniowego 1863 roku. Gorycz porażki los nagrodził im radością z odzyskania niepodległości, gdyż odeszli w II Rzeczypospolitej. Wśród żołnierskich mogił znalzł swe miejsce pierwszy komendant Twierdzy w niepodległej Polsce, płk Edward Malewicz. We wrześniu 1939 roku nekropolia powiększyła się o kolejną, liczącą 119 bezimiennych mogił, kwaterę żołnierzy poległych w obronie Twierdzy.
W latach 1939 – 1944 Niemcy również grzebali na cmentarzu swoich poległych. Ogółem pochowano 2581 żołnierzy. W 1945 roku cmentarz został całkowicie zniszczony. Mimo dewastacji, po II Wojnie Światowej nekropolia nadal spełniała swoje przedwojenne funkcje, o czym świadczą groby pilotów którzy zginęli w trakcie szkoleń, jak i ludności cywilnej. Ostatni pochówek miał miejsce 7 stycznia 1962 roku i cmentarz został zamknięty.
W latach 1995 – 1997 nekropolię częściowo zrekonstruowano. Między innymi odbudowano kwatery żołnierzy polskich z 1920 roku i z 1939 roku. Wśród żołnierskich mogił postawiono pomnik ku czci poległych w 1920 i 1939 roku. Monument, według projektu Jana Bohdana Chmielewskiego, przedstawia krzyż w otoczeniu sześciu orłów z wojskowych czapek. Podobne orły, ale już pojedynczo rozstawiono na terenie cmentarza. Z inicjatywy polsko-niemieckiej fundacji „Pamięć” w rejonie dawnych grobów niemieckich wybudowano pomnik poświęcony żołnierzom niemieckim poległym w czasie II Wojny Światowej. Jest to monumentalny krzyż otoczony kamiennymi tablicami z wyrytymi nazwiskami poległych. Pod krzyżem tablica z napisem po niemiecku i po polsku: W zbiorze mogił spoczywa 2581 żołnierzy niemieckich wojny 1939-1945. Dla ich upamiętnienia oraz ofiar wszystkich wojen.
Cmentarz jest wpisany do rejestru zabytków, a od 24 listopada 2012 roku, po 51 latach zostały wznowione pochówki.
