Od 1833 roku w Dworze II przy Polankach funkcjonował Zakład Pracy i Ubogich, który znajdował się tutaj aż do końca drugiej wojny światowej. Przy drodze do kompleksu powstał niewielki cmentarz, przeznaczony dla pensjonariuszy zakładu. 

---

W pierwszych dekadach XIX stulecia Dwór II  (Quellbrunn) przeszedł z rąk prywatnych na własność Generalnej Dyrekcji Królewskiego Towarzystwa Handlu Morskiego, która z kolei kilka lat później odsprzedała kompleks miastu. Władze Gdańska postanowiły przenieść tam podopiecznych Domu Poprawy (którego korzenie sięgały pierwszej połowy XVII wieku) i dużo młodszego Instytutu Ubogich, połączonych teraz w nową instytucję. Po gruntownym remoncie pałacu i przynależących do niego zabudowań oficjalnie otworzono kompleks w 1835 roku. Wnętrza zaadaptowano do nowej funkcji: również zabudowania gospodarcze, nie wyłączając stajni. 

Zakład Pracy i Ubogich, wzorem nowożytnych instytucji dobroczynnych, utrzymywał się głównie z funduszy magistratu oraz prywatnych darowizn osób prywatnych, firm oraz instytucji. Początkowo pensjonariusze rzeczywiście byli kierowani do pracy w zakładach rzemieślniczych, jednak z czasem charakter placówki zmienił się i przypominał raczej dom starców.

Wilhelm Ferdinand Zernecke w swoim przewodniku po Gdańsku Neuester Wegweiser durch Danzig und dessen Umgegend (wydanie z 1843 roku) opisuje Zakład Pracy i Ubogich jako miejsce niemal zawsze całkowicie zapełnione. Roczny koszt utrzymania instytucji miał wynosić 10000 talarów, z których 75% pochodziło z miejskiej kasy. Zernecke zachwycał się pięknem okolicznej przyrody, która mogła śmiało konkurować z urokiem pobliskiego Pachołka i jego okolic.

Już w połowie XIX wieku przy drodze do pałacu powstał niewielki cmentarz, który graniczył z północną częścią ogrodu. Biorąc pod uwagę charakter zakładu oraz fakt, że na stałe przebywało w nim zawsze kilkaset osób, założenie niewielkiej nekropolii nie może nas dziwić. W tym samym czasie zbudowano również niewielka kaplicę/kostnicę. Z czasem niewielki cmentarz na planie kwadratu okazał się niewystarczający, dlatego przeznaczono kolejny fragment ziemi na chowanie zmarłych, który znajdował się odrobinę na północny zachód od starszego cmentarza, tuż przy ścianie lasu.

W 1945 roku cały kompleks Dworu II przeszedł na własność Ministerstwa Obrony Narodowej, co było początkiem długoletniej dewastacji całego założenia. Unicestwieniu uległa północna część ogrodu (dzisiejszy parking); dobudowano kolejne budynki, a w poprzednich skoszarowano żołnierzy. Cmentarze zostały zlikwidowane, zaś stara kaplica zaczęła pełnić funkcję magazynu, co zapewne uratowało ją przed zniszczeniem. Kolejne dekady przynosiły dalszą dewastację – m.in. wycięcie cię starej alei i wzniesienie modernistycznego budynku, który zasłonił pałac. Od lat dziewięćdziesiątych kompleksem zarządzają siostry brygidki, a całość przeszła gruntowny  remont oraz renowację. 

Takiego szczęścia nie miała dawna kaplica, która jest ostatnią pamiątką po dwóch oliwskich cmentarzach, które przestały istnieć. Budynek jest w fatalnym stanie, a w środku zalegają śmieci i odchody. Według gdańskiej mapy własności, kaplica znajduje się na terenie należącym do osoby prywatnej.