In het verdrag dat de VOC na het einde van de Chinese oorlog (17401-1743) sloot met de susuhunan, was bepaald dat langs strategische weg van Semarang naar Yogjakarta drie forten zouden worden gebouwd. De kosten van de bouw waren voor rekening van de keizer. Fort De ontmoeting in Ungaran werd waarschijnlijk pas gebouwd nadat in 1757 het verdrag van Giyanti was gesloten, waarbij het Mataramse rijk werd verdeeld tussen Yogjakartta en Surakarta. De naam herinnerde aan de historische ontmoeting tussen Sunan Pakubuwono II en gouverneur generaal Gustaaf Willem Baron van Imhoff op 11 mei 1746. Het fort werd in 1786 werd vernieuwd en uitgebreid. Het fort kreeg toen zijn huidige vorm: een vierkant fort met vier halfbastions.
In 1811 landde een Brits leger bij Batavia en versloeg het Nederlands-Franse leger bij Meester Cornelis, en werd Fort De Ontmoeting kort hierop door de Britten ingenomen. In 1817 kwamen de Nederlanders terug en legerden 25 soldaten in Ungaran. Het fort verloor aan betekenis door de bouw van het grote fort Willem I bij Ambarawa(1837-1844). Van 1840 tot 1908 was het fort, wegens de gezonde ligging, een herstellingsoord voor militairen. Het fort stond vanaf 1919 vermoedelijk leeg – daarna was het achtereenvolgend in gebruik door de Japanners, Indonesische nationalisten, de Nederlandse militaire politie, het Indonesische leger en als woonplaats voor Indonesische politiemensen en hun gezinnen. Vanaf 2008 stond het leeg; in 2011 is het fort gerestaureerd.
