Esimest korda on Angerja mõisat (saksa k Angern) mainitud 1424. aastal. Mõisa teevad väärtuslikuks 14.-15. sajandi kindlustatud mõisahoone ehk vasallilinnuse varemed. Tegemist oli pikliku kahekorruselise tornilaadse ehitisega, mis sarnaselt Järve linnuselamuga Virumaal sisaldas algselt kahte eluruumi. Hoonel olid umbes 2 meetri paksused välisseinad. Hiljem, arvatavasti 16. sajandil, lisati hoone otsa veel õhemate seintega trapetsikujuline juurdeehitus. Linnusele omaselt oli hoone ümbritsetud vallikraaviga.

Väikelinnusest on säilinud soklikorrus (osalt küll kinnivarisenud kujul) ning suur osa põhikorruse paksudest müüridest. Mõis olevat endale nime saanud ta keskaegse omaniku, eesti päritolu Hinrich van Angerni järgi.

Hiljem vahetas mõis tihti omanikke. 1844. aastal siirdus mõis Otto von Lilienfeldi omandusse. 1899. aastal omandas mõisa Roman von Taube, millega mõisast sai naabermõisa Pahkla kõrvalmõis. Mõisa uusaegne hoonestus on hävinud.