Zamek został zniszczony podczas buntu chłopów na początku XVI wieku i odbudowany później. Po wymarciu Streitbergów zamek pozostawiono w opustoszałym stanie. Książę-biskup Marquard Sebastian Schenk von Stauffenberg dokonał radykalnej renowacji na Greifenstein w latach 1691–1693 i przekształcił go w barokowy pałac pod kierunkiem Leonharda Dientzenhofera.
