Zamek wznieśli na przełomie XIV i XV w. joannici, którzy od 1382 r. byli właścicielami Pęzina. Budowla, powstała na sztucznym wzniesieniu, wzorowana była na zamkach w Łagowie i Swobnicy i składała się z czteroodcinkowego muru obwodowego tworzącego nieregularny czworobok oraz z budynku mieszkalnego przylegającego do wschodniego odcinka muru obronnego. W południowo – zachodnim narożu założenia wybudowano potężną wieżę ostatecznej obrony – tzw. stołp.