Ruiny zamku Neideck były kiedyś rodową siedzibą potężnej rodziny Schlüsselbergów. Hrabia Konrad von Schlüsselberg założył w 1347 r. Dom celny w dolinie rzeki Wiesent, prowokując w ten sposób sąsiadów. Biskupi Norymbergi i Würzburga w konsekwencji zaatakowali zamek Neideck i zabili hrabiego.
Anegdota mówi nam, że siedział na wnęce, która wisiała nad ścianą dokładnie w chwili, gdy uderzył w nią katapultowany kamień i został zabity na miejscu. Następnie zamek przeszedł w ręce biskupów bamberskich. W drugiej wojnie margrabskiej został tak bardzo zniszczony przez zwolenników margrabiów z Brandenburgii / Kulmbach, że nigdy nie został odbudowany. Gruz z ruin stanowił źródło materiału budowlanego. W XVIII wieku pod zamkiem odkryto marmur jurajski (drobnoziarnisty wapień jurajski), a następnie wydobywano go, tak że zamek poniósł jeszcze większe zniszczenia. Jurajski wapień został następnie wykorzystany do budowy rezydencji w Würzburgu.
