Das Obere Schloss ist das bedeutendste weltliche Baudenkmal der Region. 1259 wird die Anlage erstmals urkundlich erwähnt, sie ist jedoch sicherlich älter. Der Steinbau, von 1224 an für fast 200 Jahre im Besitz des Erzbischofs von Köln als Miteigentümer von Stadt und Burg, steht neben dem heute geschieferten Fachwerkbau der Anlage. Dieses Grafenhaus ist seit 1343 urkundlich bekannt. Ständige Residenz der Grafen von Nassau-Siegen wurde die Burg 1607. Ab 1623, als das kleine Land unter den drei Söhnen des Grafen Johann VII. aufgeteilt wurde, wurde ein zweiter landesherrlicher Wohnsitz geplant. Diese Anlage wird ab etwa 1700 als Unteres Schloss bezeichnet. Im Oberen Schloss residiert bis 1743 die katholische Linie des Hauses Nassau-Siegen, dann wurde die Burg Dienstort örtlicher Verwaltungsbeamter, in Teilen Waisenhaus und schließlich wurde hier 1905 das Siegerlandmuseum eröffnet. Das Siegerlandmuseum im Oberen Schloss, ein Regionalmuseum für Kunst und Kulturgeschichte, hat die Aufgabe, das Siegerland als historische Landschaft dazustellen und die auf die Region wirkenden Einflüsse aufzuzeigen.