Zamek wiąże się z losem hrabiny Cosel, najsłynniejszej faworyty polskigo króla, Augusta II (Augusta Mosnego). Była tu ona więżiona przez 49 lat, natomiast jej miejsce pochówku znajduje się w zamkowej kaplicy. Jedno z trojga dzieci, które hrabina urodziła królowi, jej córka, Fryderyka Aleksandra, poślubiła w roku 1730 roku polskiego hrabiego Jana Kantego Moszyńskiego. Wystawa, mieszcząca się w wieży Jana (Johannisturm), poświęcona jest jej życiu.
Dziś hrabina Cosel jest jedną z najbardziej znanych kobiet w saksońskiej historii. Hrabina Cosel zajmuje wśród faworyt August II szczególnie miejsce, będąc dziś symboliczną postacią w bardzo pomyślnym dla Saksonii w okresie baroku augustiańskiego z unią polsko-saską.
Czony w Polsce bohater narodowy Józef Ignacy Kraszewski (1812–1887), który spędził wiele lat na wynaniu w Dreźnie, w Saksonii jest znany przede wszystkim jako powieściopisarz, powieść pt. „Hrabina Cosel” wyszła spod jego pióra.