W Kwidzynie przez blisko dwa stulecia istniały dwa zamki: rezydencja biskupa, Altschlösschen (obecnie nieistniejąca) oraz zamek kapitulny, Marienwerder sprzężony z katedrą.
W pierwszych wiekach naszej ery tereny wokół obecnego Kwidzyna leżały na szlaku bursztynowym. Intensywny handel spowodował powstanie prężnego ośrodka osadniczego. Od drugiej połowy X do XII wieku tereny te znalazły się na pograniczu pruskim i tworzonego przez pierwszych Piastów państwa polskiego.
Średniowieczny gród, a później lokowane miasto, pojawia się w źródłach jako Quidino. Nazwa ma pochodzenie pruskie i oznacza imię władającego tymi ziemiami (Quede). W roku 1233 na tereny wokół dzisiejszego Kwidzyna przybyli krzyżacy i założyli na wyspie pomiędzy Wisłą a Starym Nogatem umocnienia nazywane Wyspą Panny Marii (Sankt Marienwerer (niem.) lub Insula Sanctae Mariae (łac.). Krzyżacki gród stał się bazą w wyprawach przeciwko Prusom.
Na północ od grodu lokowano wkrótce, być może w 1235 r. miasto na prawie chełmińskim. To pierwsze miasto, jeszcze drewniane, uległo zniszczeniu w latach 1242-1243 w czasie powstania Prusów przeciw krzyżakom. Na miejscu spalonego grodu w latach 1243-50 zbudowano nowy, murowany zamek. Była to stosunkowo niewielka budowla, wzniesiona na planie czworoboku z ustawionymi prostopadle dwoma piętrowymi skrzydłami wyposażonymi w trzy przysadziste wieże. To kamienno-ceglane obronne założenie zdołało oprzeć się atakom Prusów podczas kolejnych powstań w latach 1263 i 1277. Jednak w roku 1520 warownię zniszczyły oddziały polskie i niedługo potem uległa ona rozbiórce. Resztki śladów po starej twierdzy zatarto na początku XX wieku. O ich przeszłości świadczy dziś jedynie nazwa ulicy biegnącej przy dawnej fosie - ulicy Starozamkowej.
W 1243 roku na mocy bulli papieża Innocentego IV powstały cztery biskupstwa: chełmińskie, warmińskie, sambijskie i pomezańskie. Zgodnie z rozporządzeniem papieskim każde biskupstwo podzielono na trzy równe części, z których dwie przypadały krzyżakom, a jedna biskupowi.
W ramach podziału terytorium Pomezanii między zakon i kościół, omawianą powyżej murowaną warownię powstałą na miejscu spalonego drewnianego grodu, krzyżacy przekazali biskupowi pomezańskiemu na jego rezydencję (1250 r.). W 1254 roku pierwszy biskup pomezański, dominikanin Ernest z Targawy (1246-1260) urządził w Kwidzynie stolicę biskupstwa pomezańskiego. Znaczenie miasta wzrosło jeszcze bardziej w 1285 roku, kiedy powołano tu kapitułę pomezańską (zgromadzenie osób duchownych, których zadaniem był m.in. wybór biskupa). Wtedy też podniesiono istniejący kościół farny do rangi katedry. Wraz z kapitułą przejęto regułę krzyżacką i odtąd kanonikami mogli zostawać wyłącznie krzyżacy. Gdy w 1284 roku powołano pierwszych członków kapituły, zaczęto zastanawiać się nad ustanowieniem godnej siedziby.
Niewielki zamek biskupi nie mógł pełnić należycie nowych funkcji , dlatego jeszcze pod koniec XIII wieku przystąpiono do budowy drugiego zamku. Usytuowano go po przeciwległej stronie ówczesnego miasta, a budowa przebiegała w kilku etapach. Do 1312 r. prowadzono prace przygotowawcze wraz z niwelacją terenu. Następnie wymurowano kamienne fundamenty murów zewnętrznych i wieży głównej. Do roku 1338 zbudowano sąsiadujące pierwotnie z kościołem skrzydło wschodnie. Potem powstał dom południowy połączony z wielką wieżą-dzwonnicą, a w latach następnych postawiono mury skrzydła zachodniego oraz północnego. Czworoboczne założenie z wewnętrznym dziedzińcem oraz narożnymi wieżyczkami ukształtowano ostatecznie w latach 1340-50. W drugiej połowie XIV stulecia dostawiono korpus łączący kościół z zamkiem, zbudowano krużganki oraz wzniesiono wieżę studzienną i wieżę latrynową.
Obiekt w XV i XVI wieku był kilkukrotnie oblegany i niszczony. 19 września 1410 roku do zamku wkroczyły wracające spod Malborka wojska Władysława Jagiełły. W roku 1460 warownię zdobył polski burgrabia, Andrzej Puszkarz. Kolejne najazdy i zniszczenia przyniosły lata 1478 (tzw. wojna księża, Pfaffen Krieg) oraz 1520, kiedy to, podczas ostatniej konfrontacji polsko-krzyżackiej, Polacy podeszli pod Kwidzyn. Silny ostrzał artyleryjski zniszczył wówczas jedną z kaplic katedry i w poważnym stopniu uszkodził zamek oraz miejskie mury obronne. W rezultacie działań wojennych Kwidzyn przeszedł w ręce polskie, a skapitulowani kanonicy złożyli przysięgę wierności królowi Zygmuntowi I. Po sekularyzacji zakonu krzyżackiego w 1526 roku, diecezja pomezańska przeszła na luteranizm, a zamek stał się siedzibą kapituły protestanckiej. Z uwagi na zły stan dotychczasowej (starej) rezydencji, biskupi przejęli zamek kapitulny i zamieszkiwali tu do roku 1551. Jeden z nich - Paweł Speratus otrzymał zezwolenie na wykorzystanie stu tysięcy cegieł ze starego założenia na odbudowę zamku kapitulnego. Od tego czasu stary zameczek, jak określano pierwotną rezydencję biskupa pomezańskiego, stał się ruiną.
W czasie „potopu” szwedzkiego zespół zamku kapitulnego był uszkodzony w niewielkim stopniu. W latach 1758 - 63 na przedzamczu wybudowano pałac dla rosyjskiego generała Wilhelma Fermora - Anglika w służbie cesarzowej Elżbiety - okupującego miasto w czasie wojny siedmioletniej.
Po pierwszym rozbiorze Polski Kwidzyn wybrano na siedzibę Prus Zachodnich, a w zamku kapitulnym umieszczono sądy i więzienie. Podczas przebudowy na nowe cele zniszczono wewnętrzne krużganki, rozebrano skrzydło południowe i częściowo wschodnie wraz z wieżyczką południowo-zachodnią. Dalszą rozbiórkę przerwały wojny napoleońskie. Na początku XIX w. podczas adaptacji części zamku na urzędy i szkołę przebudowano kolejne gotyckie wnętrza. Pałac na przedzamczu również zaadaptowano na biura. W latach 1822-34 zamek przeszedł następną zmianę funkcji, gdyż ulokowano tu więzienie. Część oryginalnych średniowiecznych elementów przystosowano do pełnienia nowych funkcji z zastosowaniem stylistyki neogotyckiej np. ganki obronne.
