Zamek Dybowski został zbudowany przez Władysława Jagiełłę w latach 1424–1428. Z czasem przy zamku powstała konkurująca z krzyżackim Toruniem osada, którą nazwano Nieszawą. W 1431 roku wojska Torunia i Krzyżaków zdobyły zamek i spaliły Nieszawę, jednakże wkrótce Krzyżacy zamek odrestaurowali i osadzili w nim swoją załogę.
W 1454 roku król Kazimierz Jagiellończyk wydał tutaj statuty nieszawskie. Od 1456 roku zamek w Dybowie był siedzibą starostów królewskich. Znajdowała się tam też komora celna co spowodowało częściowe przekształcenie założenia zamkowego na cele gospodarcze.
Podczas wojen szwedzko-polskich zamek został spalony przez Szwedów w 1656 roku. W 1703 roku, podczas oblężenia Torunia przez Szwedów, z zamku ostrzeliwano miasto, dlatego też wojska polskie stacjonujące w mieście ostrzelały zamek, przez co zniszczono jego część mieszkalną od strony rzeki. W XVIII wieku zamek był własnością rodu Dębskich, natomiast po rozbiorach otworzono w nim gorzelnię. W roku 1813 czterdziestu Francuzów pod dowództwem porucznika Savary wytrzymało w zamku trzymiesięczne oblężenie Rosjan, kapitulując dopiero wraz z Toruniem. W 1848 roku, w murach przebito nowe, widoczne do dzisiaj, strzelnice. Zamek przetrwał do dzisiaj w postaci ruiny, zachowały się imponujące mury obwodowe.
