HISTORIA:
Jak podaje Jan Długosz zamek powstał w latach 40-ych XIV stulecia z inicjatywy króla Kazimierza Wielkiego. Był on, podobnie jak Baszta, zbudowany z ogólnodostępnego w okolicy wapienia. Początkowo miał on kształt zbliżony do owalu, który był otoczony grubymi na dwa metry murami obwodowymi z blankami. Na wewnętrzym dziedzińcu prawdopodobnie znajdowały się drewniane zabudowania.
       W XV wieku ród Grotów zarządzający zamkiem dokonał jego rozbudowy, dobudowując min. trójkondygnacyjne skrzydło mieszkalne od strony zachodniej, kwadratową wieżę mieszkalno-obronną od strony Wisły, przylegające do niej skrzydło mieszkalne oraz suchą fosę.
     W latach  1509-1644 starostwo kazimierskie sprawowali Firlejowie. Jeden z przedstawicieli rodu, kasztelan krakowski, dalej hetman wielki koronny Mikołaj Firlej w XVI wieku sfinansował przebudowę zamku w stylu włoskiego renesansu.  Dodano wtedy min. attykę oraz nadbudowano skrzydła mieszkalne.
     W roku 1655 podczas Potopu zamek został zajęty i spalony przez wojska szwedzkie, a dwa lata później został w znacznej części zniszczony przez oddziały księcia Rakoczego.
     W 1663 roku w Kazimierzu Dolnym wybuchł wielki pożar pochłaniający większość miasta, w tym i zamek dolny.
     Ponownie odbudowany gmach za czasów króla Augusta II Sasa planowano przekształcić w stylu pałacowym, jednak wojna domowa prowadzona ze Stanisławem Leszczyńskim sprawiła, że plany te nie zostały zrealizowane, a zaniedbany zamek niedługo potem popadł w ruinę i prawdopodobnie pod koniec XVIII wieku został opuszczony.
      18 marca 1831, w czasie bitwy pod Kazimierzem Dolnym powstania listopadowego, zamku bronił Batalion Celnych Strzelców Sandomierskich pod dowództwem Stanisława Krzesimowskiego. Za udział w powstaniu Adama Czartoryskiego, zamek należący wtedy do rodziny Czartoryskich, został skonfiskowany i przeszedł na własność skarbu Królestwa Polskiego.
       W latach 1958-1960 na terenie ruin przeprowadzono badania archeologiczne. Zamek zabezpieczono w formie trwałej ruiny i udostępniono go dla ruchu turystycznego.

OBECNIE:
Do dziś  zachował się pełen zarys murów obwodowych, ściany domów mieszkalnych oraz fragmenty północnej baszty, w której przyziemiu mieści się obecnie sklepik z pamiątkami oraz wieża z której podziwiać  można panoramę Kazimierza i przepiękną dolinę Wisły.
Na zamek oraz wieżę obowiązuje wspólny bilet wstępu w cenie.