До конца VX столетия удобная бухта Камбер, расположенная на прибрежной равнине между Раем и Винчелси, защищалась со стороны моря только галечными косами. На оконечности одной косы между 1512-м и 1514-м годами сэр Эдвард Галдфорд возвёл башню круглой формы для охраны бухты.
В 1538-м году перед возникшей угрозой вторжения в протестантскую Англию католических Франции и Испании, король Генрих VIII отдаёт приказ о строительстве ряда артиллерийских фортов вдоль южного побережья для защиты уязвимых со стороны моря районов. Существовавшая башня Камбер стала основой для нового форта, возведённого между 1539-м и 1544-м годами.
Активная жизнь в замке велась на протяжении весьма короткого промежутка времени. К концу XVI столетия из-за заиливания бухты Камбер замок потерял свою стратегическую значимость, а потому его гарнизон был расформирован.
Этот ранний отказ от содержания замка привёл к тому, что в отличие от других фортов, например, такого как Валмер, претерпевшего в своей истории несколько масштабных реконструкций, замок Камбер (англ. Camber Castle) сохранил свой первоначальный оригинальный облик.
В наши дни посещение замка Камбер включает в себя приятную пешую прогулку длиной чуть более километра по прилегающей равнине. Этот исторический архитектурный памятник находится в совместном ведении администрации природного заповедника «Rye Harbour» и организации «Английское наследие».
Полюбоваться внешним видом форта, можно в любое время. Экскурсии для осмотра интерьеров замка Камбер проводятся регулярно в летние месяцы.