로벤 섬은 17세기~20세기까지 감옥, 군사기지, 사회 부적격자를 수용하는 병원으로 사용되었다. 이 섬의 건물 중 감옥은 20세기 말에 정치범을 수용한 곳으로, 경비가 상당히 삼엄했다. 이 감옥은 억압과 인종차별에 저항하여 민주주의·자유가 승리를 거둔 사실을 증언하는 곳이다.
로벤 섬의 상징적 가치는 암울한 역사를 나타내는 감옥과 수용소에 있다. 수용소에는 사회부적격자로 분류되는 불행한 사람들을 격리했다. 이 암울한 역사는 1990년대에 남아프리카공화국 국민들이 비인간적인 인종격리정책을 거부하면서 막을 내리게 되었고, 그 섬에 갇혀있던 정치범들은 수년 만에 자유를 되찾았다.
