고려 후기 거란이 침입한 후 최영은 이곳에 산성을 쌓게 하고 창고 짓기를 건의했으며, 조선 세종 때의 체찰사 최윤덕도 반드시 보존할 곳이라고 건의한 바 있다. 고려 때 거란과 왜구의 침입에 이미 산성을 이용하여 인근 여러 고을의 백성이 피난한 사실에서 이 산성은 고려 후기에 축조된 것으로 추정되고 있다.
조선 광해군 2년(1610) 이곳에 조선시대 5개의 역사책보관소 중의 하나인 적상산사고를 설치하고 『조선왕조실록』과 『왕실족보』를 보관하였다. 실록전, 사각(史閣), 선원각, 군기고, 대별관, 호국사를 세웠고 임진왜란 이후 진(鎭)을 두어 산성을 수축하고 운영했다.
현재 성벽은 무너져 숲 사이에서 겨우 그 모습을 찾을 수 있고, 사각과 기타의 건물들도 그 터만이 남아 있다. 최근에 성 안에 저수지를 만들어 놓았다.