Замок расположен на правом берегу реки Збруч на высоком скалистом обрыве и имеет вытянутую форму, что обусловлено рельефом местности. С трех сторон замок защищен рекой Збруч и ее скалистыми берегами. С открытой южной стороны выкопали глубокий ров, запустили в него воду Збруча, возвели каменные стены, построили Въездную башню с подъемным мостом и монолитную Пороховую башню.
Древнее название замка и поселения при нем — Скала или Скала над Збручем. Первый деревянный замок, по мнению многих исследователей, построен на месте древнерусского городища и был разрушен во времена монголо-татарского нашествия. В 1370-х годах тогдашние владельцы Подолья литовские князья Корятовичи, возвели на месте городища каменный замок. С 1515 крепость становится собственностью каменецкого старосты Станислава Лянцкоронского, который ее перестроил и укрепил.
В начале XVI века в результате почти ежегодных татарских нашествий (1502, 1503, 1507, 1511, 1513) замок в Скале пришел в упадок. В 1515 году польский король Сигизмунд I Старый передал его старосте Станиславу Лянцкоронскому. Этот военачальник сумел усилить гарнизон крепости и арсенал пушечного вооружения. Но в 1516 году во время очередного татарского нашествия город и замок были сожжены дотла. Замок восстанавливали, но татарские набеги еще несколько раз разоряли крепость, а нападение валахов в 1538 году окончательно ее уничтожило.
Качественно новая перестройка в Скале началась в середине XVI века и превратила это укрепление в замок бастионного типа с мощным артиллерийским вооружением. В 1620 году Скале пришлось выдержать осаду турецкой армии. И хотя крепость была сильно повреждена предыдущей осадой валахов, захватить ее туркам не удалось. История донесла до нас также сведения и о штурме Скалацкой крепости в августе 1648 года казацко-крестьянскими отрядами Максима Кривоноса. С помощью местных жителей, которые открыли ворота крепости, казаки смогли овладеть укреплениями и изгнать отсюда польский гарнизон. Значительных разрушений крепость получила в 1657 году, во время войны с австрийской империей, когда замком владел князь Дьердь II Ракоци. А после захвата Подолья в 1672 году огромной турецкой армией, замок в Скале окончательно был разрушен и уже не восстанавливался.
В первой половине XVIII века местный староста Адам Тарло построил на старых фундаментах дворец в стиле барокко и украсил его белокаменным декором. Дворец разделил замковый двор на парадную часть и хозяйственную. Через несколько лет после завершения строительства во дворец ударила молния и сожгла его. С тех пор и замок, и дворец только ветшали.
С конца XVIII века и до 1939 года замок был в собственности семьи Голуховских, но они в нем не жили. Голуховские возвели в Скале отдельный дворец и заложили вокруг него парк. Известно, что в конце XIX века в замок приезжал Михаил Грушевский. По преданию, именно здесь он признался в любви своей будущей жене Марии Вояковской. А в мае 1896 года будущий председатель Центральной Рады вступил с ней в брак в местной церкви святого Николая.
В 1930-е годы тогдашние власти обеспечивали сохранение руин замка, выполнили его фотографирование и обмеры. В последующие годы жители поселка, пользуясь безнаказанностью, активно разбирали замок на строительные материалы.
Рядом с руинами замка в Скале находятся католический собор Успения Божьей Матери (18 век.) и православная церковь Успения Пресвятой Богородицы (начало 20 века). Среди достопримечательностей городка — памятник Богдану Хмельницкому (1954 г.)
