На строительство замка Карлштейн ушло девять лет. В 1357 г. в Большой башне была освящена часовня святого Креста, где помимо различных реликвий хранились имперские сокровища (сейчас выставленные в сокровищнице замка Хофбург в Вене) и коронационные регалии (сейчас хранящиеся в Королевском дворце в Праге). Поскольку за сокровищами присматривали монахи, ни одна женщина не могла ночевать в стенах замка, за исключением императрицы, для которой были отведены апартаменты на третьем этаже Императорского дворца. В целом Карлштейн обладал весьма внушительным видом, и его атаковали только два раза: в 1422 г. — протестанты-гуситы, которые через семь месяцев осады были вынуждены отказаться от попытки захвата, и в 1648 г. — шведы, нанесшие замку серьезный урон во время Тридцатилетней войны. В 1587-1597 гг. некоторые помещения замка были переоборудованы в ренессансном стиле. Оригинальный вид замка в готическом стиле был восстановлен в период с 1887 по 1899 гг.
Императорский дворец и башня Святой Марии
Комплекс занимает склон высокого холма, на самой вершине которого находится величественная крепостная башня (Большая башня). Отсюда спускается два «пояса», то есть две зубчатые куртины, идущие до середины всей конструкции, а затем уходящие в долину, предназначенные для сдерживания вражеских ударов. Центр композиции — это Императорский дворец, где находились рабочие кабинеты и кабинет императора. Здесь он построил маленькую личную часовню для утренних и вечерних молитв. На другой стороне деревянного моста расположена башня Святой Марии. Ее же имя носит замковая церковь, декорированная фресками, изображающими «Апокалипсис» (любимая книга императора), и сцену, где Карл IV получает от французского наследника престола несколько шипов от тернового венца Христа. Император провел много ночей в молитвах в часовне Святой Екатерины, где никто его не тревожил, разве только для того, чтобы передать питье через небольшое отверстие в полу.
Комедия во дворце
Запрет на ночлег в замке для женщин вдохновил чешского драматурга Ярослава Врхдицкого (1853-1912) на комедию «Ночь в Карлштейне», по сюжету которой императрица переодевается в мужчину, чтобы тайком пробраться в замок и таким образом проверить верность супруга. До сих пор в летние месяцы комедию ставят на театральной площадке замка.
• По средневековым традициям входы в замок разделены. Первая дверь с подъемным мостом ведет в нижнюю крепость, вторая дверь ведет в императорскую резиденцию и дальше до западной части замка, где возвышается массивная башня, защищавшая колодец глубиной 90 метров.
• Третий этаж Императорского дворца был отведен для императрицы. В Представительском зале можно увидеть элегантный потолок с кессонами и небольшую картину «Мадонна с ребенком» художника Томмазо да Модена (1355 г.).
• Николас Вюрмзер из Страсбурга расписал фресками церковь Святой Марии в одноименной башне. А Часовня Святой Екатерины декорирована более чем тысячей камней.
• Часовня святого Креста в Большой башне (основной башне комплекса) декорирована золотом и огромным количеством драгоценных камней. Для ее освещения использовалось более 1300 свечей. Здесь проводилась торжественная месса после смерти Карла IV 29 ноября 1378 г.