Через пять лет началось строительство замка по проекту архитектора Христофора Нейслера. К 1887 году сам замок был готов. Во дворце можно встретить инновационные для того времени детали: например, система отопления. В течение нескольких лет в замке ставили стены метровой толщины с полым пространством внутри. По нему в комнаты из печи проходил тёплый воздух. Намеренно был выбран красный цвет, так как он быстро прогревается и дольше держит тепло, что способствует комфорту в помещении.
Попутно с этим проводили дымоходы и водопроводные трубы. Кроме них, в замке существовал и дополнительный тепловой источник — камин с «ароматической» функцией. Его нужно было топить дровами фруктовых деревьев, от которых шёл приятный запах.
Оригинальной считается и деревянная лестница, ведущая наверх. Её ступеньки созданы так, что, идя во время бального танца, можно не наступить на подол одежды.
Архитектурный стиль, в котором выстроен дворцовый комплекс, можно назвать староанглийским. Напротив замка поставлены большие чугунные ворота с вмонтированными швейцарскими часами «Винтер». Есть также флигель, в котором размещалась свита знатных гостей. Из-за за этого он называется Свитский корпус.
В 1901 году сын Евгении Максимилиановны и Александра Петровича Ольденбургских Пётр женился на сестре императора Николая II Ольге, после чего получил в подарок особняк, возведённый неподалёку от замка, впоследствии прозванный «Уютным». Подарок не понравился супруге, в связи с чем для молодожёнов купили имение, которое впоследствии назовут в честь жены — Ольгино.
После событий 1917 года хозяйка эмигрировала в Финляндию, затем во Францию, а после умерла в Биаррице. В замке в разные времена располагались казарма, школа, больница.
С 1970-х годов во дворце ведут реставрацию, однако в нём проводились, да и сейчас проводятся экскурсии для туристов. В новом столетии дворец принцессы Ольденбургской стал первым культурным объектом, попавшим в сферу контроля Фонда поддержки культурного наследия Воронежской области, и перешёл в областную собственность.
Кстати, этот замок имеет немало мифов и легенд.
- Одна из них гласит, что однажды Евгения Максимилиановна тяжело заболела. Ей не помогали ни доктора, ни лекарства, а один из придворных посоветовал местного колдуна-знахаря. Он, конечно, вылечил её, но успел влюбиться. Как только колдун предложил ей руку и сердце, получил отказ. Супруг Евгении приказал жестоко наказать волшебника и выгнать из Рамони. Так злодей проклял замок.
- Другая легенда гласит, что во время Великой Отечественной войны фашисты, узнав, что у замка немецкие корни, не стали бомбить замок, разослав листовки: «Дворец бомбить не будем». Благодаря этому спаслась жизнь не одного человека, прятавшегося в замке от фашистской бомбардировки.
- Существует и легенда, что в одной из башен настолько хорошая акустика, что даже тихий скрип или шёпот можно услышать. При жизни Евгении Максимилиановны одну из комнат называли «ухо», так как из неё можно услышать то, что происходит во дворце. В другой комнате («музыкальной») голос звучит по-разному. Однако звуков за стеной не слышно.
Конечно, существуют и легенды о признаках, как и в любом другом дворце или замке. Но всё это, конечно же, легенды, а может быть, даже байки или детские сказки. Есть легенда, что во дворце отсутствуют насекомые благодаря тёмной энергетике. А в реальности стены обиты верблюжьей шерстью, которая пугает своим запахом насекомых и грызунов.
В 2014 году в имении открыт музей «Дворцовый комплекс Ольденбургских». Из-за реставрации посетить можно лишь первый этаж, но он не оставит людей равнодушными. Экскурсии проводятся до сих пор, а туристы по приезде в Рамонь первым делом хотят посмотреть именно этот дворец или хотя бы сделать фотографию в парке или на фоне дворца. Ведь он — настоящая достопримечательность и визитная карточка посёлка.