Дворец этот был выстроен в период времени между 1510 и 1514 годами на высоком берегу очень красивой реки Осама. Вплоть до 1577 года во дворце проживали – сам Диего Колумб с супругой Марией Толедской, а также их потомки.
Стены дворца были сложены из блоков, которые выпилены из коралла, спрессовавшегося в монолит за миллионы лет. 
Здание дворца получилось довольно-таки больших, внушительных размеров, оно насчитывает внутри 55 комнат и украшено снаружи колоннадой. Архитектурный стиль сооружения носит в себе смешение совершенно различных стилей – ренессанса, готики и мудехара (более характерного для мусульманских построек).
В 1586 году пираты под руководством Фрэнсиса Дрэйка захватили здание дворца, разграбили его и после этого дворец пришел в запустение. В 1870 году здание полуразрушенного дворца было объявлено правительством национальным памятником, а в 1955 году в здании под руководством архитектора из Испании Хавьера Барроссо были завершены реставрационные работы. 
Сейчас здесь располагается музей, который в основном посвящен истории открытия острова и его дальнейшему развитию. В 22 залах музея представлены древние манускрипты, мебель, предметы интерьера, различная утварь и произведения искусств. Многие экспонаты в коллекцию музея были в свое время подарены правительство Испании. 
