الروايات متعددة حول القصر؛ فمن قائل إنه كان في الأساس قلعة إسلامية قديمة، ثم جُدّد بناؤها، ومن قائل إنه جُدّد بناؤه على فترات خلال القرنين السادس والسابع عشر. وفي رأي ثالث أن القصر الحالي الذي يزوره الآلاف من السياح بنى معظمه النصارى على بقايا القصر الإسلامي، وأبقوا على الطراز المعماري الأندلسي الإسلامي فيه.