L’any 1483, Roderic de Borja (que encara no havia assolit la dignitat pontifícia) va adquirir el ducat de Gandia, fins aleshores sota el poder reial, com a pagament d’un deute que el rei havia contret amb la ciutat de València (ell n’era el bisbe). Pretenia crear amb el ducat (juntament amb altres possessions i rendes a la Vall de Gallinera, Xeresa, Alcodar o Xella) un domini patrimonial per al seu fill, Pere Lluís de Borja. Aquesta compra hem de contextualitzar-la, doncs, en l’intent del cardenal per col·locar en posicions avantatjades els seus fills. Ara bé: Pere Lluís de Borja morirà i Roderic destinarà aquestos territoris a un altre dels seus fills: Joan de Borja. És així com comença la branca Borja que ocuparà el ducat de Gandia per més de dos-cents anys (fins el 1740) i que haurà de donar membres tan reeixits com el sant jesuïta Francesc de Borja. Amb la família Borja s’esdevindrà una etapa d’apogeu de la vila, amb una reforma urbanística, un desenvolupament cultural i un augment del seu pes polític. Per exemple, serà Roderic de Borja qui faça de l’església de la vila una col·legiata.
És des d’aquest moment que el palau ducal de la ciutat queda vinculat a la família, fins al punt que se’l coneix com el palau dels Borja. Ara bé, l’edifici ja existia abans de vincular-se a aquesta família i, juntament amb el senyoriu, Roderic va adquirir aquest palau gòtic que data del segle XIV i al que els seus successors posteriorment afegiran elements renaixentistes i barrocs. Una nova petjada, doncs, de Roderic de Borja, ara a Gandia…