Como ya hemos comentado en la entrada dedicada a la caña del azúcar, en 1548 se produjo el matrimonio entre Carlos Borja de Gandía, y Magdalena Centelles de Oliva, con el objetivo de la unión entre ambos señoríos, que se había proyectado ya desde la creación del ducado en 1485. Sin embargo este matrimonio no significó la unión definitiva entre ambos señoríos, teniendo que esperar hasta 1594 para este hecho. Entre ambas fechas del siglo XVI tenemos un episodio habitual de enfrentamiento nobiliario.
Durante las negociaciones del matrimonio entre don Pedro (conde de Oliva, menor de edad) e Hipólita de Zúñiga (pupila de la duquesa viuda de Calabria) surge el conflicto; Gaspar de Centelles, aseguró a la parte de la novia en la negociación que no era necesario que los acuerdos contaran con el visto bueno de la madre de don Pedro. El duque de Gandía (representante de la condesa viuda) desautorizó tal afirmación, estando a punto de no llevarse a cabo el matrimonio. Gaspar envió una airada carta al duque, que respondió tras la firma de las capitulaciones matrimoniales enviando a un criado que apaleó a don Gaspar. El asunto terminó llegando a la corte, donde se dictó embargo para el ducado y que don Gaspar se retirara a las posesiones familiares en Italia. Además el asunto adquirió gran relevancia cuando Ignacio de Loyola intervino en favor del duque de Gandía (pues su padre el IV duque era uno de los miembros más destacados de la orden jesuita). Sin embargo el asesinato de Diego de Aragón pocos meses después hizo que este asunto quedara marginado en los asuntos de la corte.
El matrimonio entre don Pedro e Hipólita, germen del conflicto, fue bastante difícil debido a los problemas mentales del conde, que hizo refugiarse a su esposa en un monasterio de Xàtiva. En 1563 ambos murieron sin dejar un heredero, iniciándose el pleito por el condado de Oliva, que acabaron ganando los Borja, de acuero al testamento de Pedro y Magdalena, que dejaba a esta y sus sucesores como herederos del condado en caso de fallecimiento de su hermano sin hijos, uniendo definitivamente en 1594 ambos señoríos.