В 1504 году, до завершения строительства, кардинал Кастеллези, впавший в немилость папы, подарил палаццо королю Англии Генриху VII. В 1507 году кардинал участвовал в заговоре кардиналов Петруччи и Саули против папы Льва X и был вынужден покинуть Рим, передав дворец английскому послу в Риме. Джорджо Вазари писал о здании, что оно «строилось медленно и, в конце концов, осталось незавершённым из-за бегства названного кардинала»[2].

Позднее английский король Генрих VIII передал его Лоренцо Кампеджо, последнему кардиналу-протектору Англии, который жил в недостроенном палаццо с 1519 по 1524 год. После отделения Англии от Римской церкви в 1534 году дворец в 1538 году был конфискован Святым Престолом. Семья Кампеджи продолжала жить во дворце до 1609 года, когда дворец служил резиденцией английского посла в Ватикане.