La vinculación del castillo de Grisel con la Catedral de Tarazona no es solo geográfica, la población y su fortaleza están a solo 3km de la ciudad de Tarazona. Lo realmente relevante es que el castillo dependió de la catedral de Tarazona desde el siglo XIV hasta el XIX. Ya que la fortaleza fue comprada en 1352 por el Cabildo de Tarazona a Hugo de Cardona.
Una vez en manos del cabildo de la Catedral de Tarazona, el castillo fue primero fortificado ante la amenaza castellana, ampliando sus defensas en el siglo XIV y dotándolo de una muralla perimetral en el siglo XVI, además se adecuó a un uso palaciego por parte del Cabildo.
