En 1521 cuando Francisco de Javier tenía 15 años y el ejército navarro que defendía a los reyes legítimos había sido derrotado, el castillo de Amaiur fue conquistado por los agramonteses entre los que se encontraban los hermanos del mismo Xabier.
No todos los navarros derrotados en Noain se dieron por vencidos. Muchos lograron huir a la soberanía de los Albret en el Bearne. Otros se atrincheraron en territorio navarro o aun castellano. Dos ejemplos bien característicos fueron los de Amaiur y Hondarribia.
Tras la derrota de Noain los agramonteses y con ellos los dos hermanos de Xavier pasaron al castillo de Amaiur que lo tomaron el 5 de octubre tras expulsar a la guarnición castellana. Muchos nobles famosos había entre los doscientos navarros que se encerraron en el castillo. Bajo las Ordenes del alcaide Jaime Velaz de Medrano podemos citar además de los hermanos de Francés de Xabier, Miguel y Juan de Jaso y Azpilcueta, y al abad del monasterio cercano de Urdax, Juan de Orbara. El apoyo moral y bélico de los encerrados fue Miguel, el señor de Javier.
Miguel con su hermano Juan y un puñado de soldados que el señor de Javier mantenía por su cuenta, vigilaban la llegada de las tropas castellanas desde la iglesia fuerte de Ciga en el puerto de Belate.
El virrey envió a fines de abril de 1522 un capitán con 60 arcabuceros contra Miguel y su gente. El 4 de julio se personó el mismo virrey con 10.000 infantes beamonteses, 800 caballos, 6 cañones pesados, 13 piezas ligeras y 300 escalas de asalto. La mayoría de los agramonteses se encerró en la fortaleza de Maya entre estos el capitán Jaime Vélaz de Medrano, su hermano Juan Vélaz, el capitán Víctor de Mauleón y los hermanos de Xabier: Juan y Miguel. Mientras otros agramonteses bajo el mando del hijo del mariscal se esparcían por los montes cercanos.
Acosados y asediados por tan formidable ejército el 18 de julio capitularon los encerrados de Amaiur después de haber recibido la promesa de que sus vidas serian respetadas. Entre los prisioneros estaba Miguel el señor de Javier. Era el 22 de julio. El 25 de julio volvieron las tropas del virrey Miranda hacia Pamplona. Todos los agramonteses fueron encerrados en la ciudadela de Pamplona. De la cárcel de Pamplona salieron para ser ejecutados entre los parientes de Xabier: Juan Pérez de Azpilcueta y Miguel de Vertiz. Poco después el comandante de Maya y su hijo Jaime y Juan Velaz murieron envenenados. Sin embargo, a mediados de octubre Miguel de Javier pudo escaparse de la cárcel con el disfraz de la mujer que le traía la comida.
Los vencidos en Amaiaur pasaron a ocupar el castillo de Hondarribia.
César M. Fernández Antuña nos describe la entrada del cuerpo militar franco-navarro en otoño de 1521 guiado por Guillermo Gouffier de Bonnivent, Señor de Bonnivet y Almirante de Francia, el cual tras cerciorarse de la conquista de Amaiur pasó hacia Guipúzcoa y vadeó el Bidasoa por Biriatu el 4 de octubre, al mando de un ejército formado por 4.000 o 5.000 lansquenetes alemanes, unos 600 hombres de armas con caballería pesada o gendarmería francesa y unos 10.000 infantes navarros, normandos y gascones. Se trataba de un poderoso ejército bien pertrechado de artillería y con la mejor infantería del momento, todos al servicio de los reyes legítimos de Navarra. Tras la toma de Behobia pusieron sitio a Hondarribia el 6 de octubre de 1521. La ciudad y el castillo no estaban preparados para un largo asedio ni por municiones ni por abastecimientos.
El ejército sitiador puso sus baterías en el Jaizkibel pero no pudo realizar un bloqueo completo por falta de apoyo naval. Se produjeron según Lope Martínez de Isasti dos entradas de auxilio por mar durante el cerco protagonizadas por donostiarras en las que llegaron 600 hombres cada vez. El miércoles día 16 y el jueves 17 fueron de esperanza en la llegada de nuevas tropas de la provincia.
Pero se dieron dos circunstancias para la caída de Hondarribia. La primera la falta de disciplina de los capitanes de Azkoitia, Elgoibar y Motriko sin conocimiento de Diego de Vera según la imputación realizada por los señores de Zarauz y Lizaur. A esto se unió el que Antonio de Achaga, capitán de Usurbil junto con otros se presentaron ante Vera para exponer la imposible defensa de la plaza. Esa misma noche unos 20 hombres de Segura con su alférez a la cabeza, al intentar huir fueron capturados por los sitiadores y al ser interrogados manifestaron las debilidades de la defensa de la plaza. El viernes 18 se desencadenó el desánimo de los defensores comandados por los capitanes de Azkoitia, Elgoibar y Motriko y el alférez de Bergara. Vera se negó en redondo. Le apoyaban los Parientes Mayores y los capitanes de Mondragón, Usurbil y Bergara. En efecto, los Parientes Mayores se concentraron en la casa que disponía en la villa el mismo señor de Zarauz. Los Parientes Mayores desacreditaron a la Junta de Guipúzcoa por no haber sabido organizar la defensa, por haber excluido de la influencia política y de las fuentes lucrativas de riqueza a los Parientes Mayores y por no haberles entregado a su dirección el oficio de las armas que les era propio y natural como defensores de la patria.
Tras doce días de asedio de Fuenterrabía el alcaide Diego de Vera entregó la plaza a principios de octubre. La toma de Fuenterrabía se data el 18 de octubre. Al entregar la plaza de Fuenterrabía unos 500 guipuzcoanos con Juan Pérez de Azcue se fortificaron en Lezo.
Se acordó la entrega, y los soldados salieron con sus armas, ropas y banderas mientras que los hondarribitarras en su gran mayoría salieron de la villa para acogerse en Lezo y en Pasajes de Fuentrerrabia.
Caída Fuenterrabia el ejército franco-navarro no prosiguió adelante hacia San Sebastián y la climatología reinante de intensas lluvias impidió la realización de empresas militares. Sin embargo las milicias guipuzcoanas guiadas por Martin de Loyola se establecieron en Lezo mientras que Hondarribia siguió asediada por las milicias guipuzcoanas. Un grupo de hondarribitarras de unos 500 vecinos eligieron como alcalde y capitán a Juan Pérez de Azcue y por alférez a Sancho de Alquiza.
El ejército franco-navarro se instaló en Fuenterrabia. Por lo que esta villa fue del reino de los Albret desde el 18 de octubre de 1521 hasta 1524. Entre los agramonteses que estaban en la plaza de Hondarribia estaba el señor de Jassu, Miguel de Javier, su hermano Juan y su primo Valentín.
En 1522 Hondarribia proseguía bloqueada por los guipuzcoanos desde Oyarzun, San Sebastián, Renteria y Lezo.
En junio de 1522 el jefe del sitio era Beltrán de la Cueva que obtuvo la victoria de San Marcial. La llamada del emperador vino a bloquear marítimamente a Hondarribia. Francisco I envió a Mesieur de Chanfarron, caballero gascón, con 1.000 hombres.
Juan Pérez de Ázcue mediante una estratagema se posesionó de Chanfarron y le hizo cortar la cabeza. Según Valdivia corría este dicho “Mosieur Chanfarron, jaun aundia, Irun kalean datza illa”.
En febrero de 1524 el condestable de Castilla, don Iñigo Fernández de Velasco, comenzó el cerco de Fuenterrabia hasta que el general sitiado Franget capituló.
Las tropas agramontesas estaban comandadas por Pedro de Navarra, hijo del difunto mariscal del reino las cuales trataron secretamente de la rendición con el general castellano, el Condestable, tío de Pedro de Navarra a cambio del perdón de Carlos V si entraban en su servicio. En la firma de la capitulación estuvieron el condestable de Castilla Don Iñigo Fernández de Velasco y don Pedro de Navarra juntamente con Miguel de Xabier.
En el proyecto de capitulación firmado el 19 de febrero de 1524 se concedía al “señor de Javier los cuarteles y alcabalas, lo mismo que el censo de las almadías, la posesión del término de Montreal, prometiendo dar asiento conforme a su calidad al señor de Javier, a su hermano Juan de Azpilicueta, al capitán Valentín de Jasso, a Vítores de Mauleón y al capitán Petro Sanz, conforme a cada uno según la calidad de sus personas”.
Según Serapio Múgica el 25 de marzo de 1524 fue recuperada la villa por los españoles y fue tomada de los franco-navarros en día viernes 18 de octubre. Así los hermanos de Xabier estuvieron en Fuenterrabia 2 años, 5 meses y seis días. Hasta 1524 el capitán Franget, alcaide del castillo no rindió Fuenterrabía a los castellanos y fue públicamente deshonrado por Francisco I, degradado de la nobleza, picado su escudo de armas e infamado de traidor, salvando la vida por su avanzada edad.
Sancho de Leiva, deudo del señor de la casa de Marzana en el Duranguesado quedó de alcaide de la fortaleza y general en jefe de la Provincia de Guipúzcoa. De Vizcaya acudieron 2.200 peones al mando de González de Butrón y de Martín de Avendaño. De Álava vinieron 800 peones.
Del 25 de marzo al 24 de abril Xabier convive en el castillo con sus hermanos derrotados en Fuenterrabia. Pero tras el mes de incertidumbre llegó el perdón del emperador Carlos V del 24 de abril de 1524 que decía: “perdonamos al dicho Don Pedro de Navarra y al Señor de Xabier, Johan de Azpilcueta su hermano y al capitan Valentin de Jasso y a Bertol del Bayo y a Vitor de Mauleon y al capitán Petri Sanz e Martin de Goñi e a todos los otros gentiles-hombres, caballeros e hijodalgo, que estaban en Fuenterrabía”.
Pero este perdón exigía un reconocimiento de la autoridad imperial. Para el 3 de mayo de 1524 se había citado a los caballeros navarros para que en la casa del condestable de Castilla en Burgos, el emperador Carlos V recibiera el homenaje y el juramento de fidelidad de los navarros que habían capitulado en Fuenterrabía. “Entonces aparecieron presentes Don Pedro de Navarra, Mariscal del Reino de Navarra, Señor de la Casa de Eusa y Don Francisco de Navarra, su hermano, Prior de Roncesvalles y Don Antonio de Enriquez, cuya es Ablitas e Francés de Ezpeleta, cuya es Peña e Miguel de Xabier, cuya es Xabier y el Doctor Martin de Rada, Prior de Uxue y el procurador de León de Ezpeleta, cuya es Ezpeleta y Gaspar de Ezpeleta, cuya es Celigueta e Johan de Urrutia, cuyo es el palacio de Urrutia e Vitor Mauleon, cuya es Aguinaga y Johan de Azpilcueta, cuyo es el palacio de Sada y el Capitán Petri Sanz y Arnau de Ozta y Vertol de Vayo e Johanes de Ganuza et Johan de Eraso et Pierres de Zozaya, cuyo es el palacio de Zozaya e Martin de 0llo e Johan de Lasaga, caballeros naturales del Reino de Navarra y vasallos de Su Majestad”.
Se había culminado la conquista del reino de Navarra.