"Conocía el latín y hablaba de filosofía, de hidroterapia y de modas, en diversos idiomas. Había recorrido medio mapamundi. Sabía disecar animales, componer relojes, sacar las niguas (insecto semejante a la pulga) de los pies y operar la hidropesía (padecer sed continua) utilizando una caña de centeno endurecida y una planta descubierta por él en Michoacán. Recetaba agua de peluca de maíz y cocimientos de ruda (planta empleada en medicina)".
En 1820 se establece en Cádiz, dónde llegó a ser miembro de la Sociedad Patriótica de San Fernando y se dio a conocer con el seudónimo "José Joaquín de Clara-Rosa", en referencia a las cuatro mujeres con las que convivió, Josefa, Joaquina, Clara y Rosa.
Publicó el "Diario Gaditano", así como numerosos panfletos. Miembro de la masonería, más tarde la criticó duramente. Polemista y anticlerical, atacaba a la iglesia, como institución fuertemente jerarquizada y alejada del cristianismo primitivo. Partidario exaltado de la revolución liberal, lo apresaron por conspirar contra el gobierno liberal y murió en la cárcel en 1822.

El entierro, como él había dispuesto, fue civil y nos consta que fue el primer vasco enterrado mediante este rito. En su testamento dejó escrito:"Ordeno y mando que mi cuerpo no lleve al sepulcro otra mortaja que la de mi vestido ordinario, que consistirá en casaca, chaleco, calzón negro y bota cumplida llevando entre mis manos la Constitución de la Monarquía Española, prohibiendo como absolutamente prohibo que se toquen las campanas ni se hagan señales algunas por mi muerte por lo que encargo a todas las autoridades eclesiásticas y civiles hagan cumplir y guardar lo contenido en esta disposición haciéndola cumplir por si atentaren infringirla y por ser así mi voluntad".
Decenas de personas le acompañaban con velas y ramos, cantando himnos patrióticos. En lugar de celebrar ritos católicos en la iglesia, se celebraron ceremonias masónicas frente a la lápida de la Constitución. Después de su muerte, sus enemigos, en el diario "La Voz de la Religión", escribieron estos versos:

"Aquí yace Olabarrieta fraile, clérigo, casado, apóstata, procesado, escritor a la violeta; con pluma audaz e indiscreta insultó a la religión, deshonró a nuestra nación y, a América revolviendo, todo lo anduvo royendo este maldito ratón".