Nació en Santiago el 13 de octubre de 1822. Era el sexto hijo -de un total de quince- del matrimonio formado por Juan Francisco Larraín y Rojas, y Mercedes Gandarillas Aránguiz. Creció en medio de una educación tradicional, en la solariega casa de sus padres. Su padre murió joven, por lo que él debió asumir el cuidado de sus hermanos menores, a los que con sacrificio y abnegación dedicó gran parte de su juventud.
Ingresó al Seminario en 1836, y allí se destacó tanto por sus habilidades intelectuales como por su aplicación y conducta religiosa. Continuó sus estudios en el Instituto Nacional y luego en 1844, obtuvo los títulos de bachiller en Teología y licenciado en Leyes. Fue después de titularse -y luego de haber ejercido por algún tiempo como abogado- cuando comenzó a sentir la fuerte necesidad de convertirse en sacerdote. Pensaba que alejándose de las vanidades y abrazando el ministerio aseguraría su salvación.
Su afán por la defensa de la religión católica era tan vehemente, que escribió apasionadas colaboraciones en la Revista Católica antes de ordenarse sacerdote. Finalmente, luego de un largo discernimiento y tras haber cumplido las etapas necesarias, ofreció su primera misa en la Iglesia de la Compañía el 4 de abril de 1847. Desde sus primeros años de sacerdocio se le reconocieron su gran laboriosidad y la energía que desplegaba en su misión. En agosto de 1851 viajó a Estados Unidos para inscribir a su hermano y a un sobrino en un buen colegio, sin pensar que estaría un tiempo en ese país debido al nombramiento conferido por el obispo de Richmond, quien lo designó delegado suyo en el Concilio Plenario de la América del Norte.
Modernización del Seminario
El arzobispo Valdivieso le pidió que se hiciese cargo de la modernización del Seminario de Santiago. Con este fin le solicitó que visitara los principales seminarios de Europa y América, recopilando los reglamentos y estudiando lo que pudiese aplicarse al de Santiago. Fue así como, tras cumplir el mandato, Larraín Gandarillas llegó a Valparaíso el 12 de septiembre de 1853, y el 30 de octubre siguiente tomó la dirección del Seminario, en la que estuvo durante un cuarto de siglo.
Las reformas que allí introdujo abarcaron todos los aspectos, desde detalles del uniforme de los estudiantes hasta reformas radicales en los planes de estudio. Siempre estaba cuidando personalmente que todo resultase; con gran cariño recorría las aulas y presidía las celebraciones. En forma simultánea ingresó a la Universidad de Chile como miembro de la Facultad de Teología, el 12 de junio de 1852.
Defensor del Latín y del mejoramiento de la educación
Larraín fue un defensor del Latín, en momentos en que este idioma era más bien rechazado (1863). Pensaba que era necesario «para conocer a fondo no sólo de nuestra literatura y nuestro idioma, sino de las lenguas y literatura modernas que más estimamos».
Era un crítico del sistema educacional. En su calidad de miembro del Consejo de Instrucción Pública opinaba que la educación primaria carecía de efectividad y, por lo tanto, no preparaba a los jóvenes para las Humanidades. Creía necesario, además, que los profesores carecían de estímulos suficientes para realizar bien su labor.
Nombramientos eclesiásticos
Larraín Gandarillas fue nombrado superior de la Congregación de la Providencia en 1863 y ayudó a crear la Congregación de las Hijas de San José Protectoras de la Infancia (1895). El mismo año de 1863 fue propuesto y designado en el cargo de obispo de Martyropolis, recibiendo la consagración episcopal en 1878. El mismo año recibió además el nombramiento de vicario capitular.
A partir de 1880 realizó una fructífera labor, creando nuevas parroquias como la de San Miguel (1881), Isla de Maipo (1882), Viña del Mar (1882) y Pumanque (1884).
Actividad política
En 1864, Larraín Gandarillas aceptó ser candidato a diputado por Rere, labor que le atrajo muchos odios. En el Parlamento procuró tener una actitud digna y discreta, pero de firmes convicciones respecto a los temas de la religión. Mantuvo esta actitud una vez fuera del Congreso en 1867. En tiempos en que la sociedad política se dividía entre laicismo y clericalismo, a Larraín Gandarillas le cupo el papel de líder del conservadurismo católico en la llamadas luchas por las leyes laicas. Desde mediados del siglo XIX, los sectores liberales venían impulsando reformas para reducir el papel de la Iglesia en los asuntos civiles. El Partido Conservador y la jerarquía de la Iglesia se aliaron férreamente para detener estos cambios, pero al final ello fue inevitable.
Retiro
La abierta intervención de Larraín Gandarillas en el fracaso de la candidatura arzobispal de Francisco de Paula Taforó le valió la animosidad del Presidente Santa María, quien le suspendió la renta de vicario capitular. Estas acciones reafirmaron la convicción de los eclesiásticos y los políticos conservadores acerca de apoyarlo como candidato a arzobizpo de Santiago.
Sin embargo, la decisión del Consejo de Estado fue distinta y finalmente Mariano Casanova fue nombrado en el cargo. Apenas este asumió, en enero de 1887, el obispo Larraín decidió retirarse. Antes, había sido designado para preparar el Sínodo Diocesano de 1895 y presidir la comisión que estudió la creación de la Universidad Católica, de la cual fue su primer rector. En 1893 fue nombrado arzobispo titular de Anazarba, cuando ya vivía retirado en San Bernardo.
Eran sus últimos años; estaba agotado después de una vida dedicada a la defensa de la religión católica.
Falleció el 26 de septiembre de 1897, víctima de una pulmonía que lo atacó violentamente durante seis días.