El 28 de septiembre de 1852, Josiah y Eliza Conder tuvieron un hijo que recibió el mismo nombre que su padre. Josiah Jr. estudió primero en la Escuela de Arte de South Kengsington y se recibió como arquitecto en la Universidad de Londres. Por dos años trabajó para William Burges, arquitecto y diseñador de la era victoriana que, según dice Olive Checkland, “llevó el neogótico al borde de la excentricidad.” El 13 de marzo de 1876 ganó la medalla Soane del Royal Institute of British Architects y, antes de cumplir los 25 años, fue contratado por el gobierno japonés como maestro de arquitectura en el Colegio Imperial de Ingeniería, fundado en 1873. El 28 de enero de 1877, Conder desembarcó en Yokohama con la encomienda de modernizar la arquitectura japonesa. Checkland dice que es probable que antes hubiera tenido la posición como maestro de arquitectura el francés Charles Alfred Chastel de Boinville y Alice Tseng dice que aun es un misterio el por qué el Ministerio de Obras invitó a un arquitecto tan joven y sin ninguna obra construida a asumir esa responsabilidad, pero a Conder se le reconoce como el fundador de la enseñanza moderna de la arquitectura en Japón. Aunque admiraba la arquitectura y el arte del Japón, en parte por la influencia de Burges, sus clases prácticas y teóricas se centraban en el conocimiento de la tradición arquitectónica occidental y les pedía a sus alumnos dominar el estilo gótico tanto como el neoclásico, si bien recomendaba a sus alumnos conocer la tradición constructiva de su país.

Desde el Japón, Conder envió varios ensayos y artículos sobre la arquitectura de ese país para que se publicaran en Inglaterra. Checkland sugiere que pretendía no perder la relación con su país ante la incertidumbre de encontrar trabajo regular en Japón. Pero Conder fue un arquitecto exitoso en Japón. En 1879 construyó su primer edificio en ese país, una escuela para ciegos y ese mismo año un edificio en la Universidad de Tokyo. En 1881 completó el Museo Imperial en el Parque Ueno, inicialmente parte de los edificios de la Segunda Exhibición Industrial Nacional en Tokio. Ese mismo año recibió el encargo de diseñar el Rokumeikan, una casa de huéspedes y club propiedad del estado. Toshio Watanabe dice que el Rokumeikan, construido en un terreno adyacente a aquel donde se construiría después del Hotel Imperial e inaugurado el 28 de noviembre de 1883, más que un edificio era el símbolo de un modo de vida: “para la gente del periodo Meiji, la occidentalización afectaba todo, desde el espacio para vivir, la comida, el transporte, la ropa y el entretenimiento hasta la posición de las mujeres en la sociedad.” Conder también diseño el primer edificio de oficinas moderno en Japón: un edificio de ladrillo de tres niveles para Mitsubishi, al que siguieron otros que terminaron formando un conjunto conocido como la manzana de Londres.

Además de su trabajo como maestro y arquitecto, Conder era un apasionado de la jardinería y el arte del Japón en general, y logró, tras varios intentos, que el reconocido pintor Kawanabe Kyōsai lo admitiera como su alumno.

Conder regresó a Inglaterra en tres ocasiones, en 1885, 1890 y 1901. Pero siguió viviendo en Japón hasta que murió el 21 de junio de 1920 en Tokio.