Considerado internacionalmente como uno de los más virtuosos arpistas paraguayos del mundo, nació en Villarrica, Paraguay.

A los 16 años fue triunfador en la especialidad de arpa, del Primer Concurso Nacional de Música, realizado en Asunción, la capital paraguaya. A partir de entonces inició una carrera musical al lado de cantantes y grupos paraguayos, entre los que destacan Los Zorzales Guaraníes con quienes realizó una gira por Sudamérica y Centroamérica, llegando a México.

En México formó con el cantante paraguayo Ireneo Sánchez el Dueto Ypacarai, presentándose por 10 años en Teatros y Festivales de la Ciudad de México y del interior de la República Mexicana, entre los que se destaca la Sala Ponce del Palacio de Bellas Artes. Posteriormente realizó conciertos y presentaciones en diferentes ciudades de Japón, las que continuó al lado de sus 4 hijos y esposa, formando el Grupo de la Familia Duarte. Con ellos realizó giras y presentaciones artísticas en EUA, Japón, Paraguay y Venezuela, recorriendo también algunas ciudades y foros de la República Mexicana.

Ha realizado numerosas grabaciones, entre las que se destacan sus discos: ARPA PARAGUAYA; LAMENTO INDIO; SOY GUAIREÑO; ANTOLOGIA; PARAGUAYAN HARP OF LOS DUARTE; y su más reciente producción: TRIO DUARTE, que fue lanzada en Japón en noviembre y diciembre del 2015.

Formó y dirige actualmente la Orquesta Arpas de América. Actúa al lado de sus hijos Juan José y Rodrigo como TRIO DUARTE y también se dedica a la docencia. Ha aportado nuevas técnicas para el arpa, destacándose su ejecución utilizando los 10 dedos.

Ha participado en numerosos Festivales de Arpa en la República Mexicana, Los Encuentros Latinoamericanos de Arpa, El Festival Mundial de Arpa en Asunción Paraguay y ha representado a México y a Paraguay en los Congresos Mundiales de Arpa en Ginebra, Suiza, en Dublín, Irlanda, en Vancouver, Canadá; en el Primer Encuentro Mundial de Arpas Casanare-Colombia 2015 y ha dado también conciertos para la Asociación Norteamericana de Arpistas con sede en Tacoma, EUA.

Por su labor en la difusión del arpa paraguaya ha recibido numerosas distinciones entre las que destacan sus nombramientos como Hijo Dilecto de la Ciudad de Villarrica, Paraguay y Ciudadano Ilustre de la misma ciudad de Villarrica, Paraguay y de Asunción, Paraguay, este último en octubre del 2012.

Celso Duarte participará en octubre del 2023 en el Festival Internacional de Música Cancún en conmemoración de su décima edición.