Urodzony w Buenos Aires w Argentynie. José Gallardo rozpoczął naukę gry na fortepianie w wieku pięciu lat. Studiował najpierw w Konserwatorium w Buenos Aires, a w Później kontynuował studia u prof. Poldiego Mildnera na Wydziale Muzyki Uniwersytetu w Mainz. W tym właśnie czasie odkrył swoją pasję do muzyki kameralnej. Był muzycznie zainspirowany przez artystów takich jak Menahem Pressler, Alfonso Montecino, Karl-Heinz Kammerling, Sergiu Celibidache, Rosalyn Tureck i Bernard Greenhouse.
Jose Gallardo zdobył wiele nagród krajowych i międzynarodowych, któe zaowocowały zaproszeniami na liczne tournee i festiwale, w tym Festiwal Muzyki Kameralnej Lockenhaus, Festiwal Verbier, Festiwal Lucerny, Chopin i jego Europa Warszawa, Festiwal Zamku Ludwigsburg, Festiwal Schwetzingen, Schleswig Holstein, Festiwal Wiolonczeli Kronberg, Festiwal Muzyczny Cork, Festiwal City of London , Musiktage Hitzacker, Kaposfest Węgry, Budapest Academy Festival i Rheingau Music Festival. Koncertował w Europie, Azji, Izraelu, Oceanii i Ameryce Południowej.
Nagrywał dla EMI, Warner, DG, Hänssler, Challenge Records Int., Oehms Classics, Neon, Genuin i Naxos, a także produkcje telewizyjne i radiowe w BR, SWR, MDR, BBC, czy RAI.
Od 1998 do 2008 był wykładowcą na Wydziale Muzyki Uniwersytetu w Moguncji, od jesieni 2008 roku wykładał w Leopold Mozart Center, University of Augsburg.
Od 2013 roku jest, wraz z Andreasem Ottensamerem, dyrektorem artystycznym festiwalu muzyki kameralnej „Bürgenstock Festival” w Lucernie.