Nato nel 1930 a Buenos Aires da una coppia di immigrati ebrei ucraini, lascia gli studi universitari e si dedica completamente alla poesia. Nel 1963 il paese soffre di un regime repressivo e Gelman viene incarcerato insieme ad altri scrittori comunisti. Liberato in seguito ad un'ondata di proteste, nel 1975 abbandona il paese, spostandosi nel suo esilio in molti luoghi diversi (tocca anche Roma), per stabilirsi alla fine in Messico dove vive tuttora. L'anno seguente il regime militare argentino sequestra e uccide suo figlio e sua nuora, mentre della nipote nata in carcere si perde ogni traccia.
Data in adozione Gelman la ritrova solo nel 1999 e con lei avvia una campagna per il riconoscimento dei diritti dei familiari dei 'desaparecidos'. Juan Gelman è morto nel gennaio 2014.
La sua opera poetica ha ricevuto numerosi riconoscimenti ed è stata tradotta e pubblicata in tutto il mondo. Nel 2007 riceve il premio intitolato a Cervantes, il più prestigioso della letteratura ispanofona.