Parsons nació bajo el nombre de Ingram Cecil Connor III en Winter Haven, Florida, el 5 de noviembre de 1946. Su padre, Cecil, era un comandante de la fuerza aérea, y su madre, Avis, era hija de la prominente familia Snively, que había amasado una gran fortuna en el negocio de la naranja en Florida. Después de retirarse de la fuerza aérea, Cecil se mudó a Georgia y dirigió la planta de producción de cajas de Snively en Waycross (condado de Ware), donde Parsons y su hermana menor, Avis, crecieron.
A menudo, Parsons se refería a su infancia como los años más felices de su vida, a pesar de que el alcoholismo de sus padres ensombrecía a la familia. En su niñez escuchaba la radio de música country que dominaba en Georgia y cantaba himnos en la iglesia.
También estuvo expuesto a la música soul y rhythm and blues a través de las empleadas domésticas afroamericanas de la familia, y su padre, un músico aficionado, lo animó a aprender a tocar el piano. En 1956, cuando tenía diez años, Parsons vio a Elvis Presley tocar en el Auditorio de la Ciudad de Waycross, una experiencia que cambió su perspectiva musical.
Cuando Parsons tenía trece años, su padre, quien probablemente sufría de trastorno de estrés postraumático después de su servicio en la Segunda Guerra Mundial (1941-45), se suicidó.
Su madre se casó entonces con Bob Parsons (cuyo apellido adoptaría Gram a pesar de su tensa relación) y su alcoholismo continuó, lo que con el tiempo le causó una cirrosis hepática. Ella murió el día de la graduación de Parsons de la escuela secundaria.

La primera incursión importante de Parsons en la música fue con la banda International Submarine Band, que se formó durante su primer año en la Universidad de Harvard en Cambridge, Massachusetts. Dejó la universidad después de solo un semestre. La banda se mudó a Los Ángeles, California, donde Parsons se conectó rápidamente con la escena de la Costa Oeste. La banda grabó un álbum, Safe at Home (1968), una mezcla de versiones de música country clásica y canciones originales de Parsons. Incluso en esta etapa temprana, los elementos de su sonido —country, rhythm and blues, soul, gospel y rock— ya estaban formados.
En 1968, Parsons se unió a la banda de rock the Byrds como pianista. Su poderosa personalidad y visión musical transformaron de inmediato al grupo. El resultado fue Sweetheart of the Rodeo (1968), un disco de música country grabado en Nashville, Tennessee. Parsons escribió gran parte del material del disco y muchos críticos lo calificaron como uno de los mejores del año y uno de los mejores trabajos de the Byrds hasta la fecha.
The Byrds fueron invitados a actuar en el Grand Ole Opry —el primer acto de rock and roll en aparecer en ese escenario— donde, sin embargo, molestaron a los directivos al interpretar la canción de Parsons "Hickory Wind" en lugar de la canción de Merle Haggard que se les había pedido que tocaran. A pesar de los éxitos de la banda, la ética de trabajo de Parsons no estaba a la altura de los estándares de the Byrds. Cuando optó por quedarse en Londres y pasar el rato con amigos en lugar de tocar con el grupo en la Sudáfrica del apartheid, fue despedido.

Inmediatamente, Parsons formó los Flying Burrito Brothers y grabó Gilded Palace of Sin (1969). El álbum incluye material original de Parsons y versiones de éxitos de rhythm and blues como "Dark End of the Street" y "Do Right Woman". A Parsons nunca le gustó el término country-rock; prefería llamar a su sonido "música cósmica estadounidense".

El sonido está firmemente arraigado en el honky-tonk y el country, pero impregnado de un espíritu de rock y contracultura. Los Flying Burrito Brothers ganaron un pequeño y devoto grupo de seguidores, pero la difusión en la radio se les escapó y las ventas de discos no fueron sólidas. La banda era considerada demasiado country para la radio de rock, pero tampoco encajaba en el rígido molde del country de Nashville.
Durante este tiempo, Parsons le pidió a Nudie Cohn, el famoso diseñador, que confeccionara trajes que permitieran a los miembros de la banda llevar (literalmente) su estilo country-rock en sus mangas. En ese momento, el "traje Nudie" era un look country ampliamente reconocido, popularizado por artistas como Hank Williams y Gene Autry. El traje Nudie blanco de Parsons estaba adornado con lentejuelas con imágenes de mujeres desnudas, hojas de marihuana, píldoras y una cruz gigante y brillante en la espalda, en lugar de los habituales cactus, sombreros de vaquero y lazos.
Parsons solo grabó un disco más con los Flying Burrito Brothers, Burrito Deluxe (1970), que presenta la primera grabación de "Wild Horses", la conocida canción de los Rolling Stones. (Los Stones le dieron a Parsons una primera oportunidad de grabar la canción como un regalo por su ayuda en la composición de la melodía).
Pero el creciente consumo de drogas y el estilo de vida errático de Parsons una vez más causaron problemas con la banda que él lideraba, y la dejó.

Después de dos años fuera del estudio, Parsons reclutó a la entonces desconocida cantante de folk Emmylou Harris para que lo acompañara en las voces de su álbum solista de regreso, GP (1973). Los duetos que interpretaron tuvieron tanto éxito que le pidió a Harris que regresara al estudio para su segundo álbum en solitario, Grievous Angel (1974). Los críticos a menudo citan a Parsons y Harris junto a grandes del dúo country como Tammy Wynette y George Jones.

La composición de Parsons alcanzó nuevos niveles en estos discos; su sonido es más simple y maturo, pero conserva los elementos de soul y rock característicos de su trabajo anterior. Según todos los relatos, Parsons estaba satisfecho con estas grabaciones. También estaba intentando dejar su adicción a las drogas.
El 19 de septiembre de 1973, solo unos meses después de haber terminado de grabar Grievous Angel, Parsons murió de una sobredosis de morfina y tequila mientras estaba de vacaciones en Joshua Tree, California. En un incidente extraño que ayudaría a alimentar el estatus de culto de Parsons, su road manager y amigo Philip Kaufman —actuando a petición de Parsons de que sus cenizas fueran esparcidas por el Parque Nacional de Joshua Tree— robó el cadáver y el ataúd de Parsons del aeropuerto, donde esperaba ser trasladado a casa. Kaufman y otro hombre llevaron el ataúd a Cap Rock en el parque, lo rocieron con gasolina y le prendieron fuego. El ataúd y el cuerpo fueron, según Kaufman, completamente consumidos en el lugar. Como no había una ley en California contra el robo de un cadáver, Kaufman solo fue acusado de robar un ataúd.
La música de Parsons sigue encontrando nuevos admiradores y ganando reconocimiento de la crítica. Sacred Hearts & Fallen Angels: The Gram Parsons Anthology (2001) ofrece una buena introducción a su trabajo. La colección Another Side of This Life: The Lost Recordings of Gram Parsons, 1965-1966 (2000) muestra su desarrollo musical temprano, y una grabación de una actuación en la ciudad de Nueva York con su banda de apoyo, the Fallen Angels, Gram Parsons and the Fallen Angels, Live, 1973, fue lanzada en 1982 y relanzada en 1997. En 1999 se lanzó un notable álbum tributo, llamado Return of the Grievous Angel, que presenta a artistas como Beck, Elvis Costello, Sheryl Crow y Steve Earle interpretando canciones de Parsons.