Jermaine La Jaune Jackson nació el 11 de diciembre de 1954 en Gary, Indiana, hijo de Katherine y Joseph Jackson. Jermaine, el cuarto de diez hermanos, provenía de una familia muy musical; Katherine aspiraba a ser pianista y cantante, y Joseph tocó la guitarra por un tiempo con su hermano en su banda, The Falcons. Pero, aunque la música era su pasión, no les daba para pagar las cuentas. Así que Joseph mantenía a su familia con su trabajo en U.S. Steel, mientras que Katherine se quedaba en casa y criaba a los hijos.

Mientras su papá trabajaba largas jornadas como operador de grúa, Jermaine y sus hermanos Tito y Jackie ensayaban sus propias canciones, a veces con la guitarra de su papá. Una noche, después de que Tito rompiera accidentalmente una cuerda del instrumento de su papá, el trío tuvo que confesar que habían estado ensayando hasta tarde. Joe, enojado, les pidió a los chicos que demostraran su talento musical. Impresionado, reconoció el potencial de los chicos y comenzó a alentarlos a presentarse como grupo. Jermaine y sus dos hermanos mayores fundaron The Jackson Brothers en 1964. A finales de 1965, los hermanos menores de Jermaine, Marlon y Michael, también se unieron al grupo, formando así a The Jackson 5.

Después de que Jermaine y el grupo ganaran un concurso de talentos celebrado en la preparatoria de su hermano Jackie, The Jackson 5 comenzaron a tomarse sus presentaciones más en serio. Jermaine pasó de ser el cantante principal a ser corista y bajista después de varios años como guitarrista rítmico y cantante principal.

Jermaine y sus hermanos trabajaban muchas horas y se presentaban en varios clubes nocturnos de poca categoría antes de conseguir un lugar en la famosa competencia «Amateur Night» en el Teatro Apollo de Harlem, Nueva York. El grupo ganó el concurso, impresionando al director ejecutivo de Motown, Berry Gordy, quien les otorgó un contrato discográfico en 1968. El grupo alcanzó un éxito arrollador, y sus primeros cuatro éxitos llegaron directamente al número 1 en las listas de Billboard.

En 1972, mientras aún formaba parte de The Jackson 5, Jermaine inició su carrera como solista. Un año después, se casó con Hazel, la hija de Gordy. Cuando The Jackson 5 dejaron Motown para pasar a CBS Records, Jermaine se separó del grupo y se mantuvo fiel a Motown.

La carrera solista de Jermaine a lo largo de finales de la década de 1970 y principios de la de 1980 fue bastante exitosa; su álbum de 1980, Let’s Get Serious, fue nominado a un Premio Grammy, y canciones como «Daddy’s Home», «Feel the Fire» y «Let’s Get Serious» alcanzaron la cima de la lista Hot 100 de Billboard. A pesar de su éxito con la discográfica, Jermaine dejó Motown en 1983 para pasar a Arista Records, donde logró éxitos como «Do What You Do» y «Dynamite».

En 1984, se reincorporó a los Jacksons por primera vez desde 1975 para realizar la gira Victory, compuesta por 55 conciertos, que llevaba el nombre del álbum recién lanzado de los Jacksons, Victory. Sus presentaciones de reunión recaudaron 75 millones de dólares y establecieron un nuevo récord como la gira con mayor recaudación de la época.

Desde entonces, Jermaine ha grabado de manera esporádica. Generó polémica en 1991 cuando se lanzó su canción «Word to the Badd». La canción, con letras como «Una vez que te hiciste famoso / Cambiaste tu forma de ser / Incluso me dijiste mentiras / No podía confiar en ti / Aun así te amaba», se interpretó como un ataque abierto al abrumador éxito de su hermano Michael como estrella del pop. Después de que el sencillo llegara a las ondas, Michael y Jermaine se reunieron en privado para reparar su ruptura fraternal. Aunque la canción no fue retirada de las ondas, Jermaine reescribió la letra y cambió el significado de la canción.

En 1992, produjo la galardonada miniserie The Jacksons: An American Dream, sobre los Jackson 5. Su hijo lo interpretó en las primeras escenas de la película.

En 2005, durante el juicio por abuso infantil contra su hermano Michael, Jermaine se pronunció a favor de él. Defendió públicamente a Michael en programas de noticias como Larry King Live y compareció junto a él en la corte. El 25 de junio de 2009, Jermaine fue el hermano que anunció la muerte de Michael. Más tarde, al hablar con los medios de comunicación, dijo que hubiera preferido que le hubieran quitado la vida a él en su lugar. También dijo que era el «...pilar de Michael. Alguien que estuviera ahí para él. «Yo estaba ahí y él era como Moisés; las cosas que él no podía decir, yo las decía». Durante el funeral de Michael en el Staples Center de Los Ángeles, Jermaine fue uno de los portadores del féretro junto con sus hermanos. También interpretó una emotiva versión de la canción «Smile», de Charlie Chaplin —la canción favorita de Michael— antes de romper a llorar.

En abril de 2007, Jackson regresó al Reino Unido para participar en un especial único del programa Challenge Anneka de ITV. En ese mismo viaje, apareció en Glasgow junto al primer ministro británico Gordon Brown, para expresar su apoyo a la campaña antirracista de la revista Searchlight, el «Hope Not Hate Bus» del Daily Mirror.

El 23 de noviembre de 2007, Jackson apareció en el programa «Katie & Peter: Unleashed» y volvió a hablar de una reunión con sus hermanos en una gira el año siguiente. En 2008, Jackson viajó a Australia para ser juez invitado y mentor en la noche dedicada a Michael Jackson de los cinco finalistas de la sexta temporada de «Australian Idol». En marzo de 2008, Jackson fue el invitado de honor en los Premios de Escritores Musulmanes en Birmingham. En 2009, tras el fallecimiento de su hermano Michael, Jackson apareció en la serie de televisión de A&E The Jacksons: A Family Dynasty, que documentaba lo que se suponía que sería una reunión por el 40.º aniversario entre Jackson y sus hermanos. La serie duró una temporada y Jackson, junto con sus tres hermanos, figuró como productor ejecutivo. En octubre de 2010, Jermaine dio un concierto en el hotel y casino Planet Hollywood de Las Vegas, al que tituló «40 Years of Jackson Music» y que dedicó a Michael. Escribió las memorias You Are Not Alone: Michael Through a Brother’s Eyes (2011).

En una entrevista de 2012 con Luka Neskovic, para The Huffington Post, Jackson dijo que su hermano Michael había planeado una reunión con él: «... el plan era hacer algunos shows con los hermanos también, después de que él terminara su compromiso con el concierto This Is It, y probablemente íbamos a interpretar algunas canciones con él en la gira This Is It». En octubre de 2012, Jackson lanzó I Wish You L.O.V.E, su primer álbum solista en 21 años, compuesto principalmente por versiones de jazz. El álbum fue arreglado y producido por el cantante de ópera francés David Serero, quien grabó un dueto en «Autumn Leaves» con Jackson, y fue lanzado por David Serero Productions. Ambos interpretaron You Are Not Alone: The Musical, escrito, dirigido y producido por Serero, en Francia en enero de 2013. Al año siguiente, se lanzó You Are Not Alone: The Musical Live en formato de video y audio.