Knight nació el 28 de mayo de 1944 en el seno de una familia que formaba parte de la creciente clase media negra de Atlanta. Comenzó su carrera musical a los cuatro años con un recital en la iglesia; luego, de 1950 a 1953, realizó giras y cantó en iglesias del sur con el coro del Morris Brown College, un grupo de gospel de Atlanta. Como una niña prodigio de siete años, alcanzó reconocimiento nacional al ganar los máximos honores en The Original Amateur Hour de Ted Mack, un popular programa de televisión de talentos en el que los ganadores eran seleccionados mediante votos por correo.

En 1952 nació el grupo musical familiar durante la celebración del cumpleaños de un niño en la casa de los Knight. A la presentación improvisada con Knight se unieron su hermano mayor, Merald «Bubba»; su hermana, Brenda; y dos primos, Elenor y William Guest. De estos humildes comienzos surgieron los Pips —el nombre proviene del apodo de un primo («Pip») que animó a los jóvenes a convertirse en profesionales. Tras la salida de Brenda y Elenor, el primo Edward Patten completó el cuarteto familiar durante el apogeo del grupo.

Para 1957, Gladys Knight y los Pips ya estaban de gira por todo el país en el «Chitlin’ Circuit», tocando exclusivamente para públicos afroamericanos en clubes y teatros de todo el sur segregado.

Durante estas giras actuaron como teloneros de algunos de los nombres más importantes del rhythm and blues: Sam Cooke, Ike y Tina Turner, Wilson Pickett, Otis Redding, Little Richard, Jackie Wilson y B. B. King. En 1961, el grupo logró su primer éxito en el top 20 de rhythm and blues (R&B) con «Every Beat of My Heart».

Después de dedicar un par de años a su esposo, el también músico Jimmy Newman, y a su nuevo bebé, Knight regresó al mundo de la música en 1964. En 1966, el grupo llevó su sonido con toques de gospel al sello Motown en Detroit, Michigan, donde encontraron un hogar durante los siguientes siete años junto a artistas como The Supremes, Marvin Gaye y The Temptations.

Gladys Knight and the Pips alcanzaron la cima de su popularidad (primero en Motown, luego en Buddah Records) con éxitos como «I Heard It through the Grapevine» (n.º 1 en la lista de R&B, n.º 2 en la lista de pop en 1967), «Neither One of Us (Wants to Be the First to Say Goodbye)» (n.º 1 en R&B, n.º 2 en pop en 1973), «Best Thing That Ever Happened to Me» (n.º 1 en R&B, n.º 3 en pop en 1974), «I’ve Got to Use My Imagination» (n.º 1 en R&B, n.º 4 en pop en 1974) y «Midnight Train to Georgia» (n.º 1 en R&B, n.º 1 en pop en 1973). «Midnight Train to Georgia» se titulaba originalmente «Midnight Plane to Houston» hasta que Knight revisó la letra para hacer referencia a su estado natal.

Los problemas legales impidieron que el grupo se presentara junto a finales de la década de 1970, y cuando reaparecieron a principios de la década de 1980, realizaron giras por el exclusivo circuito de casinos y clubes nocturnos con un sonido diferente: música ligera y contemporánea para adultos. Al mismo tiempo, Knight hizo varias apariciones en cine y televisión antes de iniciar una nueva carrera como cantante solista a finales de la década de 1980. El grupo fue incluido en el Salón de la Fama de la Música de Georgia en 1989 y en el Salón de la Fama del Rock and Roll en 1996.

En su autobiografía de 1997, Between Each Line of Pain and Glory, Knight describe con franqueza los altibajos de su vida profesional y privada, que incluyen varios matrimonios y una adicción al juego. A pesar de sus dificultades, concluye: «Que venga el dolor. Que venga la gloria. Estaré en esta lucha para compartir mis dones, para disfrutar de mis bendiciones y para ser amada».

Miembro de la Iglesia de Jesucristo de los Santos de los Últimos Días, dirigió el coro Saints Unified Voices, que recibió un premio Grammy en 2006 por el álbum One Voice.

Varias organizaciones han reconocido las contribuciones de Knight a la música y las artes. En 2021, Knight recibió de manos del presidente Joe Biden la Medalla Nacional de las Artes, el máximo galardón otorgado a los artistas en Estados Unidos. En 2022 recibió un reconocimiento del Centro Kennedy por sus contribuciones a la cultura estadounidense, y en 2023 fue galardonada con un Grammy por su trayectoria.

En julio de 2026, Knight comenzó una gira con Smokey Robinson, coprotagonizando la gira «Just the Two of Us». En agosto de 2026, TMZ informó que los fans estaban preocupados por el comportamiento desorientado de Knight en el escenario durante la gira, después de que circularan videos virales.