En 1964, Robert Bell, su hermano Ronald y cinco amigos de la secundaria formaron la banda instrumental llamada The Jazziacs. Su padre era un boxeador en el Upper West Side de Nueva York y tenía un gimnasio debajo del apartamento del gran músico de jazz Thelonius Monk, quien se convirtió en el padrino de Robert Bell.

Miles Davis, otra estrella del jazz que solía entrenar entre sus conciertos, también frecuentaba el gimnasio a diario y era amigo del padre de Bell. Robert adoptó el apodo de Kool (por su temperamento tranquilo) y tenía solo 14 años cuando cogió el bajo y comenzó a liderar a los Jazziacs en conciertos dispersos en salones de Nueva Jersey.
Además de los hermanos Bell, la banda todavía incluye a los miembros originales Robert Mickens (trompeta), Dennis D. T. Thomas (saxofón alto), Charles Smith (guitarra), Clifford Adams (trombón) y George Brown (batería). Juntos comenzaron a interpretar versiones de pop y Motown contemporáneos, colaborando ocasionalmente con los músicos de jazz McCoy Tyner, Leon Thomas y Pharoah Sanders.
En 1967, los Jazziacs cambiaron su nombre a The Soul Machine Review, y cuando finalmente firmaron con la discográfica Red Coach en 1969, lo cambiaron de nuevo a Kool & the Gang, modificando sus temas originales para combinar el street funk, el R&B y el pop.
Sus primeros éxitos, "Let the Music Take Your Mind", "Funky Man" y "Love the Life You Live", los convirtieron en una sensación de la música callejera, los reyes de las fiestas de baile sudorosas.

Red Coach lanzó el primer álbum de Kool & the Gang, Kool & the Gang, en el sello De-Lite en 1970, pero el grupo no alcanzó el éxito de la crítica y del público hasta el lanzamiento en 1973 de Wild and Peaceful, que contenía los exitosos sencillos de oro "Funky Stuff", "Jungle Boogie" y "Hollywood Swingin'".
Aunque Light of the Worlds de 1974 alcanzó el estatus de disco de oro, la popularidad de Kool & the Gang pronto se vio aplastada por la creciente fiebre de la música disco en el país.

Para 1977, Kool & the Gang había llegado a lo que ellos mismos describieron como una encrucijada en su carrera, sintiéndose demasiado progresivos para la música disco y demasiado "dulces" para el funk.
El cambio que el grupo necesitaba fue J. T. Taylor, un maestro de escuela y cantante de club nocturno aficionado de Nueva Jersey (que no debe confundirse con el cantautor de Martha's Vineyard). Al igual que la mayoría de los miembros de Kool & the Gang, el conocimiento de Taylor sobre el lenguaje de la calle provenía de su experiencia personal.
Taylor tampoco era ajeno a la música de Kool & the Gang. De hecho, cuando tenía 13 años, él y sus amigos formaron su propia banda llamada Kool & the Gang, siguiendo el modelo de la original.

El baterista de Taylor se puso el nombre de George, como George Brown, y su bajista se puso el nombre de Kool. Incluso se hicieron camisetas con los nombres de los miembros originales de la banda en la espalda. El único nombre que faltaba era el de James Taylor; en ese momento, Taylor estaba esencialmente probándose a sí mismo como el cantante principal ausente en todas las canciones de Kool & the Gang.

Las imitaciones de Taylor en la secundaria se hicieron realidad cuando la banda realmente estaba buscando un cantante principal; él ya encajaba a la perfección. Con Taylor a bordo, la banda salió a la calle para hacer un poco de investigación. Condujeron por la ciudad y pasaron el rato en varios clubes y eventos. El material que reunieron se convirtió más tarde en su primer álbum de platino, Ladies' Night, que se lanzó en 1979.
En cierto sentido, Ladies' Night fue un comentario sobre la misma escena de clubes en la que la banda intentaba irrumpir; en sus recorridos por la ciudad, descubrieron que cada miércoles por la noche era consistentemente la Noche de Damas en los clubes y discotecas. La voz melódica de Taylor le dio al álbum una popularidad instantánea, con los sencillos "Too Hot" y "Ladies' Night" alcanzando el estatus de oro y platino.
Sin embargo, Kool & the Gang fue criticado por este paso de la música instrumental a la conformidad del pop con la adición de un vocalista; algunos fans lo vieron como un abandono de sus raíces culturales negras y del sonido urbano de la calle. D. T. Thomas le dijo a la revista Billboard en una entrevista de 1988 que, durante este período, la banda no pensaba en su audiencia en términos de color.

Además de la inclusión de un nuevo cantante principal, el cambio del grupo a un sonido pop se vio mejorado por el productor Eumir Deodato, quien, a partir de Ladies' Night, produjo los siguientes cuatro álbumes de platino y oro del grupo, entre 1979 y 1982. Él hizo espacio para la dulce voz de Taylor al simplificar la producción, moviendo los teclados al frente, convirtiendo el coro vocal en un sonido de acompañamiento y suavizando los duros metales del funk.
Con la ayuda de Deodato, el siguiente álbum del grupo, Celebrate, se convirtió en uno de los mayores éxitos de su carrera. El exitoso sencillo "Celebration" se hizo un hueco propio como una canción temática nacional para la liberación de los rehenes en Irán, además de ser la banda sonora del Desfile del Día de Acción de Gracias de Macy's y del Super Bowl. La letra del tema principal también pareció personificar los valores espirituales del grupo en ese momento.

En 1981, Kool & the Gang lanzó el álbum Something Special, que vendió platino y que incluyó el exitoso sencillo de oro "Take My Heart". En una gira de conciertos para el álbum, el grupo agotó las entradas para cuatro shows en el Radio City Music Hall de Nueva York, lo que marcó su masiva popularidad nacional.

Aunque As One, el cuarto álbum producido por Deodato, alcanzó el oro en Estados Unidos y superó en ventas a todos sus otros álbumes en África y Europa, Kool & the Gang se separó amistosamente de su productor en 1983 y decidió crear sus propias grabaciones de forma interna. El álbum de 1983 In the Heart da crédito a Ronald Bell, Kool & the Gang y al ingeniero Jim Bonneford por la producción, pero en todos los álbumes siguientes, Ronald Bell se convirtió en el arma secreta de producción del grupo.
Desde mediados de la década de 1980 hasta principios de la de 1990, Ronald Bell mantuvo el sonido establecido, aunque de manera poco convencional; las guitarras de rock comenzaron a reemplazar a los metales, y su sonido se transformó bajo el poder de la tecnología digital.

Bell llamó a su configuración de producción el IBMC (Itty Bitty MIDI Committee), usando sintetizadores de computadora MIDI y mesas de mezcla. En un artículo de 1986 de la revista Musician, en la década de 1980 Bell produjo los álbumes doble platino Emergency y el oro Forever, en los que tocó casi todos los instrumentos. A través de este proceso, las cintas de los músicos de Kool & the Gang se tomaban y se traducían a secuenciadores MIDI, se copiaban y se superponían, eliminando la necesidad de tiempo en el estudio.
Para una banda que durante más de 20 años había experimentado tantos cambios de género musical como probablemente podía una banda y aún así seguir junta, el paso a la producción interna fue solo otro indicador de crecimiento. El cambio a la producción interna también ayudó a los miembros a aumentar su producción externa; Taylor produjo un disco de rap, y Ronald Bell produjo trabajos de Latoya Jackson y Jimmy Cliff.
El mayor cambio de la década de 1980, sin embargo, se produjo con la salida del cantante principal Taylor. El vocalista, que se fue en 1988, supuestamente partió amistosamente con planes de hacer un álbum en solitario. La banda reemplazó a Taylor con los cantantes / instrumentalistas Gary Brown, Odeen Mays y Skip Martin.
Desde 1988 hasta 1994, Kool & the Gang lanzó cinco álbumes más y continuó de gira por Europa, Estados Unidos y África, demostrando una vez más la tenacidad de la banda y su capacidad para recuperarse frente al cambio y los diversos gustos de sus fans.

The Hits Reloaded*, de 2004, mostró a la banda colaborando con Lil' Kim, Sean Paul, Ashanti y Blackstreet, entre otros.
La banda volvió a entrar en la lista de R&B de Billboard con Steppin' Into Love, de 2006. En el mismo año, Kool & the Gang recibió el premio NARM (National Association of Recording Merchandise) Chairman Award por sus logros de por vida en ventas de discos.
Kool & the Gang lanzó un nuevo álbum de estudio titulado Still Kool en julio de 2007 en New Door Records/UME.
En 2009, Kool & the Gang hizo historia cuando se convirtieron en uno de los pocos grupos estadounidenses en actuar en Cuba en los últimos años. El grupo rompió las barreras culturales al organizar un concierto gratuito al aire libre en La Habana.
En 2012, Kool & the Gang se embarcó en una exitosa gira de 52 ciudades con Van Halen.
En febrero de 2014, Kool & the Gang recibió el Lifetime Achievement Award en música en los Golden Camera Awards en Berlín, Alemania. En octubre de 2015, el grupo recibió una estrella en el Paseo de la Fama de Hollywood.
Kool & the Gang sigue actuando ante audiencias llenas de fans nuevos y viejos en todo el mundo.