La primera encarnación de la banda, "Mr. Crowe's Garden", llamada así por el libro infantil de Leonard Leslie Brooke, Johnny Crow's Garden, se formó en 1984 en Atlanta, Georgia. Influenciados por grupos locales contemporáneos como R.E.M., así como por el pop psicodélico de los 60 y el rock clásico sureño, evolucionaron gradualmente hasta convertirse en una banda de renacimiento dedicada al blues rock de los años 70.

Aunque la banda ha tenido una alta tasa de rotación a lo largo de su historia, la fuerza motriz detrás de ella siempre han sido los hermanos Chris y Rich Robinson, quienes inicialmente formaron la banda mientras asistían a la escuela secundaria Walton.
La primera demostración profesional que hicieron los hermanos Robinson fue para A&M Records en 1987. El mánager de la banda en ese momento, Dave Macias, se puso en contacto con el representante de A&M Aaron Jacoves, de Los Ángeles, quien le ofreció a la banda un acuerdo de "demostración" y organizó la primera de varias sesiones de demostración de la banda. Se llevó a cabo en el estudio de Steve Gronback en Carrboro, Carolina del Norte. Jacoves les pagó 2,000 dólares para cubrir los costos de producción. Jeff Sullivan (famoso por Drivin N Cryin) tocó la batería en la primera demostración, mientras que las grabaciones de demostración posteriores contaron con Steve Gorman en la batería. Gorman tocó en las siguientes demostraciones de A&M en Carrboro, Carolina del Norte, a mediados y finales de 1987, aunque al principio como baterista invitado hasta que se unió oficialmente a Mr. Crowe's Garden más tarde ese año. Originalmente se le ofreció a la banda un contrato discográfico en 1987 bajo el sello "Dog Gone" por el mánager de R.E.M., Jefferson Holt, pero lo rechazaron.
La banda tocó como cuarteto en clubes de la ciudad de Nueva York como "Drums" y CBGB en 1988. En 1989 la banda, que se había estabilizado como un quinteto que incluía a los Robinson, Gorman, Johnny Colt y Jeff Cease, conoció a George Drakoulias, quien firmó con la banda en Def American. Drakoulias le presentó a la banda música que no había escuchado antes, como The Faces y Humble Pie. Bajo la influencia de Drakoulias, la banda comenzó a hacer versiones de los Rolling Stones y Rich comenzó a tocar en afinaciones de sol abierto para las canciones de Mr. Crowe's Garden. En este punto, la banda también cambió su nombre y consideró ideas como "The Heartless Crowes" y "The Stone Mountain Crowes", antes de decidirse por The Black Crowes.

The Black Crowes lanzó su primer álbum de estudio, Shake Your Money Maker, en 1990. Apoyado por los sencillos "Hard to Handle", "She Talks to Angels", "Jealous Again", "Twice As Hard", "Sister Luck" y "Seeing Things", el álbum recibió la certificación de multiplatino y finalmente vendió más de cinco millones de copias. Su versión de "Hard to Handle" de Otis Redding y la balada acústica "She Talks to Angels" alcanzaron los 30 primeros puestos en el Billboard Hot 100 en 1991.

La banda abrió para ZZ Top en una gira patrocinada por Miller Beer, de la cual fueron despedidos en marzo de 1991 después de la diatriba verbal de Chris Robinson contra Miller. La banda lanzó su propia gira en mayo y más tarde participó en una gira de Monsters of Rock en Europa, donde abrieron para Metallica, AC/DC, Mötley Crüe y Queensrÿche.
Debido a la prevalencia de las partes de piano y órgano de Chuck Leavell en el primer lanzamiento, en 1991 la banda contrató a su propio tecladista, Eddie Harsch. Se convirtió en un miembro permanente del grupo a partir de la gira "High as the Moon" en 1992.
Después de reemplazar al guitarrista Jeff Cease con Marc Ford del trío de blues rock Burning Tree, la banda lanzó su segundo álbum, The Southern Harmony and Musical Companion, en 1992. El álbum debutó en el número 1 en el Billboard 200. El esfuerzo generó los sencillos "Remedy", "Sting Me", "Thorn in My Pride" y "Hotel Illness", todos los cuales encabezaron la lista de Billboard Album Rock Tracks. "Remedy" y "Thorn in My Pride" también se ubicaron en el Hot 100 en 1992.
En 1994, la banda, ahora de seis miembros, lanzó Amorica, después de desechar el álbum inédito Tall el año anterior. El álbum finalmente obtuvo el estatus de oro, vendiendo más de 500,000 copias. La portada presentaba una fotografía de la entrepierna de una mujer con una tanga con la bandera de los Estados Unidos y vello púbico visible, que fue tomada de una edición de 1976 de la revista Hustler. Como algunas tiendas no querían vender el álbum debido a la portada, se lanzó simultáneamente una versión diferente con un fondo negro sólido, que mostraba solo el triángulo con la bandera.

Three Snakes and One Charm se lanzó en julio de 1996. La gira de apoyo de la banda incluyó una temporada de verano con el Furthur Festival de 1997, junto con Ratdog, Bruce Hornsby y otros. Durante este período, la banda grabó un álbum llamado Band, que fue desechado. El guitarrista Marc Ford fue despedido y el bajista Johnny Colt posteriormente abandonó el grupo, disolviendo la alineación de los Crowes para los tres álbumes anteriores. Las pistas inéditas de Tall y Band surgieron entre los círculos de intercambio de cintas y más tarde se lanzaron oficialmente en The Lost Crowes (2006).

La banda se reagrupó, agregando a Sven Pipien en el bajo antes de sus siguientes sesiones de grabación. By Your Side se lanzó en enero de 1999; el álbum eliminó los sonidos más aventureros de Amorica y Three Snakes and One Charm en favor de canciones más simples e influenciadas por el soul. El guitarrista Audley Freed, anteriormente de Cry of Love, se unió antes de la grabación de By Your Side pero no fue incluido en las sesiones de grabación.

En octubre de 1999, la banda se unió al guitarrista de Led Zeppelin, Jimmy Page, para dos pares de espectáculos en Nueva York y Los Ángeles, y también en el Centrum en Worcester, Massachusetts, lo que resultó en un lanzamiento en vivo, Live at the Greek en TVT Records. Debido a problemas contractuales con Columbia, Live at the Greek no presentó ninguna de las canciones de la banda interpretadas con Page. La colaboración condujo a una gira más extensa con Page y The Who en el verano de 2000, durante la cual Pipien fue reemplazado por Greg Rzab. Después de la gira, el cantante Chris Robinson se casó con la actriz Kate Hudson, antes de regresar al estudio para grabar el sexto álbum de estudio de la banda.
En mayo de 2001, la banda lanzó Lions en el sello discográfico V2 del magnate de Virgin, Richard Branson; el álbum alcanzó el puesto número 20 en las listas. La banda lanzó su apoyo al álbum con la gira de un mes "Tour of Brotherly Love" con Oasis y Spacehog en mayo y junio de 2001. Durante el resto de 2001, la banda se embarcó en la gira principal "Listen Massive" en apoyo de Lions, que abarcó Europa y Japón antes de concluir con 36 espectáculos en los Estados Unidos. La banda se disolvió efectivamente en enero de 2002 con la partida del baterista Steve Gorman y un anuncio de que la banda se estaba "tomando un descanso". En agosto de 2002 se lanzó un álbum en vivo, compuesto a partir de dos espectáculos de 2001 realizados en el Orpheum Theatre de Boston. En 2004, algunos miembros de la banda se reunieron para tocar "Sometimes Salvation" con Gov't Mule en los Jammy Awards de 2004. Durante la pausa, Chris Robinson lanzó los álbumes New Earth Mud en 2002 y This Magnificent Distance en 2004. Mientras tanto, Rich Robinson formó una banda de corta duración llamada Hookah Brown antes de lanzar su propio álbum en solitario, Paper, en 2004.
En el otoño de 2006, Eddie Harsch y Marc Ford abandonaron la banda. Reemplazando a Harsch y Ford estaban Rob Clores y Paul Stacey, respectivamente. En agosto de 2007, la banda reemplazó a Clores con Adam MacDougall. El tiempo de Stacey nunca tuvo la intención de ser permanente y cuando la banda invitó al guitarrista Luther Dickinson de North Mississippi Allstars a actuar en su próximo disco, titulado Warpaint, Dickinson reemplazó oficialmente a Stacey como guitarrista. Sin embargo, Stacey continuó trabajando con la banda, como productor de Warpaint.

Un álbum en vivo titulado Live at the Roxy, extraído de las actuaciones de Brothers of a Feather de 2006 (con Chris y Rich Robinson interpretando principalmente sets acústicos), fue lanzado el 10 de julio de 2007. El álbum presentaba interpretaciones de material antiguo y nuevo de Black Crowes mezclado con versiones, tomadas de una serie de tres noches en The Roxy en Los Ángeles a principios de 2006.
El primer álbum de The Black Crowes desde su reforma, Warpaint, fue lanzado el 3 de marzo de 2008. Warpaint fue aclamado por la crítica y el álbum aterrizó en el número 5 en el Billboard 200, el mejor debut de la banda desde que The Southern Harmony and Musical Companion encabezó las listas. La banda lanzó una gira internacional el 24 de marzo cuando tocaron en el East Coast Blues & Roots Music Festival en Australia. La banda continuó su gira por Australia y Nueva Zelanda, la primera desde 1992, hasta el 5 de abril, antes de partir para un viaje europeo.

Una gira por los Estados Unidos comenzó en mayo y concluyó en diciembre con otra serie de cinco noches en The Fillmore en San Francisco. También ese año, The Black Crowes presentaron una demanda contra la cantante de música country Gretchen Wilson, alegando que infringió sus derechos de autor de la canción "Jealous Again".
En abril de 2009, la banda lanzó un álbum en vivo de dos discos titulado Warpaint Live. El primer disco consiste en el álbum Warpaint interpretado en su totalidad, mientras que el segundo disco se compone de clásicos del catálogo y selecciones de versiones. La actuación completa contenida en el set fue grabada el 20 de marzo de 2008, en el Wiltern Theater de Los Ángeles. Un DVD de la misma actuación fue lanzado el 30 de junio de 2009. La banda lanzó su octavo álbum de estudio, Before the Frost...Until the Freeze, más tarde ese año. La compra de un CD del álbum se acompaña de un código de descarga para recibir el lanzamiento complementario del álbum, ...Until the Freeze. La versión en vinilo es un álbum doble que incluye todas las canciones pero en un orden de ejecución diferente. Estos álbumes resultaron de cinco días de grabación en el estudio de Levon Helms en Woodstock y presentan una combinación de material nuevo y algunas nuevas versiones grabadas en vivo frente a una audiencia. Continuando con la tendencia establecida con Warpaint, los Crowes incorporaron más de sus raíces country y bluegrass en estas grabaciones, así como se aventuraron en nuevas vías como la música disco en la canción "I Ain't Hidin'". Se lanzó un DVD de estas sesiones, que incluye algunas entrevistas y segmentos detrás del escenario, llamado Cabin Fever.

El 21 de abril de 2010, The Black Crowes anunciaron una fecha de lanzamiento para el 3 de agosto para un álbum doble, completamente acústico, Croweology, así como las fechas de la gira "Say Goodnight to the Bad Guys", que presentaba dos sets de 90 minutos en la mayoría de los espectáculos: uno acústico y otro eléctrico. Después de la gira, la banda entró en otro receso "indefinido". El 26 de noviembre de 2010, The Black Crowes lanzaron un disco de vinilo de 10" con una tarjeta de descarga especial para el Record Store Day Black Friday, llamado Say Goodnight to The Bad Guys/Remedy (acoustic live) para tiendas de discos independientes. La banda también fue incluida en el Georgia Music Hall of Fame, interpretando "Georgia on My Mind" con Chuck Leavell en la ceremonia de 2010.
Después de terminar la gira por los Estados Unidos en The Fillmore en diciembre de 2010, los Crowes tocaron nueve espectáculos de "Goodnight to the Bad Guys" en Europa en julio de 2011. Estos incluyeron festivales en Italia, España, los Países Bajos y Bélgica, así como algunos espectáculos principales donde, en comparación con la gira por los Estados Unidos, tocaron un set acústico de 90 minutos y uno eléctrico de 90 minutos. Los últimos cuatro espectáculos incluyeron dos en Londres (el segundo de los cuales contó con un bis liderado por Jimmy Page), seguidos de dos que los vieron regresar al Paradiso de Ámsterdam.
El 25 de diciembre de 2012, se anunció que los Crowes se embarcarían en un viaje de cinco espectáculos por el Reino Unido en marzo de 2013, seguido de una gira de 21 fechas por los Estados Unidos de abril a principios de mayo. En lugar de Luther Dickinson, Jackie Greene tocaría la guitarra y proporcionaría coros.

El 19 de marzo de 2013, la banda lanzó su cuarto álbum en vivo, Wiser for the Time. Se lanzó como una descarga digital y como un set de vinilo de cuatro discos. El álbum fue grabado durante la serie de conciertos de la banda de 2010 en la ciudad de Nueva York. El 23 de abril de 2013, The Black Crowes regresaron a Atlanta y tocaron en The Tabernacle frente a una multitud a capacidad. En julio de 2013, la banda inició una gira con la Tedeschi Trucks Band. Regresaron al receso en diciembre de ese año, pero tocaron un espectáculo en Boston en febrero siguiente (un evento benéfico para la asociación Big Brothers).
El 15 de enero de 2015, Rich Robinson anunció la ruptura final de la banda debido a un desacuerdo con su hermano Chris Robinson sobre una supuesta propuesta con respecto a la propiedad de la banda. En una entrevista, el baterista Steve Gorman indicó que antes de la ruptura, The Black Crowes habían estado discutiendo una gira.

A finales de 2019, durante una entrevista en The Howard Stern Show, Chris y Rich Robinson anunciaron que habían resuelto sus diferencias (los hermanos no se habían hablado en los años transcurridos desde la separación de la banda en 2015) y estaban planeando una gira en 2020 para conmemorar el 30 aniversario de Shake Your Money Maker.
La reunión fue recibida con una reacción mixta de los fanáticos, ya que la gira de 46 fechas no contó con ningún miembro anterior de la banda aparte de los hermanos y, en cambio, contaría con una banda de acompañamiento completamente nueva, que incluía al guitarrista Isaiah Mitchell (de las bandas Earthless y Golden Void), el bajista Tim Lefebvre (anteriormente de la Tedeschi Trucks Band), el tecladista Joel Robinow y el baterista Raj Ojha. Esta alineación se estrenó en The Bowery Ballroom en la ciudad de Nueva York el 11 de noviembre de 2019, donde tocaron todo el álbum Shake Your Money Maker. Chris había probado a varios de los nuevos miembros con su proyecto "As the Crow Flies".
Finalmente, la gira se vio interrumpida por la pandemia de COVID-19. Las fechas finalmente se reprogramaron para el verano y el otoño de 2021. En mayo de 2021, los Crowes anunciaron sus fechas de gira reprogramadas y revelaron que Sven Pipien regresaría en el bajo. En junio de 2021, se anunció que la banda ya había escrito al menos 20 canciones para un próximo álbum, pero no tenía planes de grabarlas hasta después de la gira. También se anunció que Brian Griffin es el nuevo baterista. Ha estado de gira con Brandi Carlile, Richard Marx, Patti Smith y otros.
El 8 de enero de 2021, The Black Crowes anunciaron una reedición multiformato por el 30 aniversario de Shake Your Money Maker, lanzando una pista previamente inédita "Charming Mess" junto con ella.
En mayo de 2022, la banda lanzó su primer material recién grabado desde la reunión, 1972, un EP que consta de versiones de pistas famosas lanzadas en 1972.
El 17 de marzo de 2023, la banda lanzó un álbum doble en vivo en CD y vinilo llamado Shake Your Money Maker Live, un álbum en vivo con el primer disco siendo su primer álbum tocado en su totalidad en concierto y un segundo disco que consta de clásicos en vivo de Black Crowes más una versión de "It's Only Rock 'n Roll (But I Like It)" de los Rolling Stones.
La banda lanzó el álbum nominado al Grammy, Happiness Bastards, el 15 de marzo de 2024. Además de Chris y Rich, la alineación para este lanzamiento está compuesta por Sven Pipien, Nico Bereciartua, Erik Deutsch y Brian Griffin (quien dejó la banda antes del lanzamiento).
En 2025, The Black Crowes fueron nominados para su inducción al Salón de la Fama del Rock and Roll por primera vez.