La formación original se creó en Houston, Texas, con Gibbons, el organista Lanier Greig (fallecido en febrero de 2013) y el baterista Dan Mitchell. ZZ Top era dirigido por Bill Ham, oriundo de Waxahachie, quien se había hecho amigo de Gibbons un año antes. Lanzaron su primer sencillo, "Salt Lick", en 1969, con la canción "Miller's Farm" en la cara B; ambas canciones se atribuyeron a Gibbons. Inmediatamente después de la grabación de "Salt Lick", Greig fue reemplazado por el bajista Billy Etheridge, compañero de banda de Jimmie Vaughan, y Mitchell fue reemplazado por Frank Beard, de The American Blues.
Debido a la falta de interés de las compañías discográficas, ZZ Top recibió una oferta de London Records (necesita aclaración). Sin querer firmar un contrato de grabación, Etheridge dejó la banda y Dusty Hill fue elegido para reemplazarlo. Después de que Hill se mudara de Dallas a Houston, ZZ Top firmó con London en 1970. Su primer concierto juntos fue el 10 de febrero en el Knights of Columbus Hall en Beaumont.
Además de asumir el rol de líder de la banda, Gibbons se convirtió en el principal letrista y arreglista musical. Con la ayuda de Ham y el ingeniero Robin Hood Brians, lanzaron ZZ Top's First Album (1971), que incluía el humor característico de la banda, con ritmos de "barrelhouse", guitarras distorsionadas, dobles sentidos e insinuaciones. La música y las canciones reflejaban fielmente las influencias del blues de ZZ Top.

Después de su álbum debut, la banda lanzó Rio Grande Mud (1972), que no tuvo éxito comercial y la gira promocional se realizó en auditorios casi vacíos.
ZZ Top lanzó Tres Hombres en 1973, un álbum con un sonido "terrenal" y "contagioso" que fue el resultado del impulso rítmico de Hill y Beard, combinado con el tono de guitarra "gruñón" de Gibbons. Dan Erlewine escribió que el álbum "les dio a ZZ Top su primer disco en el Top Ten, convirtiéndolos en estrellas en el proceso". El álbum incluía el tema boogie "La Grange", escrito sobre un burdel en La Grange, Texas. En la gira posterior, la banda llenó conciertos en Estados Unidos.
Durante esta gira, ZZ Top grabó las pistas en vivo para su álbum de 1975, Fandango!, que mostró su habilidad para emocionar al público en directo. Fandango! fue un álbum top ten y su sencillo, "Tush", alcanzó el puesto 20 en el Billboard Hot 100. Tejas, lanzado en 1976, no fue tan exitoso ni tan bien recibido como sus trabajos anteriores, aunque el álbum llegó al puesto 17 en la lista Pop Albums de Billboard. ZZ Top continuó con la gira Worldwide Texas Tour en apoyo de Tejas, a pesar de que ya llevaban siete años de gira.
La banda se tomó un descanso de las apariciones públicas que se suponía duraría 90 días. Gibbons viajó a Europa, Beard a Jamaica y Hill a México. El descanso se extendió a dos años, durante los cuales Gibbons y Hill se dejaron crecer barbas que les llegaban al pecho.

En 1979, ZZ Top firmó con Warner Bros. Records y lanzó el álbum Degüello. Aunque el álbum fue disco de platino, solo alcanzó el puesto 24 en la lista de Billboard. El álbum produjo dos sencillos, "I Thank You" (una versión de una canción de Sam & Dave) y "Cheap Sunglasses". La banda siguió siendo una popular atracción en conciertos y realizó una gira de apoyo para Degüello. En abril de 1980, ZZ Top hizo su primera aparición en Europa, actuando para el programa de televisión musical alemán Rockpalast. El siguiente álbum, El Loco, se lanzó en octubre de 1981, con tres sencillos: "Tube Snake Boogie", "Pearl Necklace" y "Leila".

El siguiente álbum de ZZ Top fue aún más exitoso. Eliminator, lanzado en marzo de 1983, incluía dos sencillos en el Top 40 ("Gimme All Your Lovin'" y "Legs"), cuatro éxitos en Mainstream Rock (incluyendo "Got Me Under Pressure" y "Sharp Dressed Man"), y "Legs" que alcanzó el puesto 13 en la lista Club Play Singles. Eliminator fue un éxito comercial y de crítica, vendiendo más de 10 millones de copias, y varios de sus videos musicales se emitían con regularidad en MTV. La banda también ganó sus primeros MTV Video Music Awards en las categorías de Mejor Video de Grupo por "Legs" y Mejor Dirección por "Sharp Dressed Man". Los videos musicales se incluyeron en su video recopilatorio Greatest Hits, que se ha lanzado en DVD desde entonces y rápidamente se convirtió en multiplatino.
Billy Gibbons, rompiendo tres décadas de silencio sobre el tema, dio las razones del cambio de dirección al hablar con un periodista (Joe Bosso) el 3 de junio de 2013 sobre un colega llamado Linden Hudson. Gibbons dijo: "Él (Linden) trajo a la vanguardia algunos elementos que ayudaron a reformular lo que ZZ Top estaba haciendo, comenzando en el estudio y, eventualmente, en el escenario en vivo. Linden no tenía miedo y estaba ansioso por experimentar de maneras que asustarían a la mayoría de las bandas. Pero lo seguimos, y los sintetizadores comenzaron a aparecer en el disco".

Sin embargo, el álbum Eliminator no estuvo exento de controversia. Según el exgerente de escenario David Blayney (quien fue gerente de escenario de ZZ Top durante 15 años) en su libro Sharp Dressed Men (Hyperion Books), el ingeniero de sonido Linden Hudson coescribió gran parte del material del álbum como un instructor de música de alta tecnología que vivía con Beard y Gibbons. Y, a pesar de las continuas negaciones de la banda, resolvieron una batalla legal de cinco años con Hudson, pagándole 600,000 dólares después de que él demostrara que tenía los derechos de autor de la canción "Thug", que apareció en Eliminator.
A pesar de no vender tantas copias como Eliminator, Afterburner (1985) fue comercialmente igual de exitoso, convirtiéndose en su álbum más alto en las listas y acumulando ventas de 5 millones de unidades. Todos los sencillos de Afterburner fueron éxitos del Top 40, y dos de ellos alcanzaron el puesto número 1 en la lista Mainstream Rock. El video musical de "Velcro Fly" fue coreografiado por la cantante pop Paula Abdul. La agotadora gira mundial de ZZ Top, Afterburner World Tour, se extendió hasta 1987, año en que también se lanzó The ZZ Top Sixpack, una colección de tres discos con los álbumes de ZZ Top de 1970 a 1981, con la excepción de Degüello. Los álbumes ZZ Top's First Album, Rio Grande Mud, Tres Hombres, Fandango y Tejas fueron remezclados con el resultado de que el sonido del material de los primeros cinco álbumes se cambió para que sonara como si hubiera sido grabado en la década de 1980, con eco y cajas de ritmos, muy diferente a su sonido original.
Muchas de las mezclas originales se utilizaron en la caja de CD de 2003 Chrome, Smoke & BBQ, y su pieza complementaria Rancho Texicano. Además, se lanzaron versiones remasterizadas de Tres Hombres y Fandango! en CD en 2006 con las mezclas originales intactas. En 2013, Warner Brothers lanzó The Complete Studio Albums 1970-1990, una caja de 10 CD que contenía las mezclas originales de ZZ Top's First Album, Rio Grande Mud y Tejas por primera vez en CD.

Recycler, lanzado en 1990, fue el último álbum de estudio de ZZ Top bajo contrato con Warner Records. Recycler también fue el último de una trilogía sonora distinta en el catálogo de ZZ Top. La colección marcó un regreso al sonido blues más simple y directo de la guitarra, con menos sintetizador y el estilo pop de los dos álbumes anteriores. Este cambio no agradó del todo a la base de fans que Eliminator y Afterburner habían construido, y aunque Recycler logró el estatus de platino, nunca igualó las ventas de sus predecesores. Los videos de estilo sexy y caricaturesco de las "ZZ-girls" continuaron en sencillos como "My Head's in Mississippi", "Give It Up" y "Burger Man".

En 1992, Warner lanzó ZZ Top's Greatest Hits, junto con un nuevo tema al estilo de The Rolling Stones, "Gun Love", y un video con influencias de Elvis, "Viva Las Vegas". En 1993, ZZ Top incluyó a una de sus mayores influencias, Cream, en el Salón de la Fama del Rock and Roll.
En 1994, la banda firmó un contrato por 35 millones de dólares con RCA Records, lanzando el álbum Antenna, que vendió un millón de copias. Los siguientes álbumes de RCA, Rhythmeen (1996) y XXX (1999, el segundo álbum en presentar pistas en vivo), se vendieron bien, pero no alcanzaron los niveles de éxito anteriores. Sin embargo, ZZ Top continuó tocando para un público entusiasta. En 2003, ZZ Top lanzó un último álbum con RCA, Mescalero, un disco con la característica y dura guitarra de Gibbons y una pista oculta: una versión de "As Time Goes By". El empresario de RCA, Clive Davis, quería hacer un álbum de colaboraciones (al estilo del exitoso Supernatural de Carlos Santana) para este álbum. En una entrevista para la revista Goldmine, se mencionaron artistas como Pink, Dave Matthews y Wilco para el proyecto. ZZ Top interpretó "Tush" y "Legs" como parte del espectáculo del intermedio del Super Bowl XXXI en 1997.
En 2003 se lanzó Chrome, Smoke & BBQ, una completa colección de cuatro CD con grabaciones de los años de London y Warner Bros. Incluía el primer sencillo de la banda (cara A y cara B), varias pistas raras de cara B, así como una promoción de radio de 1979, una pista en vivo y varias versiones extended dance mix de sus mayores éxitos de MTV. También se incluyeron tres temas de la banda pre-ZZ de Billy Gibbons, The Moving Sidewalks.

En 2004, ZZ Top fue incluido en el Salón de la Fama del Rock and Roll. Keith Richards de The Rolling Stones dio el discurso de inducción. ZZ Top ofreció una breve actuación, tocando "La Grange" y "Tush".
Actualmente se están produciendo versiones expandidas y remasterizadas de los álbumes de estudio originales de los años 70 y 80. Comercializadas como "Remastered and Expanded" ("Remasterizadas y expandidas"), estas ediciones incluyen pistas en vivo adicionales que no estaban presentes en las grabaciones originales. Hasta la fecha se han lanzado tres CD de este tipo (Tres Hombres, Fandango! y Eliminator). Los dos primeros se lanzaron en 2006 y utilizan las mezclas originales sin eco ni cajas de ritmos, mientras que Eliminator se lanzó en 2008. La reedición de Eliminator también incluye una versión de edición de coleccionista con un DVD que contiene varios videos y pistas en vivo adicionales.
La edición de coleccionista en CD/DVD de Eliminator, que celebra el 25 aniversario del icónico álbum certificado con el RIAA Diamond de la banda, se lanzó el 10 de septiembre de 2008. La edición incluye siete pistas extra y un DVD adicional, que incluye cuatro actuaciones televisivas del programa The Tube de noviembre de 1983.
La banda actuó en el Houston Livestock Show & Rodeo de 2009 en la noche final, el 22 de marzo de 2009. En julio, la banda apareció en el programa Storytellers de VH1, en celebración de sus cuatro décadas como artistas de grabación.

Billy Gibbons declaró en una entrevista en agosto de 2011 que el nuevo álbum ya había sido grabado, con la grabación inicial realizada en Malibu, California, antes de trasladarse a Houston, pero aún no tenía nombre y faltaba mezclarlo y masterizarlo. Gibbons dijo que la fecha de lanzamiento prevista era en marzo o abril de 2012, pero más tarde se anunció un lanzamiento a fines del verano o en otoño.

Titulado La Futura, el álbum fue producido por Rick Rubin. El primer sencillo del álbum, "I Gotsta Get Paid", debutó en una campaña publicitaria de Jeremiah Weed y aparece en la banda sonora de la película Battleship. La canción en sí es una interpretación de "25 Lighters" del DJ de hip-hop tejano DMD y los raperos Lil' Keke y Fat Pat. Las primeras cuatro canciones de La Futura debutaron el 5 de junio de 2012 en un EP llamado Texicali. DJ Screw también fue una gran influencia en el álbum, particularmente porque Gibbons y Screw trabajaron con el ingeniero G.L. Moon a finales de la década de 1990.