Carlton Ridenhour (Chuck D) y William Drayton (Flavor Flav) se conocieron en la Adelphi University de Long Island a mediados de los años 80. Mientras Chuck D desarrollaba sus talentos como MC junto a Flav y repartía muebles para el negocio de su padre, Chuck D y Spectrum City —como se llamaba el grupo— lanzaron el disco «Check Out the Radio», con «Lies» en la cara B, un comentario social que influiría en RUSH Productions, Run-D.M.C. y los Beastie Boys. Chuck D grabó una cinta para promocionar WBAU (la emisora donde trabajaba en aquel momento) y para rechazar a un MC local que quería enfrentarse a él. Llamó a la cinta Public Enemy #1 porque se sentía perseguido por la escena local. Fue la primera referencia a la idea de «enemigo público» en cualquier canción de Chuck D. El single fue creado por Chuck D con una contribución de Flavor Flav, antes de que el grupo Public Enemy se formara oficialmente. Hacia 1986, Bill Stephney, ex director de programas de WBAU, fue contactado por Ali Hafezi y le ofrecieron un puesto en el sello. Stephney aceptó y su primera tarea fue ayudar al joven productor Rick Rubin a fichar a Chuck D, cuya canción «Public Enemy Number One» Rubin había escuchado a través de Andre «Doctor Dré» Brown.

Según el libro The History of Rap Music de Cookie Lommel: «Stephney pensó que era el momento de combinar el estilo contundente de Run-D.M.C. con una política dirigida a la juventud negra». Chuck reclutó a Spectrum City —que incluía a Hank Shocklee, su hermano Keith Shocklee y Eric «Vietnam» Sadler, conocidos colectivamente como the Bomb Squad— como equipo de producción, y añadió a otro socio de Spectrum City, Professor Griff, como Ministro de Información del grupo. Con la incorporación de Flavor Flav y de otro DJ local llamado Terminator X, nació Public Enemy. Según Chuck, The S1W, que significa Security of the First World, «representa que el hombre negro puede ser tan inteligente como fuerte. Significa que no somos gente del tercer mundo, somos gente del primer mundo; somos los pueblos originales». Hank Shocklee ideó el nombre Public Enemy basándose en «el amor por el desvalido y su política emergente» y en la idea del empleado de Def Jam Bill Stephney tras el incidente racial de Howard Beach, Bernhard Goetz y la muerte de Michael Stewart: «El hombre negro es, sin duda, el enemigo público».
Public Enemy comenzó como teloneros de los Beastie Boys durante la época de Licensed to Ill, y en 1987 lanzó su álbum debut Yo! Bum Rush the Show. Su debut fue recibido con elogios de la crítica y supuso el primer paso hacia la fama. En octubre de 1987, el crítico Simon Reynolds calificó a Public Enemy de «banda de rock excelente». En 1988 publicaron su segundo álbum, It Takes a Nation of Millions to Hold Us Back, que funcionó mejor en las listas e incluyó los sencillos «Don’t Believe the Hype» y «Bring the Noise». Nation of Millions… fue el primer álbum de hip hop elegido álbum del año en la influyente encuesta Pazz & Jop de The Village Voice.

En 1989 el grupo volvió al estudio para grabar Fear of a Black Planet, que continuó con sus temas políticos. El álbum debía lanzarse a finales de 1989, pero se retrasó hasta abril de 1990. Fue el más exitoso de todos y en 2005 fue seleccionado para su preservación en la Biblioteca del Congreso. Incluía los sencillos «Welcome to the Terrordome», «911 Is a Joke» —que criticaba que las unidades de emergencia tardaran más en llegar a emergencias en comunidades negras que en las blancas— y «Fight the Power», considerada una de las canciones más populares e influyentes del hip hop. Fue la canción principal de Do the Right Thing de Spike Lee.

El siguiente lanzamiento, Apocalypse ’91… The Enemy Strikes Black, continuó la tendencia con temas como «Can’t Truss It», sobre la historia de la esclavitud y cómo la comunidad negra puede luchar contra la opresión; o «I Don’t Wanna be Called Yo Nigga», que cuestiona el uso de la palabra nigga fuera de su contexto despectivo original. El álbum incluyó también la polémica canción y vídeo «By the Time I Get to Arizona», que relató la frustración de la comunidad negra porque algunos estados no reconocían el cumpleaños de Martin Luther King Jr. como festivo nacional. El vídeo mostraba a miembros de Public Enemy descargando su frustración contra políticos de esos estados. En 1992 el grupo fue uno de los primeros actos de rap en actuar en el Reading Festival de Inglaterra, encabezando el segundo día del festival de tres jornadas.

Tras un accidente de moto en 1994 que le destrozó la pierna izquierda y le mantuvo un mes entero en el hospital, Terminator X se trasladó a su granja de 15 acres en el condado de Vance, Carolina del Norte. En 1998 decidió retirarse del grupo para dedicarse por completo a criar avestruces africanas negras. A finales de 1998 el grupo buscó un reemplazo permanente. Tras varios meses, Professor Griff vio a DJ Lord en una batalla Vestax y lo invitó a unirse. DJ Lord se convirtió en el DJ oficial justo a tiempo para la gira mundial número 40 de Public Enemy. Desde 1999 es el DJ oficial del grupo en discos y giras, ganando numerosos concursos de turntablism, incluidas varias finales DMC.
En 2007 el grupo lanzó el álbum How You Sell Soul to a Soulless People Who Sold Their Soul?. El sencillo fue «Harder Than You Think». Cuatro años después, en enero de 2011, apareció Beats and Places, recopilación de remixes y temas «perdidos». El 13 de julio de 2012 salió Most of My Heroes Still Don’t Appear on No Stamp, exclusivo en iTunes. Ese mes, un anuncio televisivo en Reino Unido para los Juegos Paralímpicos de Londres 2012 usó un remix del tema «Harder Than You Think», lo que llevó la canción al número 1 en la lista de sencillos del Reino Unido el 2 de septiembre de 2012.

El 30 de julio de 2012 Public Enemy ofreció un concierto gratuito junto a Salt-N-Pepa y Kid ’n Play en Wingate Park, Brooklyn, dentro del Martin Luther King Jr. Concert Series. El 26 de agosto actuaron en el festival South West Four de Clapham Common, Londres. El 1 de octubre se publicó The Evil Empire of Everything. El 29 de junio de 2013 tocaron en el Glastonbury Festival; el 14 de septiembre en el Riot Fest & Carnival de Chicago, y el 20 de septiembre en el Riot Fest & Side Show de Byers, Colorado.

En 2014 Chuck D lanzó PE 2.0 con el rapero de Oakland Jahi como sucesor espiritual y «siguiente generación» de Public Enemy. Jahi había conocido a Chuck D en 1999 tras un soundcheck en el Rock & Roll Hall of Fame y fue telonero en la gira del 20.º aniversario de PE en 2007. Según Jahi, la misión de PE 2.0 es doble: «revisar o versionar temas del catálogo de PE» y crear material nuevo con miembros originales como DJ Lord, Davy DMX, Professor Griff y Chuck D. El primer álbum de PE 2.0, People Get Ready, salió el 7 de octubre de 2014. InsPirEd, el segundo disco y parte dos de una trilogía propuesta, se publicó el 11 de octubre de 2015. Man Plans God Laughs, el decimotercer álbum de Public Enemy, vio la luz en julio de 2015.
Chuck D se unió al supergrupo Prophets of Rage (nombre tomado de la canción de PE), debutando en junio de 2016 junto a tres cuartas partes de Rage Against the Machine y B-Real de Cypress Hill. En 2017 PE celebró el 30.º aniversario de su álbum debut con Nothing Is Quick in the Desert, un álbum completo lanzado gratuitamente.
A principios de 2020 Public Enemy ocupó titulares cuando Chuck D anunció que había roto relaciones con Flavor Flav por la decisión de tocar en un mitin de Bernie Sanders durante las primarias demócratas como Public Enemy Radio. Poco después, el grupo reveló el 1 de abril que se trataba de una broma y que Public Enemy Radio lanzaría Loud Is Not Enough ese mes. El verdadero regreso de Public Enemy llegó en septiembre, reunidos de nuevo con Def Jam para What You Gonna Do When the Grid Goes Down?, álbum con colaboraciones de George Clinton, Black Thought, Questlove, Mike D, Ad-Rock y Run-D.M.C. En 2025 Chuck D apareció en Def Jam con el álbum en solitario Chuck D Presents Enemy Radio: Radio Armageddon, rapeando sobre las producciones más experimentales desde la época de the Bomb Squad. PE regresó también con Black Sky Over the Projects: Apartment 2025, autoeditado.