El cantante Doug Fieger era originario de Oak Park, Michigan, un suburbio al norte de Detroit, Michigan, y creció en la zona de 9 Mile/Coolidge. Hermano del abogado Geoffrey Fieger, más conocido por representar al Dr. Jack Kevorkian en una serie de casos de suicidio asistido, Fieger había tocado anteriormente en una banda de rock ecléctica llamada Sky, así como en los Sunset Bombers. Aunque Sky había recibido un reconocimiento moderado —incluso fue producida por Jimmy Miller, productor de los Rolling Stones—, la banda se disolvió sin haber logrado ningún éxito en las listas de ventas. Como resultado, Fieger tomó la decisión de mudarse a Los Ángeles y formar otra banda.

Fieger conoció a los otros tres miembros originales de The Knack entre 1977 y 1978: Berton Averre (guitarra solista, coros y teclados), Prescott Niles (bajo) y Bruce Gary (batería). Niles fue el último en unirse, una semana antes del primer show de la banda en junio de 1978. Mientras tanto, Fieger había estado tocando también el bajo en una serie de demos que el grupo había presentado a varias discográficas, todas las cuales las rechazaron. Irónicamente, algunas de estas canciones formaron parte más tarde del álbum debut de la banda, Get the Knack, e incluyeron «Good Girls Don’t».

A los pocos meses de su debut en vivo, las populares presentaciones en clubes del Sunset Strip, así como las sesiones improvisadas con músicos como Bruce Springsteen, Tom Petty y Ray Manzarek, hicieron que la banda se convirtiera en objeto de una guerra de ofertas entre las discográficas. (Bruce Gary era muy conocido en el ambiente de sesiones de Los Ángeles; esto se convirtió en una fuente de tensiones posteriores.) Finalmente firmaron con Capitol Records, la misma discográfica que lanzó los discos de los Beatles en Estados Unidos.

El álbum debut de la banda, Get the Knack, fue uno de los más vendidos del año, manteniéndose en el primer lugar de la lista de álbumes de la revista Billboard durante cinco semanas consecutivas y vendiendo dos millones de copias en Estados Unidos. El sencillo principal, «My Sharona», fue un éxito número uno en EE. UU. y se convirtió en la canción número uno de 1979. El siguiente sencillo, «Good Girls Don’t», alcanzó el puesto número 11 en Estados Unidos y el número uno en Canadá.

Sin embargo, el ascenso de la banda a la cima de las listas también provocó una reacción negativa. El empaque de Get the Knack, diseñado por Capitol, incluía una portada que se percibía como similar a la de Meet the Beatles, ya que la etiqueta central del disco tenía el mismo diseño y estilo que los LP de los Beatles de principios de la década de 1960. Junto con el look «retro» de los años 60 y el sonido pop/rock de la banda, el estilo de la discográfica llevó a los detractores a acusarlos de ser imitaciones de los Beatles, lo cual la banda y su discográfica negaron. No obstante, esta percepción, junto con la idea de que algunas de las canciones de The Knack tenían como tema a las adolescentes (lo cual la banda reconoció años más tarde, cuando ya eran mucho mayores), pronto dio lugar a una campaña llamada «Knuke the Knack», liderada por el artista de San Francisco Hugh Brown.

The Knack grabó rápidamente un álbum sucesor, ...But the Little Girls Understand, que salió a la venta a principios de 1980. Aunque el álbum alcanzó disco de oro en Estados Unidos y Japón, y de platino en Canadá, no tuvo el mismo éxito comercial que su álbum debut. Fieger afirmó en entrevistas posteriores que todas las canciones de Get the Knack y ...But the Little Girls Understand se escribieron antes de que se grabara el primer LP y estaban destinadas a ser lanzadas como un álbum doble. Además, el sencillo principal, «Baby Talks Dirty», solo llegó brevemente al Top 40 de EE. UU., quedándose en el puesto n.º 38; el siguiente sencillo, «Can’t Put a Price on Love», ni siquiera entró al Top 40, alcanzando como máximo el puesto n.º 62.

Tras casi un año de giras incansables por Estados Unidos, Canadá, Europa, Nueva Zelanda, Australia y Japón, a partir de abril de 1980 la banda se tomó un año de descanso debido al agotamiento y a «desacuerdos internos». Se reunieron nuevamente en el verano de 1981 para grabar su tercer álbum, Round Trip. Sin embargo, el disco (que salió a la venta en octubre de 1981) fue una gran decepción comercial, ya que solo alcanzó el puesto n.º 93 en las listas de Estados Unidos y vendió apenas 150 000 copias. Asimismo, el sencillo principal, «Pay The Devil», apenas alcanzó el puesto n.º 67 en el Billboard Hot 100. El grupo realizó varias presentaciones en vivo durante 1981 para promocionar Round Trip. En esa época se incorporó al grupo el teclista Phil Jost para que la banda pudiera reproducir el sonido de capas más densas de su nuevo lanzamiento.

Ante el rápido declive del éxito de The Knack en las listas y las crecientes críticas en su contra, Fieger abandonó el grupo en medio de disputas internas el 31 de diciembre de 1981, apenas unos meses después del lanzamiento de Round Trip. La banda ensayó brevemente con Michael Des Barres como su nuevo vocalista a principios de 1982, pero esta formación nunca llegó a dar conciertos ni a grabar. A mediados de 1982, The Knack se había disuelto definitivamente.

The Knack se reunió en noviembre de 1986 para dar un concierto benéfico a favor de Michele Myers, quien había sido la primera persona en contratar a la banda para un show en 1978. Continuaron dando conciertos en clubes durante los siguientes años. En julio de 1989, Billy Ward sustituyó a Bruce Gary como baterista de la banda (tras un breve período interino a cargo de Pat Torpey, de Mr. Big). En 1990, The Knack firmó con Charisma Records y grabó el álbum Serious Fun, que salió a la venta en febrero de 1991. El sencillo principal, «Rocket O' Love», fue un éxito que llegó al top 10 en las estaciones de radio AOR de EE. UU. Para promocionar la canción, lanzaron un video musical repleto de insinuaciones visuales relacionadas con la letra de la canción. Charisma se derrumbó tras la muerte del fundador del sello, Tony Stratton-Smith, y el grupo se separó nuevamente en 1992.

En 1994, con Ward de vuelta a la batería, la banda se reunió para dar algunos conciertos y aprovechar la renovada popularidad de «My Sharona» tras su aparición en la película Reality Bites. En 1996, los cuatro miembros originales de la banda, incluido Bruce Gary, se reunieron en el estudio por última vez para grabar una canción para un álbum recopilatorio de varios artistas en homenaje a la banda británica Badfinger (en el que la banda hizo una versión del éxito de Badfinger «No Matter What»).

The Knack siguió realizando giras y grabando discos hasta finales de la década de los noventa y durante la década de los 2000. Duane Leinan se unió a The Knack tanto en el estudio como en las giras, hasta la muerte de Doug y la de Ron Leinan, el papá de Duane, en 2010. Doug y Duane compusieron una canción titulada «What About Love». Terry Bozzio reemplazó a Ward como baterista en el álbum Zoom de 1998, y David Henderson (bajo el nombre de «Holmes Jones») se hizo cargo de la batería en los álbumes Normal as the Next Guy y Live at the Rock N Roll Funhouse de 2001. Pat Torpey regresó entonces para sustituir a Henderson y tocó con el grupo hasta la muerte de Fieger.

En 2005, The Knack hizo una aparición en el programa de televisión Hit Me, Baby, One More Time. En 2006, Doug Fieger y Berton Averre presentaron una demanda contra el grupo de rap Run–D.M.C. por infracción de derechos de autor. La demanda alega que el característico riff de guitarra de «My Sharona» se utilizó sin permiso en la canción «It’s Tricky» de Run-D.M.C., incluida en su álbum de 1986 Raising Hell.

En 2006, durante una presentación en Las Vegas, Fieger se desorientó, comenzó a sentir un dolor de cabeza sordo y le costaba recordar la letra de las canciones que había escrito e interpretado durante años. Tras ser diagnosticado con dos tumores cerebrales, Fieger se sometió a cirugía y radiocirugía, y regresó a los escenarios. Sin embargo, siguió luchando contra el cáncer de cerebro y de pulmón hasta su muerte, el 14 de febrero de 2010, en Woodland Hills, California, a la edad de 57 años.