La familia Ramistella se mudó de Nueva York a Baton Rouge, Luisiana, cuando el padre del joven Rivers perdió su trabajo, siendo él aún muy joven. Sin haber recibido clases formales de música, comenzó a tocar la guitarra. Aprendió a tocar con su padre y su tío a los ocho años, y se vio influenciado por la música característica de Luisiana. Mientras cursaba la secundaria, comenzó a tocar con una banda llamada The Rockets, liderada por Dick Holler, quien más tarde compuso varias canciones, entre ellas «Abraham, Martin and John» y «Snoopy vs. The Red Baron».

Ramistella formó su propia banda, The Spades, en la secundaria y grabó su primer disco a los 14 años, cuando aún era estudiante de la Preparatoria de Baton Rouge. Parte de su música se grabó en el sello Suede ya en 1956.

En un viaje a Nueva York en 1958, conoció a Alan Freed, quien le aconsejó que se cambiara el nombre. Así que Johnny Ramistella hizo que un abogado de Baton Rouge le cambiara el nombre a Johnny Rivers, en honor al río Mississippi, que atraviesa Baton Rouge. Freed también ayudó a Rivers a conseguir algunos contratos discográficos con el sello Gone. Entre marzo de 1958 y marzo de 1959, Rivers lanzó tres discos que no tuvieron éxito de ventas.

Rivers regresó a Baton Rouge en 1959. Mientras tocaba por todo el sur de Estados Unidos junto al comediante sureño Brother Dave Gardner, una noche en Birmingham, Rivers conoció a Audrey Williams, la primera esposa de Hank Williams. La siguió a Nashville, donde grabó dos discos más. Tampoco tuvieron éxito, pero Johnny se quedó en Nashville como compositor y cantante de demos por 25 dólares por demo. Durante su estancia en Nashville, Rivers trabajó junto a Roger Miller. Para entonces, la autoestima de Rivers respecto a su canto había disminuido. Pensaba que nunca triunfaría como cantante, por lo que la composición, y no el canto, pasó a primer plano.

En 1960, Rivers conoció a James Burton, también de Luisiana, quien en ese momento era el guitarrista de una banda liderada por Ricky Nelson. Más tarde, Burton le recomendó una de las canciones de Rivers, «I’ll Make Believe», a Nelson, quien la grabó. En 1961, Rivers viajó a Los Ángeles para reunirse con Nelson y luego se mudó allí, donde trabajó como compositor y músico de estudio. En 1963, Rivers tuvo su gran oportunidad cuando sustituyó temporalmente a un grupo de jazz en Gazzarri’s, un club nocturno de Hollywood. Esa actuación temporal se convirtió en algo permanente debido a la buena acogida del público.

En 1963, Rivers grabó el tema principal para la transmisión estadounidense de una serie de televisión británica, Danger Man, protagonizada por Patrick McGoohan. Al principio, Rivers se mostró reacio a la idea, ya que sentía que no tenía el talento necesario para grabar un disco con un sello internacional, pero finalmente cedió. La versión estadounidense del programa se tituló Secret Agent, y la canción, «Secret Agent Man», alcanzó el puesto número 3 en la lista Billboard Hot 100 en 1966. Vendió un millón de copias, lo que le valió un disco de oro.

En 1964, Elmer Valentine le ofreció a Rivers un contrato de un año para ser el telonero en su nuevo club nocturno, el Whisky a Go Go, ubicado en Sunset Strip, en West Hollywood. El Whisky a Go Go abrió sus puertas solo tres días antes de que la canción de The Beatles «I Want to Hold Your Hand» ingresara al Hot 100.

Y la posterior «Invasión Británica» desplazó a casi todos los artistas estadounidenses de la cima de las listas. Pero Rivers era tan popular que el productor Lou Adler decidió lanzar Johnny Rivers Live At The Whisky A Go Go. El álbum en vivo alcanzó el puesto n.º 12 en las listas y el sencillo «Memphis» llegó al puesto n.º 2 del US Hit Parade en julio de 1964. Vendió más de un millón de copias y recibió un disco de oro. Según Alan Fortas, amigo y empleado de Elvis Presley, Presley le puso a su amigo (Rivers) una prueba de prensa de «Memphis» que Elvis había grabado pero no había lanzado. Rivers quedó impresionado y, para gran disgusto de Presley, la grabó y lanzó, incluso copiando el arreglo (Fortas escribe: «Después de eso, Johnny quedó en la lista negra de Elvis» y pasó a ser persona non grata a partir de entonces). La versión de Rivers superó con creces en ventas al original de Chuck Berry de agosto de 1959, que se estancó en el puesto n.º 87 en Estados Unidos. (La versión instrumental de «Memphis» de Lonnie Mack, de 1963, llegó a los cinco primeros lugares del Hit Parade de Estados Unidos en julio; el original de Chuck Berry y su versión rival británica se disputaron el primer lugar en el Hit Parade del Reino Unido en noviembre de 1963).

En 1964 y 1965, Rivers siguió grabando principalmente actuaciones en vivo, incluyendo discos al estilo Go-Go con melodías que presentaban influencias del folk y el blues rock, entre ellas «Maybellene» (otra versión de Berry), seguida de «Mountain of Love», «Midnight Special», «Seventh Son» (escrita por Willie Dixon) y «Where Have All the Flowers Gone?», todas las cuales fueron éxitos.

En 1966, Rivers cambió de rumbo y comenzó a grabar baladas caracterizadas por su voz suave y llena de sentimiento. Y con coristas de sonido suave (en su mayoría mujeres), produjo éxitos como «Poor Side Of Town», que sería su mayor éxito en las listas y su único disco número uno. Otro éxito fue «Secret Agent Man», el tema principal de la serie de televisión Secret Agent (escrita por P.F. Sloan y Steve Barri). También fundó su propio sello discográfico, Soul City Records, donde ganó un premio Grammy como productor de The 5th Dimension (quienes grabaron «Aquarius/Let the Sunshine In» y «Wedding Bell Blues», ambos éxitos número uno con el sello de Rivers). A Rivers también se le atribuye haberle dado una gran oportunidad al compositor Jimmy Webb, cuando The 5th Dimension grabó la canción de Webb «Up, Up, and Away».

Rivers siguió grabando más éxitos con versiones de otros artistas, entre ellos «Baby I Need Your Lovin’» (versión de los Four Tops) y «The Tracks of My Tears» (versión de los Miracles), ambas de las que llegaron al Top 10 en 1967. En 1968, Rivers lanzó Realization, un álbum que alcanzó el puesto número cinco en las listas de LP y que incluía el sencillo «Summer Rain», que llegó al puesto 14 en la lista de éxitos pop, escrito por James Hendricks, un exmiembro de The Mugwumps. El álbum incorporaba algunas de las influencias psicodélicas de la época y marcó un cambio sutil en su dirección musical, con canciones de carácter más reflexivo, entre las que se incluían baladas como «Look To Your Soul» y «Going Back to Big Sur».

En la década de 1970, Rivers siguió grabando más canciones y álbumes que tuvieron éxito entre los críticos musicales, pero que no se vendieron tan bien como algunos de sus éxitos anteriores. L.A. Reggae (1972) entró en las listas de LP gracias al éxito número 6 «Rockin’ Pneumonia and the Boogie Woogie Flu», una versión de la canción de Huey «Piano» Smith And The Clowns. El tema se convirtió en el tercer éxito de Rivers en vender un millón de copias, lo cual fue reconocido con la entrega de un disco de oro por parte de la Asociación de la Industria Discográfica de Estados Unidos (R.I.A.A.) el 29 de enero de 1973.

Otros éxitos de esa época fueron «Blue Suede Shoes» (versión de Carl Perkins) en 1973, que llegaría al Top 40 del Billboard Hot 100, y «Help Me Rhonda» en 1975 (originalmente un éxito número uno de The Beach Boys), en la que Brian Wilson colaboró con los coros. Su última entrada en el Top 10 fue «Swayin’ to the Music (Slow Dancing)» (grabada originalmente por Funky Kings y escrita por Jack Tempchin, quien compuso «Peaceful Easy Feeling» y «Already Gone» para los Eagles), que alcanzó el puesto n.º 10, seguida de su última entrada en el Hot 100, «Curious Mind (Um, Um, Um, Um, Um, Um) (versión de Major Lance), ambas de 1977. También interpretó la canción principal del programa de televisión The Midnight Special, un programa nocturno inspirado en los conciertos en vivo.

Rivers siguió grabando hasta la década de los 80 (por ejemplo, el LP Borrowed Time de 1980), aunque su carrera discográfica fue decayendo. A pesar de que su música no ha llegado a las listas de éxitos desde hace bastante tiempo, Rivers sigue de gira, realizando entre 50 y 60 shows al año. Cada vez más, ha vuelto al blues que lo inspiró inicialmente. En 1998, Rivers reactivó su sello Soul City y lanzó Last Train to Memphis.

A principios del 2000, Rivers grabó junto a Eric Clapton, Tom Petty y Paul McCartney un álbum tributo dedicado a la banda de acompañamiento de Buddy Holly, The Crickets. En total, Rivers tuvo nueve éxitos entre los 10 primeros del Billboard Hot 100 y 17 entre los 40 primeros entre 1964 y 1977. En total, ha vendido más de 30 millones de discos.

Rivers es uno de los pocos artistas —como Paul Simon, Billy Joel, Pink Floyd (a partir de Wish You Were Here de 1975), Queen, Genesis (aunque bajo los nombres individuales de los miembros y/o el seudónimo Gelring Limited) y Neil Diamond— que figuran como titulares de los derechos de autor de sus grabaciones. (En la mayoría de los discos, la discográfica figura como titular de los derechos de autor de la grabación). Esta tendencia fue impulsada por los Bee Gees con su demanda de 200 millones de dólares contra RSO, la mayor demanda ganada contra una discográfica por parte de un artista o grupo. El 12 de junio de 2009, Johnny Rivers fue incluido en el Salón de la Fama de la Música de Luisiana.