Sylvain Sylvain y Billy Murcia, que fueron juntos a la escuela secundaria y preparatoria, comenzaron a tocar en una banda llamada "the Pox" en 1967. Después de que el vocalista principal se fue, Murcia y Sylvain comenzaron un negocio de ropa llamado "Truth and Soul" y Sylvain aceptó un trabajo en "A Different Drummer", una boutique para hombres que estaba justo enfrente del New York Doll Hospital, un taller de reparación de muñecas. Sylvain afirmó que la tienda inspiró el nombre de su futura banda. En 1970 formaron una banda nuevamente y reclutaron a Johnny Thunders para que se uniera como bajista, aunque Sylvain terminó enseñándole a tocar la guitarra. Se hicieron llamar "the Dolls". Cuando Sylvain dejó la banda para pasar unos meses en Londres, Thunders y Murcia tomaron caminos separados.
Thunders fue reclutado finalmente por Kane y Rick Rivets, quienes habían estado tocando juntos en el Bronx. A sugerencia de Thunders, Murcia reemplazó al baterista original. Thunders tocaba la guitarra principal y cantaba para la banda conocida como "Actress". Una cinta de ensayo de octubre de 1971 grabada por Rivets se lanzó como Dawn of the Dolls. Cuando Thunders decidió que ya no quería ser el vocalista principal, David Johansen se unió a la banda. Inicialmente, el grupo estaba compuesto por el cantante David Johansen, los guitarristas Johnny Thunders y Rick Rivets (quien fue reemplazado por Sylvain Sylvain después de unos meses), el bajista Arthur "Killer" Kane y el baterista Billy Murcia.

La primera actuación de la formación original fue en la víspera de Navidad de 1971 en un refugio para personas sin hogar, el Endicott Hotel. Después de conseguir un mánager y atraer algo de interés de la industria musical, los New York Dolls tuvieron un golpe de suerte cuando Rod Stewart los invitó a ser teloneros en un concierto en Londres. Poco después, Murcia murió ahogado accidentalmente, a la edad de 21 años, después de desmayarse por las drogas y el alcohol. Una vez de vuelta en Nueva York, los Dolls audicionaron bateristas, incluyendo a Marc Bell (quien luego tocaría con Richard Hell, y con The Ramones bajo el nombre artístico de "Marky Ramone") y a Jerry Nolan, un amigo de la banda. Seleccionaron a Nolan, y después de que el A&R de US Mercury Records, Paul Nelson, los contratara, comenzaron las sesiones para su álbum debut.
New York Dolls fue producido por el cantautor, músico y solista, Todd Rundgren. En una entrevista en la revista Creem, Rundgren dijo que apenas tocó la grabación; todo el mundo estaba debatiendo cómo hacer la mezcla. Las ventas fueron lentas, especialmente en la parte central de EE. UU., y un crítico de la revista Stereo Review en 1973 comparó la forma de tocar la guitarra de los Dolls con el sonido de cortadoras de césped. La reacción del público masivo de rock de Estados Unidos hacia los Dolls fue mixta. En una encuesta de la revista Creem, fueron elegidos tanto el mejor como el peor grupo nuevo de 1973. Los Dolls también estuvieron de gira por Europa y, mientras aparecían en la televisión del Reino Unido, el presentador Bob Harris del programa Old Grey Whistle Test de la BBC se burló del grupo llamándolo "mock rock" (falso rock), comparándolos desfavorablemente con los Rolling Stones.
Para su siguiente álbum, Too Much Too Soon, el quinteto contrató al productor George "Shadow" Morton, cuyas producciones para The Shangri-Las y otros grupos de chicas a mediados de la década de 1960 habían sido de las favoritas de la banda. Mercury despidió a los Dolls no mucho después del segundo álbum.

En 1975, en medio del abuso de drogas y los conflictos interpersonales, la banda se separó. Durante sus últimas semanas juntos, Malcolm McLaren ayudó con la gestión. Consiguió que la banda usara trajes de cuero rojo en el escenario y una bandera comunista como telón de fondo. Los Dolls hicieron una gira de 5 conciertos por los cinco distritos de Nueva York, con Television como teloneros, que incluía a Tom Verlaine y Richard Hell. Su último show en el estado de Nueva York fue en The Shoram, en Quogue, Nueva York, con Spider en la batería.

Los New York Dolls originales fueron capturados en una actuación en vivo, grabada en el Little Hippodrome y lanzada por Fan Club records en 1982 como Red Patent Leather. Originalmente fue un álbum pirata que luego fue remezclado por Sylvain, con el excéntrico mánager Marty Thau acreditado como productor ejecutivo.

Debido a que Kane no pudo tocar esa noche, el roadie Peter Jordan tocó el bajo, aunque fue acreditado como haber tocado el "segundo bajo". Jordan había tocado a menudo con los Dolls, cuando Kane estaba demasiado ebrio para tocar. Jordan fue el bajista de los Dolls después de que Thunders y Nolan se fueran, hasta su disolución final.
Thunders y Nolan se fueron en 1975, mientras estaban de gira por Florida. Blackie Lawless reemplazó a Thunders durante el resto de la gira por Florida. El período inmediatamente posterior a esto fue documentado en el álbum Tokyo Dolls Live (Fan Club/New Rose), de un show en Japón en agosto de 1975, en el que Johansen, Sylvain y Jordan estuvieron acompañados por el tecladista Chris Robison y el baterista Tony Machine. El material es similar al de Red Patent Leather, pero notable por una "Frankenstein" radicalmente reorganizada y una versión de "Flip Flop Fly" de Big Joe Turner. El álbum no está fechado y no tiene crédito de producción, pero se publicó alrededor de 1986.
Poco después de su regreso a Nueva York, los Dolls tocaron en el Beacon Theater, en la víspera de Año Nuevo de 1975, lo que fue recibido con gran aclamación de la crítica. Poco después, hicieron un show de seguimiento en el Max's Kansas City. Johansen, Sylvain y compañía continuaron como los New York Dolls durante algunos años, con la banda completada por Jordan, Machine y Robison. Robison fue luego reemplazado por Bobbie Blaine, en piano y teclados. El grupo tocó sus shows finales en 1977, después de lo cual Johansen comenzó una carrera en solitario y Sylvain formó The Criminals, una banda popular en CBGB.

Inmediatamente después de la ruptura de los New York Dolls, Johansen comenzó una carrera en solitario. A fines de la década de 1980, logró un éxito moderado bajo el seudónimo de Buster Poindexter. Thunders y Nolan formaron The Heartbreakers con el bajista Richard Hell, quien había dejado Television la misma semana en que Thunders y Nolan dejaron los Dolls. Thunders murió en Nueva Orleans en 1991, supuestamente por una sobredosis de heroína y metadona. También salió a la luz que padecía leucemia de células T. Nolan murió en 1992 tras un derrame cerebral, provocado por meningitis bacteriana.
Un álbum póstumo de New York Dolls, Lipstick Killers, compuesto por las primeras cintas demo de los Dolls originales (con Billy Murcia en la batería), se lanzó en una edición solo en casete en ROIR Records en 1981, y posteriormente se reeditó en CD, y luego en vinilo a principios de 2006. Todas las pistas de este título —a veces denominado The Mercer Street Sessions (aunque en realidad se grabó en Blue Rock Studio, Nueva York)— están incluidas en el CD Private World, junto con otras pistas grabadas en otros lugares, incluyendo un original de Dolls inédito, "Endless Party". Tres pistas de estudio más inéditas, incluyendo otro original de Dolls nunca antes lanzado, "Lone Star Queen", están incluidas en el álbum Rock 'n' Roll. Las otras dos son covers: "Courageous Cat" (tema de la serie de dibujos animados original de Courageous Cat) y un segundo intento de "Don't Mess With Cupid", una canción escrita por Steve Cropper y Eddie Floyd para Otis Redding y grabada por primera vez de forma independiente para lo que luego se convertiría en las Mercer Street/Blue Rock Sessions.

Sylvain formó su propia banda, The Criminals, luego grabó un álbum en solitario para RCA, mientras también trabajaba con Johansen. Más tarde se convirtió en taxista en Nueva York. A principios de la década de 1990 se mudó a Los Ángeles y grabó un álbum, Sleep Baby Doll, en Fishhead Records. Su banda para ese disco estaba formada por Brian Keats en la batería, Dave Vanian's Phantom Chords, Speediejohn Carlucci (que había tocado con The Fuzztones) y Olivier Le Baron en la guitarra principal. Las apariciones especiales de Frank Infante de Blondie y Derwood Andrews de Generation X también se incluyeron en el disco. Ha sido reeditado como New York A Go Go.

Morrissey, que había sido fan de la banda durante mucho tiempo y jefe del club de fans del Reino Unido (en la década de 1970), organizó una reunión de los tres miembros sobrevivientes de la banda (Johansen, Sylvain y Kane) para el Meltdown Festival en Londres en 2004. La reunión condujo a un LP y DVD en vivo en el sello Attack de Morrissey, y una película, New York Doll. Sin embargo, los planes futuros para los Dolls se vieron afectados cuando llegó la noticia de la muerte de Arthur Kane el 13 de julio de 2004, a causa de leucemia. Tocaron en varios festivales en el Reino Unido durante 2004.

En julio de 2005, los dos miembros sobrevivientes anunciaron una gira y un nuevo álbum, titulado One Day It Will Please Us to Remember Even This. Lanzado el 25 de julio de 2006, el álbum contó con el guitarrista Steve Conte, el bajista Sami Yaffa (ex-Hanoi Rocks), el baterista Brian Delaney y el tecladista Brian Koonin, exmiembro de David Johansen and the Harry Smiths. El 20 de julio de 2006, los New York Dolls aparecieron en Late Night with Conan O'Brien, seguido de una actuación en vivo en Filadelfia en el WXPN All About The Music Festival, y el 22 de julio de 2006, una aparición grabada en The Henry Rollins Show. El 18 de agosto de 2006, la banda actuó en un concierto gratuito en el Seaport Music de Nueva York.
En octubre de 2006, la banda se embarcó en una gira por el Reino Unido, y Sylvain se tomó un tiempo en Glasgow para hablar con John Kilbride de STV. La discusión cubrió la historia de la banda y el estado actual de su espectáculo en vivo y composición de canciones, con Sylvain comentando que "incluso si vienes a nuestro show pensando 'cómo puede ser como antes', le damos la vuelta a eso porque tenemos un gran show de rock 'n roll en vivo". En noviembre de 2006, los Dolls comenzaron a encabezar "Little Steven's Underground Garage Presents the Rolling Rock and Roll Show", unos 20 conciertos en vivo con muchas otras bandas. En abril de 2007, la banda tocó en Australia y Nueva Zelanda, apareciendo en el V Festival con Pixies, Pet Shop Boys, Gnarls Barkley, Beck, Jarvis Cocker y Phoenix.

El 22 de septiembre de 2007, los New York Dolls fueron eliminados de la sección de artistas actuales del sitio web de Roadrunner Records, lo que significó la separación del grupo con el sello. La banda tocó en el O2 Wireless Festival en Hyde Park, Londres, el 4 de julio de 2008, con Morrissey y Beck y en el Lounge On The Farm Festival el 12 de julio de 2008. El 14 de noviembre de 2008, se anunció que el productor de su primer álbum, Todd Rundgren, produciría un nuevo álbum, al que seguiría una gira mundial. Los toques finales del álbum se hicieron en el estudio de Rundgren en la isla de Kauai. El álbum, Cause I Sez So, fue lanzado el 5 de mayo de 2009 en Atco Records.
Los New York Dolls, actuando en el festival Burlington Sound of Music en 2010.
La banda tocó en South by Southwest en Austin, Texas, el 21 de marzo de 2009, y un show en el 100 Club de Londres el 14 de mayo de 2009, con Spizzenergi como teloneros. El 18 de marzo de 2010, la banda anunció otras dos fechas de conciertos en el club KOKO en Camden, Londres, y la Academy en Dublín el 20 de abril. En diciembre de 2010, se anunció que la banda lanzaría su quinto álbum, que había sido grabado en Newcastle upon Tyne. El álbum, Dancing Backward in High Heels, con el nuevo guitarrista Frank Infante (ex-Blondie) fue lanzado el 15 de marzo de 2011.
El 1 de marzo de 2011, se anunció que los New York Dolls serían los teloneros de una gira de verano con Mötley Crüe y Poison. Anunciaron una nueva formación para la gira, con el guitarrista Earl Slick, que tuvo períodos anteriores con David Bowie y John Lennon, el bajista Kenny Aaronson, que estuvo de gira con Bob Dylan en 1988 (anteriormente de Dust y en pausa desde principios de la década de 1990, The John Eddie Band...), y el baterista Jason Sutter, anteriormente de Foreigner.