La banda se formó en 2012 en Frankenmuth, Michigan, por los hermanos gemelos Josh y Jake Kiszka, su hermano menor Sam y Kyle Hauck. Formar una banda siempre había sido el sueño de Jake Kiszka; se unió a la banda de su preparatoria para alcanzar ese objetivo, donde finalmente conoció a Hauck. Ensayar juntos en el garaje de la familia Kiszka los llevó a reclutar a los hermanos Josh y Sam para tocar, y más tarde a formar la banda. El nombre de la banda surgió cuando Hauck escuchó a un familiar mencionar a Gretna Van Fleet, una residente de Frankenmuth; el uso de una variación de su nombre se hizo con su (posterior) bendición. Van Fleet también declaró en una entrevista posterior que, aunque la música de la banda no es de su gusto, apoya a la banda y considera que tienen mucho talento.

Con Hauck como baterista, la banda grabó tres canciones: «Cloud Train», «Highway Tune» y «Standing On». Hauck fue reemplazado por Danny Wagner, un buen amigo de los hermanos, en 2013. El guitarrista Jake Kiszka señaló que el riff inicial de guitarra de «Highway Tune» se compuso ya en 2010. La canción se lanzó como sencillo en marzo de 2017. El 28 de febrero de 2014, se grabó un EP en vivo en una sola toma, el cual se lanzó el 7 de junio de 2014. En marzo de 2014, su canción «Standing On» apareció en los anuncios del Chevy Equinox 2014 en el área de Detroit. «Standing On» es una de varias canciones, junto con «By the Riverside», «Cloud Train», «Down to the River», «Motown Funk No. 4», «Sing in the Rain», «Thunder Stomp», «Occidentali» y «Written in Gold», que se lanzaron anteriormente pero que actualmente no están disponibles.

El 17 de enero de 2016, la canción «Highway Tune» apareció en una presentación en vivo de la banda en el programa Shameless de Showtime. El 31 de marzo de 2017, la versión final grabada de «Highway Tune» se lanzó en iTunes como el primer sencillo oficial de la banda. El 2 de abril de 2017, iTunes comenzó a transmitir la canción «Highway Tune». El 18 de abril de 2017, se estrenó el video musical de la canción «Highway Tune» en exclusiva en Loudwire. El EP debut de la banda, titulado Black Smoke Rising, salió a la venta el 21 de abril de 2017. La banda realizó una gira con The Struts durante mayo de 2017.

En octubre de 2017, la banda ganó el premio al Mejor Artista Nuevo en los Loudwire Music Awards. La banda lanzó un EP doble de ocho canciones titulado From the Fires el 10 de noviembre de 2017. Además de las cuatro canciones de Black Smoke Rising, From the Fires incluye las nuevas grabaciones «Edge of Darkness» y «Talk on the Street», así como versiones de «A Change Is Gonna Come» de Sam Cooke y «Meet on the Ledge» de Fairport Convention. Las cuatro nuevas canciones se grabaron en septiembre de 2017 en los Rustbelt Studios de Royal Oak, Michigan, y fueron producidas por Al Sutton y Marlon Young, el mismo dúo que produjo Black Smoke Rising. La banda también lanzó «Safari Song» como sencillo en octubre de 2017. Greta Van Fleet fue telonera de su compatriota de Michigan, Bob Seger, en el Dow Event Center de Saginaw, Michigan (a solo unos minutos de su ciudad natal) el 7 de septiembre. En noviembre de 2017, la banda anunció que comenzaría a grabar su primer álbum de estudio completo poco después del lanzamiento de From the Fires, y que esperaban que saliera a la venta a mediados de 2018.

En enero de 2018, la banda grabó dos canciones en los Spotify Studios de la ciudad de Nueva York. La banda lanzó una versión acústica de «Black Smoke Rising» y una versión de «Rolling in the Deep» de Adele. Estas se publicaron como sencillo en plataformas digitales el 24 de enero de 2018.

La banda se presentó en la fiesta de los Premios de la Academia organizada por Elton John el 4 de marzo de 2018, a petición personal del anfitrión. John se unió a Greta Van Fleet en el escenario para interpretar su tema «Saturday Night’s Alright for Fighting» y el de ellos, «You’re the One». Después de la presentación, Elton John recomendó a la banda que fuera más dramática y extravagante tanto en su actuación como en su vestuario. El 26 de julio de 2018, la banda hizo su debut televisivo en The Tonight Show Starring Jimmy Fallon interpretando «When the Curtain Falls», el primer sencillo de su próximo álbum debut.

Su álbum debut, Anthem of the Peaceful Army, salió a la venta el 19 de octubre de 2018. Según Josh Kiszka, el nombre del álbum, «Anthem of the Peaceful Army», fue tomado del título de un poema. Fue el álbum más vendido en su semana de lanzamiento en Estados Unidos, con 80 000 copias vendidas. Teniendo en cuenta las unidades equivalentes a álbumes, debutó en el tercer lugar de la lista Billboard 200. En diciembre de 2018, la banda fue nominada a cuatro premios Grammy: Mejor Artista Nuevo, Mejor Interpretación de Rock por «Highway Tune», Mejor Canción de Rock por «Black Smoke Rising» y Mejor Álbum de Rock por From the Fires, premio este último que ganaron.

El 19 de enero de 2019, Greta Van Fleet apareció como invitada musical en Saturday Night Live e interpretó la canción «Black Smoke Rising» y el segundo sencillo de Anthem of the Peaceful Army, «You’re the One». Posteriormente, en mayo de 2019, se lanzó un tercer sencillo, «Lover, Leaver». La banda contribuyó con «Always There», una toma descartada del álbum, a la banda sonora de la película A Million Little Pieces. Jake y Sam Kiszka declararon a la revista New Musical Express en una entrevista en julio de 2019 que están trabajando en un nuevo álbum que lanzarán el próximo año y que su estilo musical ha evolucionado.

El 9 de octubre de 2020, la banda lanzó un nuevo sencillo, «My Way, Soon», acompañado de un video musical que fue filmado, editado y dirigido por la propia banda. Se esperaba que la canción apareciera en su próximo segundo álbum, el cual, según Wagner, se inspiró en las giras de la banda durante los dos años anteriores y en cómo estas les abrieron los ojos: «Nos dimos cuenta de que, al crecer, habíamos estado protegidos de muchas cosas y no éramos conscientes de muchas otras». El 4 de diciembre de 2020, la banda anunció que su segundo álbum de estudio se titularía The Battle at Garden’s Gate. Junto con el anuncio, también se lanzó un sencillo titulado «Age of Machine». El álbum salió a la venta el 16 de abril de 2021. El 10 de febrero de 2021, la banda lanzó el tercer sencillo, «Heat Above». El 19 de marzo de 2021, la banda lanzó el cuarto sencillo, «Broken Bells». Posteriormente, la banda realizó una extensa gira durante 2021 y 2022 con la gira mundial «Dreams in Gold». En el período de seguimiento del 16 al 22 de julio, Greta Van Fleet obtuvo 7.6 millones de reproducciones a pedido en EE. UU. de su catálogo, lo que representa un aumento del 122 %, según MRC Data. Además, la banda acumuló 6,000 descargas digitales de sus canciones, un aumento del 461 %, y 5,000 ventas de álbumes, un aumento del 86 %.

En los tres últimos conciertos de su gira «Dreams in Gold», la banda interpretó cinco canciones nuevas tituladas «Meeting the Master», «The Falling Sky», «The Indigo Streak», «Sacred the Thread» y «Farewell for Now». Posteriormente, la banda anunció en Twitter que su nuevo álbum se titularía Starcatcher y se lanzaría el 21 de julio de 2023. El 9 de abril de 2023, la banda lanzó su primer sencillo del álbum, titulado «Meeting the Master», en plataformas digitales, seguido de un video musical para la canción el 4 de mayo de 2023. El segundo sencillo de la banda, «Sacred the Thread», se lanzó en plataformas digitales el 19 de mayo de 2023. La banda lanzó dos sencillos más, «Farewell for Now» y «The Falling Sky», el 8 de junio y el 27 de junio de 2023, respectivamente. El álbum salió a la venta el 21 de julio de 2023, vendió 46 000 copias en su primera semana y debutó en el puesto n.º 8 de la lista Billboard 200 de Estados Unidos.

Los integrantes de la banda trabajaron en proyectos paralelos en los años posteriores al lanzamiento del álbum. En 2024, el guitarrista Jake Kiszka, junto con Chris Turpin (de la banda Ida Mae), formó un nuevo dúo musical llamado Mirador, en el que Kiszka y Turpin se encargaban tanto de la guitarra como de la voz. Mirador sería el grupo telonero de Greta Van Fleet en algunos conciertos ese mismo año. En enero de 2026, el cantautor estadounidense Langhorne Slim lanzó su álbum The Dreamin’ Kind, en el que participaron Sam Kiszka en los teclados y el bajo (como productor) y Danny Wagner en la percusión y las guitarras.