La banda fue fundada a finales de 1983 por Paul Heaton (voz, acreditado como «P.d. Heaton») y Stan Cullimore (guitarra), inicialmente como un dúo de músicos callejeros. La pareja grabó una cinta de demostración con Ingo Dewsnap y Sharon Green, de Les Zeiga Fleurs, lo que les valió llamar la atención de Go! Discs. La banda solía referirse a sí misma como «la cuarta mejor banda de Hull»; se han mencionado varios candidatos para las tres bandas mejores, entre ellos Red Guitars, Everything but the Girl y The Gargoyles.

Con el inicio de la huelga de mineros del Reino Unido en 1984, Heaton sintió que las composiciones políticas más enojadas que surgieron a raíz de este evento requerían una formación completa de banda. La banda reclutó a la sección rítmica de otra banda de Hull, The Gargoyles; inicialmente incorporaron al guitarrista Ted Key en el bajo, quien luego convenció a su compañero de banda Hugh Whitaker para que se uniera en la batería. La primera presentación en vivo de la banda como cuarteto fue en la Universidad de Hull en octubre de 1984. Para estas primeras presentaciones se contó con Roger «Dodger» Wilde (cedido por la banda local de Hull 3-Action!), quien finalmente fue reemplazado por Hugh Whitaker.

Key se retiró a finales de 1985, después de grabar la primera sesión de John Peel de la banda y su primer sencillo, «Flag Day», alegando que se sentía aislado en el proceso de composición del primer álbum de la banda. Heaton invitó a Norman Cook (más tarde conocido como Fatboy Slim), quien había sido miembro de la banda de adolescentes de Heaton, los Stomping Pond Frogs, y había tocado en algunas de las primeras maquetas de los Housemartins, para reemplazar a Key.

En 1986, tras grabar una segunda sesión de John Peel, la banda alcanzó el éxito con su tercer sencillo, «Happy Hour», que llegó al puesto n.º 3 en la lista de sencillos del Reino Unido. El éxito del sencillo se vio impulsado por un video promocional pop animado con plastilina, un estilo que estaba de moda en ese momento, en el que aparecía en un cameo el comediante Phill Jupitus, quien realizó una gira con la banda bajo su nombre artístico de «Porky the Poet». Su álbum debut, London 0 Hull 4, se lanzó más adelante en 1986 e incluía sus dos sencillos anteriores, así como versiones alternativas del primer sencillo, «Flag Day», y del que siguió a «Happy Hour», «Think for a Minute».

A finales de 1986, el 16 de diciembre, lograron su único sencillo número uno en el Reino Unido con una versión de «Caravan of Love», de Isley-Jasper-Isley. El sencillo fue superado en la carrera por el número uno de Navidad por «Reet Petite» de Jackie Wilson, lo que la banda atribuyó más tarde a que la canción fue retirada de la lista de reproducción de BBC Radio 1 tras una referencia sexual a la entonces primera ministra, Margaret Thatcher, y a su esposo Denis, hecha por uno de los integrantes de la banda en una entrevista de radio.

«Caravan of Love» fue interpretada por primera vez por los Housemartins durante su segunda sesión de Peel para BBC Radio 1 en abril de 1986, antes de que la canción alcanzara el éxito en las listas.

El baterista Hugh Whitaker se retiró del grupo en 1987 de manera amistosa y sugirió a su amigo de la escuela, Dave Hemingway, como su sustituto.

El segundo álbum de los Housemartins, The People Who Grinned Themselves to Death, salió a la venta en septiembre de 1987 e incluía sus dos sencillos anteriores: «Five Get Over Excited» y «Me and the Farmer». En noviembre se lanzó un tercer sencillo del álbum, «Build», y una última sesión de Peel, realizada ese mismo mes, proporcionó la grabación que se utilizó para su último sencillo.

Tras el lanzamiento de su último sencillo, «There Is Always Something There to Remind Me», en abril de 1988, los Housemartins anunciaron que la banda se separaba. Más tarde ese mismo año se lanzó un álbum recopilatorio de despedida, Now That’s What I Call Quite Good.