Sherman y Wendell Holmes escucharon, gracias a sus padres, que eran maestros de escuela, himnos bautistas tradicionales y blues clásico desde niños. Ambos cantaron en el coro, Sherman estudió clarinete y piano antes de empezar a tocar el bajo, mientras que Wendell aprendió trompeta, órgano y guitarra.
Tocaron en algunas bandas antes de formar The Sevilles en 1963. Duraron 3 años respaldaron en giras a multitud de artistas de soul y blues. Pronto se unieron al batería Popsy Dixon y continuaron tocando en bares, sobre todo en el Dan Lynch's de Harlem, centro de la escena del blues de Nueva York. 1979 fue el año en que adquirieron el nombre definitivo de The Holmes Brothers. En 1989 firmaron por fin con Rounder Records y lanzaron su primer álbum, In The Spirit. Grabaron 3 discos más con esta compañía antes de pasar a Peter Gabriel's Real World Record, Where It's At (1991), Soul Street (1993) y Promised Land. En los 90 actuaron con Van Morrison, grabaron la banda sonora y actuaron en la película independiente Lotto Land y fueron la banda de acompañamiento de la gira que hizo Joan Osborne con Bob Dylan.
Simple Truths, State of Grace, ganador de el mejor álbum de Soul Blues del año 2007, Feed My Soul, inspirado en parte en la lucha contra el cáncer de Wendell y el magnífico Brotherhood en 2013 fueron sus últimos discos.
El 9 de enero del 2015 murió Popsy de un cáncer de vejiga, Wendell murió el 19 de junio del mismo año por complicaciones de su hipertensión pulmonar.
