Por supuesto, con cualquier cosa en la América negra que fuera tan vibrante y autosuficiente, la estructura de poder blanco de la época no iba a soportar verla florecer por mucho tiempo. En 1950, el nuevo comisionado de policía y demagogo racista William Parker dirigió una campaña diseñada para restringir las libertades que los negros habían ganado a lo largo del tiempo en la región. La policía comenzó a detener y cachear agresivamente a cualquier persona en Central Avenue que estuviera pasando un buen rato, ya fuera salir en busca de canciones, bailes o bebidas.
El mencionado Dolphin's Of Hollywood, que tenía una clientela tanto negra como blanca, fue atrincherado por la policía, que advirtió a los blancos que se mantuvieran alejados porque era peligroso estar allí. Aunque el único peligro que tenía el ir a la tienda era el que representaba los que llevaban insignias. Esta táctica no solo redujo drásticamente las ganancias de la tienda, sino que también redujo la posibilidad de que personas de diferentes orígenes raciales se unieran por intereses musicales compartidos.
Con el tiempo, la ciudad tomó medidas aún más permanentes para garantizar la caída de Central Avenue mediante la promulgación de leyes de zonificación restrictivas que impedían que los clubes establecidos hicieran negocio. La pérdida de ingresos significaba que las compañías hipotecarias tenían motivos para ejecutar la hipoteca, expulsándolos y cambiando la composición completa del vecindario en poco tiempo. A mediados de los años 50 el rico legado musical y cultural de Central Avenue no era más que un recuerdo.