El primer caso de Marshall después de la escuela de posgrado fue una demanda exitosa presentada contra la Universidad de Maryland, esta vez por no admitir a un afroamericano llamado Donald Gaines Murray.
Marshall se estaba calentando.
Siguió a Houston a Nueva York para convertirse en abogado de plantilla de la Asociación Nacional para el Avance de las Personas de Color (NAACP), un grupo fundado en parte por W.E.B DuBois. Cuatro años más tarde, fue nombrado jefe de Defensa Legal de la NAACP.
En esta capacidad, Marshall derogó las leyes estatales que negaban a los afroamericanos el derecho a votar en las primarias y proporcionaban instalaciones "separadas pero iguales" para los afroamericanos en las universidades. Su mayor logro fue su trabajo en el caso Brown vs. la Junta de Educación de Topeka. Usando argumentos que todavía se estudian en las facultades de derecho hoy por su excelencia, Marshall convenció a la Corte Suprema de que dictaminara que la segregación era ilegal e inconstitucional ya que violaba la enmienda 14.
Marshall fue imparable como abogado principal de la NAACP. Ganó 29 de los 30 casos que defendió ante la Corte Suprema.
