A la fin du 19ème siècle New York vit l'arrivée de milliers de noirs fuyant la discrimination des Etats du sud. Cette nouvelle population d'immigrants alla s'installer à harlem où les loyers étaient plus accessibles et parce qu'ils étaient rejetés des autres quartiers de Manhattan.
La nuit, les clubs donnaient des spectacles de jazz avec les plus grands artistes de ce genre musical, mais ils servaient bien souvent de tripots clandestins de jeu ou de vente d'alcool du temps de la prohibition. Les gangs afro-américains s'affrontaient alors avec les mafias italiennes pour dominer le quartier.
Durant de nombreuses années harlem allait être assimilé à un ghetto peuplé par une population noire et portoricaine confrontée au chômage, à la misère et à la violence. La délinquance y étant très élevée, de nombreux commerces ferment leurs portes, laissant certains secteurs abandonnés et en état de délabrements. Cependant, si les gangs dominaient Harlem, de nombreuses associations et églises se développèrent permettant aux noirs d'affirmer leur identité.