Nathan Aaronson, dit "Noodles", vieil homme solitaire, revient à New York et se souvient de sa jeunesse délinquante dans le ghetto juif des années 20 avec Max, son ami de toujours, leur ascension sans gloire dans la pègre, le trafic d'alcool, les fumeries d'opium... Mais il se souvient aussi de son amour d'enfance, Deborah, de la violence, des meurtres sauvages...