Paul a la trentaine, il vit dans un appartement parisien avec ses tantes, deux vieilles aristocrates qui l’ont élevé depuis ses deux ans et rêvent de le voir devenir pianiste virtuose. Sa vie se résume à une routine quotidienne, entre le grand piano du salon et le cours de danse de ses tantes où il travaille en tant qu’accompagnateur. Isolé du monde extérieur, Paul a vieilli sans jamais avoir vécu... Jusqu’au jour où il rencontre Madame Proust, sa voisine du quatrième étage. Cette femme excentrique possède la recette d’une tisane aux herbes capable, grâce à la musique, de faire ressurgir les souvenirs les plus profondément enfouis. Avec elle, Paul va découvrir son histoire et trouver la clé pour vivre enfin sa vie...

En 1900, le narrateur a 20 ans. Fils unique, il a grandi dans une famille française de la bourgeoisie aisée, entouré par l'amour protecteur et sans limite de sa mère et de sa grand-mère. Après avoir beaucoup souffert de sa rupture d'avec Gilberte Swann, grand amour de son adolescence, il part avec sa grand-mère pour Balbec, en Normandie, afin de respirer l'air marin et se ressourcer.

Année 1947. La chanteuse Édith Piaf et le boxeur Marcel Cerdan sont tous deux au sommet de leurs gloires respectives. Leur rencontre donnera naissance à une histoire d'amour passionnée, durant deux courtes années. Parallèlement à cette relation, une autre histoire d'amour naît entre Jacques Barbier, un prisonnier de guerre, et sa marraine de guerre, Margot de Villedieu, ressemblant beaucoup à Édith et qui appartient à une famille bourgeoise. Mais la correspondance entretenue entre eux est biaisée car le prisonnier a fait écrire ses lettres par son lieutenant.