Le jeune Cecil Gaines, en quête d'un avenir meilleur, fuit, en 1926, le Sud des États-Unis, en proie à la tyrannie ségrégationniste. Tout en devenant un homme, il acquiert les compétences inestimables qui lui permettent d’atteindre une fonction très convoitée : majordome de la Maison-Blanche. C'est là que Cecil devient, durant sept présidences, un témoin privilégié de son temps et des tractations qui ont lieu au sein du Bureau Ovale. À la maison, sa femme, Gloria, élève leurs deux fils, et la famille jouit d'une existence confortable grâce au poste de Cecil. Pourtant, son engagement suscite des tensions dans son couple : Gloria s'éloigne de lui et les disputes avec l'un de ses fils, particulièrement anticonformiste, sont incessantes.

Bob collectionne les emplois car il se fait régulièrement licencier. Après avoir été renvoyé du restaurant de Mama Clara, il décide de suivre une formation de majordome chez monsieur Butler. Appelé, un soir, pour faire du baby-sitting chez mademoiselle Anne, Bob est rapidement engagé comme majordome pour s'occuper de la maison et de ses deux enfants, Tess et Bates.