L’histoire se déroule au Japon en 2020. L’économie s’est complètement envolée et à Tokyo, la vie est devenue extrêmement chère. Kaiji mène une vie difficile dans ces conditions : il a beau charbonner dans son boulot, il n’écope à la fin du mois que d’une maigre paie, avec laquelle il peut à peine aller se payer une bière. Il découvre alors que son patron, Otsuki, s’en est mis plein les fouilles grâce à un réseau de jeux d’argent illégaux. Désormais président de la puissante compagnie Teiai, il entraîne Kaiji dans son monde afin que celui-ci participe à un jeu de grande envergure appelé la Tour de Babel.

Ito Kaiji est un jeune homme de 26 ans qui vit au jour le jour et travaille à mi-temps dans une épicerie. Il ne l’admet pas, mais il est le loser typique de nos sociétés actuelles. Un jour, une femme nommée Rinko Endo vient le voir pour lui demander de rembourser une dette qu’il aurait contractée avec un ami. Kaiji n’a aucun moyen de rembourser cet argent. Endo lui propose alors un marché : s’il embarque sur un mystérieux bateau, il pourra non seulement rembourser sa dette mais en plus devenir très riche. Kaiji se retrouve à bord du bateau entouré de losers endettés comme lui: ils sont tous pris au piège dans un jeu cruel. S’ils gagnent, leurs dettes seront couvertes, si ce n’est pas le cas, ils perdront toute leur dignité et seront condamnés aux travaux forcés: « Seule la victoire compte, si vous perdez, vous êtes bons à jeter ». Les joueurs vont être pris dans un jeu macabre où ils devront faire face aux pires dangers pour rester vivants…