Jirozaemon est un riche et honnête fabricant de soie qui avait été abandonné à la naissance par une famille inconnue mais sans doute aisée. Il est affecté d'une cicatrice au visage dont l'extrême laideur fait fuir les femmes. Comme il souhaite une épouse coûte que coûte, des clients lui arrangent des rencontres : en vain. Ils décident un jour de distraire le malheureux en l'emmenant à Yoshiwara, le quartier des plaisirs de Edo (ancien nom de Tokyo). Là-bas, même les geishas ne veulent pas lui tenir compagnie. Seule Tamazuru, une prostituée de bas-étage sortant de prison et décidée à monter dans la hiérarchie sociale, accepte la compagnie du « monstre ». Celui-ci s'en émeut. Elle lui promet le mariage s'il l'aide à devenir « première courtisane ». Jirozaemon se ruine pour elle, à un moment où son entreprise traverse une mauvaise passe, avant de réaliser que le tout Yoshiwara s'est moqué de lui...
