Le narrateur doute de la fidélité d’Albertine et fait tout pour qu’elle reste à la maison depuis qu’ils vivent ensemble. La jalousie du narrateur s’en trouve apaisée mais l’empêche de réaliser d’autres désirs, comme connaître d’autres femmes ou voyager. Sa frustration et son envie de liberté se cristallisent souvent à l’évocation de l’un de ses plus anciens désirs : voir Venise.
Depuis peu, il s’est alors résolu à quitter Albertine et guette le bon moment pour le faire :
Je sentais que ma vie avec Albertine n'était, pour une part, quand je n'étais pas jaloux, qu'ennui, pour l'autre part, quand j'étais jaloux, que souffrance. À supposer qu'il y eût eu du bonheur, il ne pouvait durer. Dans le même esprit de sagesse qui m'inspirait à Balbec, le soir où nous avions été heureux après la visite de Mme de Cambremer, je voulais la quitter parce que je savais qu'à prolonger je ne gagnerais rien. Seulement, maintenant encore, je m'imaginais que le souvenir que je garderais d'elle serait comme une sorte de vibration prolongée par une pédale, de la minute de notre séparation. Aussi je tenais à choisir une minute douce, afin que ce fût elle qui continuât à vibrer en moi. Il ne fallait pas être trop difficile, attendre trop, il fallait être sage. Et pourtant, ayant tant attendu, ce serait folie de ne pas savoir attendre quelques jours de plus, jusqu'à ce qu'une minute acceptable se présentât, plutôt que de risquer de la voir partir avec cette même révolte que j'avais autrefois quand maman s'éloignait de mon lit sans me redire bonsoir […] À tout hasard je multipliais les gentillesses que je pouvais lui faire. Pour les robes de Fortuny, nous nous étions enfin décidés pour une bleu et or doublée de rose, qui venait d'être terminée. […]
Pourtant, à la venue du printemps, […] je me laissai emporter par la colère un soir. C'était justement celui où Albertine avait revêtu pour la première fois la robe de chambre bleu et or de Fortuny qui, en m'évoquant Venise, me faisait plus sentir encore ce que je sacrifiais pour Albertine qui ne m'en savait aucun gré. Si je n'avais jamais vu Venise, j'en rêvais sans cesse depuis ces vacances de Pâques, qu'encore enfant, j'avais dû y passer, et plus anciennement encore par les gravures du Titien et les photographies de Giotto que Swann m'avait jadis données à Combray. La robe de Fortuny que portait ce soir-là Albertine me semblait comme l'ombre tentatrice de cette invisible Venise. Elle était envahie d'ornementation arabe comme Venise, comme les palais de Venise dissimulés à la façon des sultanes derrière un voile ajouré de pierre, comme les reliures de la bibliothèque Ambrosienne, comme les colonnes desquelles les oiseaux orientaux qui signifient alternativement la mort et la vie, se répétaient dans le miroitement de l'étoffe, d'un bleu profond qui au fur et à mesure que mon regard s'y avançait se changeait en or malléable, par ces mêmes transmutations qui, devant la gondole qui s'avance, changent en métal flamboyant l'azur du Grand Canal. Et les manches étaient doublées d'un rose cerise qui est si particulièrement vénitien qu'on l'appelle rose Tiepolo.