Il primo grande dolore sentimentale lo vive a Londra, nel 1874, quando si innamora di Eugénie Loyer, figlia della sua padrona di casa (La casa di Hackford Road). La ragazza lo rifiuta perché ha già un fidanzato segreto, e Vincent cade in una profonda depressione.Nell’estate del 1881 a Etten si innamora della cugina Cornelia Adriana Vos-Stricker, detta Kee, vedova con un bambino: assillata dalle sue richieste, fugge ad Amsterdam. Vincent racconta: «Vivevo in preda a un’ansietà che diveniva poco a poco insopportabile, perché Kee si ostinava a tacere, perché non ricevevo mai la minima parola in risposta alle mie lettere. Allora sono andato ad Amsterdam. Là mi dissero: “Quando ti avvicini a questa casa, Kee se ne va. Alla tua decisione ‘O lei o nessun’altra’, lei replica ‘Lui in nessun caso’. La tua perseveranza è disgustosa”. Allora misi le mie dita sulla fiamma della lampada e domandai: “Permettetemi di vederla per lo stesso tempo che riesco a tenere la mano sul fuoco”. Ma loro hanno soffiato sulla lampada e hanno risposto: “Non la vedrete”. Allora, ho sentito morire il mio amore. Non è morto del tutto subito, ma abbastanza in fretta, comunque, e un vuoto, un vuoto immenso, si è scavato nel mio cuore».
All’Aja, nel 1882, incontra la prostituta Clasina Maria Hoornik, detta Sien, una donna alcolizzata dal volto devastato dal vaiolo, sifilitica (Sien con sigaro), che aveva alcuni figli e ne attendeva un altro (Sien con fanciulla in grembo). Ne fa la sua modella e la ritrae in numerosi disegni, acquerelli e incisioni (The Great Lady). Spiega a van Rappard: «Non ho mai avuto un’assistente tanto brava quanto questa donna brutta e sfiorita. Ma io la vedo bella e in lei trovo ciò che voglio; ha avuto una vita dura e il dolore e le avversità hanno lasciato su di lei il loro segno. Ora di lei posso fare qualcosa». Con Sien convive per un periodo (Sien che cuce) e decide di sposarla, ma i familiari non accettano la scelta e Theo lo informa che i genitori vorrebbero farlo interdire. Racconta al fratello: «Non è la prima volta che sono incapace di resistere a quel senso di affetto - si, di affetto - e di amore per quelle donne che vengono condannate e maledette e disprezzate dagli uomini di chiesa dal pulpito». Lascia L’Aja e Sien nel settembre 1883, avendo perdute tutte le speranze di redimerla.
A Nuenen nell’estate 1884 una storia d’amore finisce quasi in tragedia: chiede infatti alla trentanovenne Margot Begemann di sposarlo, ma di fronte all’opposizione delle famiglie, la donna «in un momento di crisi si avvelenò»; salvata, viene mandata a Utrecht. Nel settembre 1885 si sparge a Nuenen una diceria che gli attribuisce la gravidanza di Gordina de Groot, una contadina che gli faceva da modella: il curato cattolico proibisce allora ai parrocchiani di posare per lui.
A Parigi, ha «amori complicatissimi e abbastanza sconvenienti»: così scrive alla sorella Wil. Ha sicuramente una breve relazione, nel 1887, con Agostina Segatori, che gestiva il Café du Tambourin, sul boulevard de Clichy.
Alla storia è passata anche Rachel, la prostituta del bordello di rue Chiavari ad Arles, frequentato sia da Vincent che da Gauguin, alla quale consegnò il suo orecchio mozzato.