Ljubav o kojoj pripovijeda počinje tridesetih godina prošlog stoljeća u San Franciscu, gdje s bogatom ujakovom obitelji živi djevojčica Alma, Poljakinja koju su roditelji poslali u SAD da je spase od nadolazećeg nacizma. Između Alme i vrtlarevog sina, dječaka Ichimeija Fukude, razvija se veliko prijateljstvo. Ono s vremenom prerasta u ljubav koja će obilježiti njihove živote i trajati koliko i oni sami. Kako je Ichimei siromašni Japanac, Alma se ne želi udati za njega, jer bi to značilo radikalni prekid lagodnog života u bogatstvu koji vodi.
Ali, u "Japanskom ljubavniku" postoji još jedna ljubavna priča, ovaj put posve suvremena. Time se osnovna tema ljubavi udvaja i naglašava. Almin unuk Seth se za vrijeme posjeta baki, koja živi u staračkom domu Lark House, zaljubljuje u zaposlenicu doma, traumatiziranu Europljanku Irinu Bazili. Oni se zbližavaju otkrivajući jednu Alminu tajnu. I Seth i Irina primjećuju kako Almi svaki tjedan stiže pismo u žutoj omotnici i buket gardenija. Znači li to da postoji njezina tajna ljubav? Potraga za odgovorom na to pitanje povezuje Setha i Irinu.