Még mielőtt bárki követ hajítana  rám, nem én adtam ezt a hangzatos címet a dalnak: 1967-ben Brigitte Bardot kérte meg Serge Gainsbourg-t - miközben szenvedélyes viszonyt folytattak - hogy írja meg neki a "világ  legszebb szerelmes dalát". Gainsbourg egy éjszaka alatt elkészült a Bonnie et Clyde-dal és a Je t'aime ... moi non plus"-vel, amit fel is vettek Bardot-val egy londoni, majd egy párizsi stúdióban. A dalt egyetlenegyszer játszotta le egy rádióadó, majd óriási botrány tört ki. Günther Sachs, Bardot akkori férje pert helyezett kilátásba a dal címe miatt (a viszony nyílt titok volt BB és az énekes között). Gainsbourg igazi gentlemanként viselkedett, bár már minden készen volt, a lemez végül nem került a boltokba és a rádiók sem vették fel a repertoárjukba, Mireille Darc színésznő azt javasolta az énekesnek, hogy énekelje el valaki mással, mert a dal jó és ne legyen az enyészeté.

1968-ban a Slogan forgatásán Gainsbourg találkozott az akkor még ismeretlen Jane Birkin angol énekesnővel, akivel egymásba szerettek, később össze is házasodtak. Megkérte, hogy újra énekelje el vele a duettet, de egy oktávval feljebb, mint Bardot,hogy megkülönböztessék a két változatot. "Bardot verziója nagyon erotikus volt, én csak el akartam énekelni a dalt. Úgy énekeltem, mint egy kisfiú. Egy ponton kicsit soknak találták a mély sóhajtásokat és szóltak, hogy nyugodjak le, mire teljesen leálltam és nem vettem levegőt - hallani is a felvételen"  -mesélte Birkin. Miután Londonban és Párizsban is rögzítették és 1969 februárjában kijött a lemez. A borítón feltüntették hogy 21 éven aluliak nem hallgathatják és kiadó Philips helyett Fontana néven forgalmazta.

Birkin évekkel később így emlékszik vissza: " Serge kíváncsi volt, mit szólnak az emberek  a dalunkhoz. A Beaux-Art-on laktunk abban a szállodában, ahol Oscar Wilde élt haláláig. A földszinten volt egy nagyon sikkes étterem, ahol Serge lejátszotta a lemezünket.  Amikor meglátta, hogy szabályosan megáll a villa a vendégek kezében, azt mondta: slágert írtunk."

4 perc tömény erotika. Amikor az újságírók azt mondták, hogy "egy szeretkezés története", Gainsbourg azt válaszolta, hogy szerencsére nem, mert ahhoz legalább egy nagylemez kellett volna. A címén máig vitatkoznak, szó szerinti fordításban ugyanis "Én szeretlek.... én sem .", amit nehéz értelmezni. Gainsbourg egy interjúban azt mondta, hogy ez egy "bon mot" azaz szójáték, vicc és eredetileg Salvador Dali-tól származik.

Dali azt mondta Picasso-ról: "Picasso est espagnol,moi aussi." (Picasso spanyol. Én is.). "Picasso est un génie, moi aussi." (Picasso zseni. Én is.) "Picasso est un communiste", moi non plus". (Picasso kommunista, én sem.). Valójában Picasso is csak névleg volt tagja a kommunista pártnak, tehát itt egy játékról van szó -annyira vagyok kommunista, mint ő-  vagyis ha a dalról beszélünk : "annyira szeretlek, mint te engem."

A dal óriási botrányt okozott. " A pápa volt a legjobb sajtófőnökünk."-emlékszik vissza  Birkin. A L'Osservatore Romano, a Vatikán hivatalos lapja obszcénnek bélyegezte a dalt  és indítványozta, hogy tiltsák be Olaszországban. Ugyanez történt Nagy-Britanniában is, a BBC is megtagadta a dal sugárzását. Azt azonban nem sikerült megakadályozni, hogy az angol slágerlista élére kerüljön, ami igazán szép teljesítmény egy francia daltól. Érdekes viszont, hogy a francia slágerlistán  csak a harmadik helyre tudott befutni. Természetesen nem jelenhetett meg a szocialista országokban, de betiltották többek között Svédországban és Spanyolországban is. Az egyik kifogás azontúl, hogy nagyon erotikus a dal, Birkin életkora volt -túl fiatalnak találták. Pedig 22 múlt és Gainsbourg előtt volt már egy férje, sőt 21 éves korában egy kislánya is született.

Amikor 10 évvel később Gainsbourg Jamaicába utazott, hogy felvegye az Aux armes et caetera című albumát, a két reggae sztár, Sly and Robbie gyanakodva méregette. Ők csak egy francia dalt ismertek  a "Je t'aime-t, amiben valami francia nő nyög". Amikor Gainsbourg közölte velük, hogy abban ő a férfi, rögtön minden a helyére került.

1986-ban, miután pár éve már szétváltak, Gainsbourg felhívta Birkint : " Van egy nagyon rossz hírem, Kijövök a Bardot-féle verzióval. BB végül beleegyezett, hogy a mi duettünk is megjelenjen, azzal a feltétellel, hogy a lemezből származó nyereséget állatvédő szervezeteknek adjuk." 

"Azt gondoltam, hogy mindenki rá fog jönni, hogy nem vagyok olyan érdekes, mint ő"-mondta Birkin. "De nagyon sokat köszönhetek a dalnak, és már tudom, mit fognak játszani a temetésemen".

A végére egy különlegesség, a közös verzió, egyszerre hallhatjuk Bardot-t és Birkint: