В колежа се чувства нещастна и затова предпочита да стои в отвратителното си жилище и да прави музика за това колко нещастна се чувства. „Исках да предизвиквам шок с всичко, което правя. Когато написах парчето „Отърви се от мен“, сама се шокирах от него и разбрах, че най-накрая съм успяла“ – разказва Поли Джийн. Вместо да се отърват от нея обаче, още от първата звукозаписна компания й предлагат договор. Така колежът „Сейнт Мартинс“ изгубва една Пи Джей Харви, а самата Поли Джийн влиза в музикалния бизнес, макар и по не особено блестящ начин – с поредица от нервни сривове по време на живи участия. И до днес тя не обича да говори за това време, а предположенията са няколко – драматична любовна раздяла, тежка анорексия, наркотици или стрес от необходимостта да преодолява патологичната си стеснителност всеки път, когато излиза пред публика. Налага й се дори да откаже едно турне и да се прибере в родния Дорсет, за да си стъпи на краката. В края на 80-те и началото на 90-те години жените в алтернативния рок и въобще на независимата музикална сцена съвсем не са толкова много – Мериън Фейтфул, Пати Смит, а от по-младите Къртни Лав, която по-късно ще заяви в типичния си безцеремонен стил: „Единствената рокзвезда, която с музиката си ми дава да разбера, че съм кръгла нула, е Пи Джей Харви“.  

Поли Джийн и бандата й изтръгват сърцата на публиката си, където и да се появят. Пи Джей с дебелия пласт сини сенки върху клепачите си, изкуствените мигли, червилото си с цвят на прясна кръв, късите си, тесни, раздърпани пънкарски дрехи плюс пословичната си кльощавост се превръща в новата модна икона. „Аз съм хиперверсия на Джоан Крофърд“ – самоопределя се тя. Поли Джийн винаги е умеела да изразява себе си чрез дрехите, които носи.

Двамата с Ник Кейв се запознават бегло, докато записват парчето Henry Lee, но погледите им се срещат истински едва когато снимат клипа към него. Моментът е изпълнен с особено напрежение, защото са облечени напълно еднакво – с черни костюми и бели ризи – и изведнъж всеки от тях сякаш вижда в другия себе си като в огледало. Бледите лица, болезнено изпитите тела, погледът на удавници... Клипът е заснет за 3 минути – един-единствен дубъл, по време на който двамата осъществяват мигновен контакт и според една от версиите още същата вечер стават любовници.

Истинска романтична любов – той й пише любовни писма, а тя го иска само за себе си. Точно тогава Кейв записва и парчето с Кайли Миноуг, като не се стеснява да разказва в интервюта колко отдавна иска да работи с австралийката и колко парчета написал специално за нея, но не се осмелил да й ги предложи. Тъй като по това време Миноуг е гадже на Хътчинс, мълвата за успоредната й връзка с Ник Кейв се носи в музикантските среди, но никога не се потвърждава официално, нито някой от двамата някога говори за нея. За Пи Джей Харви обаче, която е отровно влюбена в Кейв, дори слуховете са непоносими. Дори шегите, че когато Майкъл Хътчинс се надруса, Кайли отива при Кейв и обратното. Дори подмятанията за секссимвола Кайли Миноуг, с която тя, призрачната, безплътната, не би могла дори да се сравнява. Освен това песента на Ник и Кайли се превръща в световен хит, има огромен комерсиален успех и наистина прави Ник Кейв звезда. Нещо, което не се случва с тяхното общо парче Henry Lee, останало си в графата ъндърграунд „хитове“, въпреки че всяка нота и всеки кадър от клипа крещят, че тези двамата са сродни души, създадени един за друг – да се обичат, да се мразят, да се разделят, да се сливат.

Поли Джийн издържа на напрежението точно четири месеца. Един ден просто вдига телефона и набира номера на Ник. Историята съвсем наскоро я разказа самият музикант в отговор на фенски въпрос защо е скъсал с Пи Джей Харви. „Не аз скъсах с нея, а тя с мен. Седях си на пода в апартамента ми в Нотинг Хил, слънцето огряваше стаята (може би), чувствах се щастлив, защото имах изключително талантлива и красива изпълнителка за гадже. Изведнъж телефонът иззвъня. Вдигнах слушалката и чух гласа на Поли. „Искам да се разделим“ – каза ми тя. „Защо?“ – попитах я. „Всичко приключи“ – отговори тя без много-много обяснения и затвори телефона. Бях толкова изненадан, че едва не си изпуснах спринцовката“. Ник Кейв винаги е бил истински майстор на късия разказ с неочакван край. Дори когато става въпрос за силно драматични или дори трагични ситуации. Разбира се, съществува и доста по-семпла версия за раздялата им, според която Поли зарязва Ник единствено и само заради дрогата, с която всъщност в онзи момент той поддържа най-сериозна връзка.