Jeff Atkins cresce nel quartiere di Queens, a New York. Scrive rime dai sedici anni e prende il nome d'arte dalle iniziali del suo nome. La sua prima apparizione avviene nel 1995 all'interno diTime To Build, B-side del singolo Masta I.C. di Mic Geronimo.
Il produttore del Queens Irv Gotti ascolta la traccia e si interessa al talento di Ja Rule, impegnato al momento con due amici nel gruppo The Cash Money Click. Tutta la crew stipula un contratto discografico con la Blunt/TVT Records. Sempre nel 1995 esce il loro singolo Get The Fortune, accompagnato da For My Click, che entra in rotazione nel palinsesto della radio newyorkese Hot 97.
Dopo il successo iniziale Ja, sotto l'ala protettiva di Gotti, ha un colloquio con Lyor Cohen, presidente della Def Jam Records. Quest'ultimo, rimasto colpito dall'intraprendenza e dal fiuto affaristico di Irv, lo assume come dirigente, ed il suo primo incarico è di scritturare Ja Rule sotto l'etichetta. Il progetto di debutto rel rapper del Queens è un saluto e riconoscimento verso la strada, come si intuisce da brani introspettivi come Only Begotten Son, Daddy’s Little Baby eRace Against Time. L'LP, dal Titolo Venni Vetti Vecci, esce nel 2000 e ne vengono estratti i singoli Holla Holla, It's Murda e World's Most Dangerous, che diventano degli apprezzati street anthems.
Il progetto seguente è una compilation prodotta da Gotti: Irv Gotti Presents: The Murderers. Ja Rule fa la sua comparsa all'interno di una famiglia chiamata Murder Inc. che con il passare del tempo avrebbe compreso, oltre a lui e Irv, anche i rappers Black Child e Cadillac Tah e la cantante R&B Ashanti. Ja Rule recita anche in Turn It Up, film di Robert Adetuyi.
Il suo secondo album, registrato a Los Angeles, esce sotto il nome di Rule 3:36 arrivando al top delle classifiche nell'Ottobre del 2000. L'anno seguente è la volta di Pain Is Love, che nel febbraio del 2002 arriva al numero uno delle classifiche grazie ai singoli Always On Time con Ashanti, Ain't It Funny con Jennifer Lopez, Livin' It Up con Case e I'm Real, sempre con è J.Lo.
Dopo l'uscita del singolo Mesmerize con Ashanti, nel 2003 Ja Rule pubblica The Last Temptation, LP lanciato dal singolo Clap Back. In questo periodo Ja Rule è in cattivi rapporti con DMX (a cui è spesso accomunato a causa della sua voce baritonale che si rifà a Black Ice, uno dei pilastri della old school), 50 Cent e la Shady Records. Contro di lui escono i brani I Smell Pussy di 50 Cent, Go To Sleep di Eminem,Obie Trice e DMX, Do Rae Me di Eminem con i D12. Alcune dicerie lo ritengono addirittura il mandante dell'attentato che ha reso celebre 50 Cent come Il rapper dalle 9 pallottole. Un anno dopo è nei negozi R.U.L.E., preceduto dal singolo Wonderful, che finisce nella top 10 dell'r&b grazie alla collaborazione con R. Kelly e Ashanti. Il secondo singolo è New York, New York, con Fat Joe e Jadakiss.