Def Jam založil [[Rick RubinRubinjroj]] ve svém pokoji na [[New York University|kolejích univerzity New York]].<ref>Herschberg, Lynn. The Music Man. New York Times Magazine. 2 September 2007.</ref> [[Russell Simmons]] se přidal k Rickovi krátce poté, co je seznámil [[Vincent Gallo]]. První nahrávky, které u společnosti vyšly, byly “I Need A Beat” od rapera [[LL Cool J]] a píseň „[[Rock Hard]]“ od [[Beastie Boys]]. Obě vyšly v roce [[1984]] a prodávaly se dobře, což vedlo k podepsání distribuční smlouvy s [[Sony Music Entertainment|CBS Records']] (ze které se později stala Sony Music Entertainment). Prvním albem, které bylo u Def Jam vydáno, bylo [[Radio (album)|''Radio'']] od LL Cool J, v prosinci [[1985]]. V následujícím roce Def Jam vytvořil přidruženou společnost nazvanou ''[[OBR Records]]'', která se starala o R&B umělce – prvním umělcem, který s nimi podepsal smlouvu byl [[Oran "Juice" Jones]], který slavil úspěchy se svým singlem “The Rain.” Ke konci osmdesátých let podepsali smlouvu s Def Jam [[Public Enemy]], jejichž kontroverzní texty přinesly jak kladné, tak záporné ohlasy…
V roce [[1988]] se prezidentem společnosti stal [[Lyor Cohen]] po boji s Rickem Rubinem, který společnost záhy opustil a založil Def American Recordings (nyní známo pod názvem [[American Recordings]]).
