Харрис родился в очень бедной семье, в 13 лет оставил дом и отправился на заработки, поступив в ученики к плантатору и издателю газеты Джозефу Тёрнеру. На плантации Тёрнера он впервые столкнулся с негритянским фольклором, обработка которого впоследствии сделала его знаменитым. Первые публикации этих сказок появились в 1879 г. в атлантской газете «Atlanta Constitution»; год спустя вышел первый сборник из цикла сказок дядюшки Римуса, за которым последовали ещё три. Харрис продолжал работать журналистом.Как-то вечером мама долго искала своего сынишку. Джоэля не было ни в доме, ни во дворе. Она услышала голоса в старой хижине дядюшки Римуса, заглянула в окно и увидела, что мальчик сидит рядом со стариком. Мальчик прислонил голову к плечу дядюшки Римуса, во все глаза глядя в морщинистое ласковое лицо.