Joe родился в Джорджии, но когда ему было всего лишь два года, семья переехала в городок Opelika, штат Алабама. Неудивительно, что мальчик, родители которого были священниками, проводил большую часть своего времени в церкви, учась петь, играть на гитаре и даже дирижировать хором. В конце 80-х он начал играть в местных группах, развивая свои умения после окончания старших классов. Сменив несколько непостоянных работ, Joe Thomas купил билет в один конец до Нью-Йорка в надежде осуществить свою мечту стать музыкантом.