Джордж Дюк родился 12 января 1946 года в городе Сан Рафаэль (San Rafael), штат Калифорния. и рос в Мэрин Сити (Marin City), рабочем районе округа Мэрин. Когда ему было всего четыре года, мама взяла его с собой на концерт Дюка Эллингтона. "Я не очень хорошо это помню, - говорит Джордж, - но мама говорила, что я просто сошёл с ума! Я бегал по дому и кричал: “Дайте мне пианино! Дайте мне пианино!”