El abuelo de Giacomo III da Panico, fue doctor de la Universidad de Padua y de la de Bolonia, su sobrino Benvenuto también fue doctor de derecho en Bolonia, así como canónigo en San Petronio de Bolonia, y su primo Giovanni también fue doctor en Bolonia y lector en Padua. Giacomo era nieto de Ettore da Panico.