Sid Hite wuchs in Bowling Green im Bundesstaat Virginia auf, einer typisch amerikanischen, ländlich geprägten Kleinstadt im Süden. Wenn ein Amerikaner von sich sagt, in seinem Heimatort gebe es nur eine Straßenkreuzung, so hat man von einem solchen Ort ein ziemlich treffendes Bild. Als Jugendlicher ist Sid Hite in der ganzen Welt herumgereist und hat sich mit verschiedenen Jobs durchgeschlagen.