Elsässer stammt aus einem kleinen Dorf im nördlichsten Bayern. Ab August 1956 fuhr er zunächst als Maschinenjunge auf dem Motorschiff „QUARTETT“, später als Reiniger, Kesselwärter und nach dem Schulbesuch am Berliner Tor in Hamburg als Maschinist – meist auf alten Dampfschiffen. Nach seiner Seefahrtzeit blieb er in Hamburg.