Als erstes vorne weg: schön, dass ihr dem Hund ein neues Zuhause gebt :) Es wird allerdings noch einige Zeit dauern, bis er wirklich richtig bei euch angekommen ist. Zeit ist auch das, was er in Bezug auf all diese gruseligen Dinge/Menschen braucht.
Allgemein würde ich raten, ihm fremde Menschen so weit wie möglich "vom Hals zu halten". Draußen also enge Situationen durch Ausweichen meiden. Drinnen würde ich im Moment ein Geschirr mit Hausleine an den Hund machen, damit ihr ihn im Fall des Falles besser lenken könnt, ohne ihm durch zu große Nähe die Situation vielleicht noch unbewusst zu erschweren. Besucher sollten die klare Anweisung bekommen, den Hund komplett zu ignorieren: nicht anschauen, nicht ansprechen, nicht anfassen. Außerdem würde ich auch im Haus einen größtmöglichen Abstand zwischen Hund und Besuchern halten und ihm einen festen Platz an einem strategisch möglichst ungünstigen Ort (also weit weg von Türen/Flur etc.) zuweisen, dem Besucher sich nicht nähern dürfen und der ein sicherer Rückzugsort für ihn wird. Das sollte man natürlich erstmal ohne Ablenkung trainieren und den Platz positiv aufbauen, sodass der Hund gern dort ist.
Sollte es doch mal vorkommen, dass der Hund sich Besuch nähert und diesen anknurrt oder anbellt, könnt ihr ihn an der Hausleine kommentarlos wegführen; ihm dabei ein Kommando wie "aus" zu geben, bringt, wie er ja selber merkt, gar nichts; der Hund versteht wahrscheinlich auch noch gar nicht, was ihr damit meint. Bringt ihm also lieber durch ruhiges Wegführen bei, dass er die Situation verlassen kann und nicht mit Angriff regeln muss.
Wahrscheinlich wäre für euch aber auch ein positiv arbeitender Trainer empfehlenswert; Angstaggression ist jetzt nicht unbedingt etwas, bei dem ich ohne fachlichen Rat lange rumprobieren wollen würde. Ich hab zwar auch einen Schisser hier sitzen, aber der geht von selbst weg und ist nicht aggressiv, was Vieles einfacher macht. Daher sind meine Ratschläge auch eher als "Erste-Hilfe-Management" zu sehen, aber keine endgültige Lösung.
Als Lektüre kann ich euch übrigens "Der ängstliche Hund" von Nicole Wilde empfehlen, das hat mir anfangs sehr geholfen.