Am besten entfernt man Schmetterlingsflieder. Da schreien zwar immer viele auf, weil der ja durchaus angeflogen wird, allerdings hat er sehr wenig Nutzen und richtet dafür viel Schaden an - wie du ja gerade selbst gut beobachten kannst. Er bietet sehr sehr wenig Nahrung und das auch nur wenigen Insekten und dafür übernimmt er in der Wildnis Magerstandorte (und andere), die sonst von wertvollen heimischen Pflanzen besiedelt wären.
Die Sämlinge würde ich an deiner Stelle verbrennen oder in den Restmüll geben.
Am Bordstein reißen wir raus, was sich rausreißen lässt und mähen den Rest mit einem Freischneider regelmäßig weg.