An den Einstellungen von Photoshop wird es vermutlich nicht liegen. Beim Kanten verbessern wird eigentlich nix verstellt, was diesen Effekt hervorruft.

Es liegt eher an der Vorgehensweise. Wie bereits gesagt kommt der Vogel auf die obere Ebene und bekommt die Freistellermaske. Die untere Ebene bekommt keine Maske. Am besten retuschierst du den Vogel auf der unteren Ebene mit dem Stempel weg bevor du den Hintergrund weichzeichnest, sonst gibt das einen unschönen Gloweffekt.Da du die Ebene ja noch weichzeichnest und der Vogel an der Stelle wieder d'rüber kommt muss das auch nicht allzu genau sein.