Men är det inte inställningen jag pratade om då? Den ligger under System Preferences - General - Restore windows when quitting and re-opening apps.
Ett annat sätt att komma runt det om man inte vill stänga av ovanstående funktion är genom att stänga fönstret innan man avslutar Safari, eller om man surfar i Private Browsing-läget och avslutar Safari - då öppnas inte heller senaste fönstret.