Jag svarar på mig själv eftersom jag hittade felet och det kanske kan hjälpa någon annan som har samma problem.
Jag hade USB Overdrive installerat för att kunna använda min gamepad och den skapar uppenbarligen en profil för alla USB-grejer man pluggar in, inklusive musen.
Så jag gick helt enkelt in i USB Overdrive, tryckte på Mouse och bockade av rutan "Overdrive Enabled". Det löste problemet för mig!