Det här har kanske ingenting med synkningen att göra, men kan vara väl värt ett försök ändå.
På telefonen, om du går in på Inställningar -> Epost, kontakter, kalendrar -> Här visas dina konton.
Är det ibockat för det kontot du använder för kontaktsynk (t.ex. iCloud eller gmail), att de ska synka just kontakter?