Att du får rutor beror nog på sk pixelesering.. dvs filmen är dåligt kodad och det är inget fel på spelaren..
Ett enkelt sätt att få QT att visa fullskärm är att betala en struntsumma till Apple, eller ladda ner nått fristående program som kör fullskärm med qt som motor.. finns massor av dom, kolla versiontracker. Eller skriva ett Applescript...
T-son.. vettefan, har du installerat alla package som kommer med pkg-bundlen?