Har varit med om exakt samma sak med min iMac från hösten 2007, och just kit med 2x2 GB. Det där moderkortet är lite kinkigt med minnena, och vill inte vara med och leka om man petar in två 800 MHz-minnen (men var för sig funkar de). Byt till ett kit med 667 MHz-minnen i stället så funkar det. För att vara på den säkra sidan bytte jag till ett "Mac-specifikt" kit från Corsair, kostade ungefär lika mycket som HyperX-kitet jag först försökte installera.
Edit: Just det ja, glömde säga att 4 GB fungerar alldeles utmärkt, den är alltså inte begränsad till 3 GB. Det handlar bara om att peta in rätt minnen.