Det finns flera sätt. Men denna kanske är enklast? OBS, själva cellen blir INTE en länk, dvs klickbar, vilket du inte heller frågade efter. Men den ändrar färgen som du vill.
Du ändrar själva <td> taggen t.ex. så här:
<td onMouseOver="this.style.backgroundColor='#666666'" onMouseOut="this.style.backgroundColor='#FFFFFF'">