RGB til Hex og Hex til RGB

Jeg går ud fra, at du mener hexadecimal notation i HTML-stil, dvs. #rrggbb. Din kode er næsten korrekt, bortset fra at du har byttet om på rækkefølgen. Det burde være:

var decColor = red * 65536 + green * 256 + blue;

Hvis du også bruger bit-shifts, bliver det måske lidt lettere at læse:

var decColor = (red 

Er du måske ude efter noget lignende?

function RGB2HTML(red, green, blue)
{
    return '#' + red.toString(16) +
           green.toString(16) +
           blue.toString(16);
}

alert(RGB2HTML(150, 135, 200));

viser #9687c8

HTML bruger det hexadecimale system, og rgb bruger det decimale system, så du skal konvertere tallet fra hexadecimalt til decimaltal og omvendt.