Yo solamente meto pañuelo blanco si la camisa es blanca en todo o en parte, así que no lo usaría tampoco con jersey de color. Ya sé que en teoría el pañuelo blanco siempre es correcto, pero a mí no me gusta en esos casos.
A mí también me cuesta combinar pañuelos de seda con según qué paños, a pesar de que, precisamente, el contraste es una cosa a valorar.