Mudança de função, cobrir férias

Trabalho em um frigorífico, fui contratado para auxiliar de controle de qualidade, e não fico fixo em um setor, quando consegui um setor para mim, em um horário bom, querem me colocar para cobrir férias em um setor ruim, que não gosto, e que vai mudar o meu horário. Gostaria de saber se eu posso recusar de cobrir as férias, e isso está de acordo com a lei.
Lembrando que não vai mudar nada na carteira, somente o setor, e o horário, sem salário a mais ou benefícios
Agradeço desde já

Vinicius, boa tarde.
Pode até pode, o problema e que poderá ser demitido, então não custa nada (minha opinião) aceitar, afinal para a empresa isso é otimo e também para seu curriculo(dentro da empresa), pense bem antes de recusar,ok..