Quando estamos obrigados a reter o ISS?

Parece uma pergunta boba, mas mesmo depois de 5 anos de trabalho na área me peguei em dúvida nos reais casos e serviços que devem sofrer retenção.

De via de regra me agarrava no artigo 3º da 116 para efetuar retenções, mas lendo pela milésima vez a 116 fiquei confuso no artigo 4º.

Afinal de contas, a retenção do imposto parte do principio do local efetivo da prestação do serviço ou do serviço propriamente dito para efetuarmos a retenção.

Um bom exemplo é o serviço de "ginástica laboral", ele não esta no art. 3º mas é executado em local diferente daquele onde esta localizado o prestador.

Espero que alguém se interesse em ajudar.