Nesta manha, dia 8 de junho de 2011, as 9 horas da manha, o servidor de email principal começou a reter as mensagens em fila, sem explicação (pelo monitoramento, o uso de processador é baixíssimo e havia muita memória livre, incluindo zero de uso de swap).
Fui acionado por volta das 9:15, passei a revirar todos os LOGs do servidor de todos os programas em uso para entender o motivo.
As 11:00 o problema foi resolvido. Basicamente havia um único e-mail que estava congelando o processo qmail-send (responsável pela divisão de tarefas locais, enviando para outros processos os e-mails para serem entregues localmente e/ou em outros servidores). Este e-mail tratava-se de um SPAM, salvei uma cópia do mesmo e vou analisar como que ele conseguiu congelar o processo.
Como o problema envolvendo e-mail é considerado altamente crítico, tive que optar por correr atrás da solução primeiramente (tanto que a mesma fora resolvida rapidamente e com o menor impacto possível) ao invés de postar no site a situação, fazendo isso somente agora, com o problema resolvido.
Por fim, vale frisar, que em momento algum e-mails foram perdidos, todos eles foram entregues normalmente. O que houve foi apenas um atraso das 9 as 11 desta manha para as entregas.
Att,