Rotear pela certeza

Automatize o que é claro e mande o duvidoso para uma pessoa.

O padrão

r = decidir(mensagem, {"setor": SETOR})["respostas"]["setor"]
if r["certeza"] >= LIMITE:
    filas[r["escolha"]].add(mensagem)
else:
    revisao_humana.add(mensagem, sugestao=r["escolha"])

Escolher o limite com os seus dados

1. Separe 200 a 500 casos já decididos por pessoas.
2. Rode o Katuok em todos e guarde a certeza.
3. Para cada limite (0,5; 0,6; ... 0,95), calcule quantos casos seguiriam sozinhos e quantos desses estariam certos.
4. Escolha o limite em que o acerto dos automáticos é o que o negócio aceita.

Limites diferentes por risco

Ação reversível (mudar de fila) aceita limite baixo. Ação cara ou irreversível (cancelar um pedido, bloquear uma conta) pede limite alto.