Referência

Desempenho

Quanto o Katuok acerta e quanto tempo leva, medido em provas separadas do treino.

Acerto

Prova	O que mede	Resultado
Casos de uso	160 casos em 16 áreas: atendimento, recrutamento, jurídico, moderação, vendas, risco, código, ciência...	89%
Bases com resposta humana	1.272 casos de fatos, cláusulas, ciência e contratos, julgados por especialistas	87%
Tarefas nunca vistas	8 tipos de tarefa que ficaram fora do treino, medidos em concordância além do acaso (kappa)	0,55
Imagem	202 perguntas de compreensão visual com resposta humana	80%

Nos 160 casos de uso, 10 por área. Verde: 9 ou 10 acertos; amarelo: 8; laranja: 7 ou menos.

1.272 casos julgados por especialistas, em sete bases públicas.

Chamada	Tempo típico
1 pergunta sobre um texto	0,21 s
4 perguntas sobre um texto	0,30 s
1 pergunta sobre uma imagem	0,31 s
Primeira chamada (modelo entrando na placa)	cerca de 1 minuto

Medido numa placa de vídeo de 12 GB de uso doméstico, uma chamada por vez.

Uma placa de vídeo de 12 GB basta. O modelo ocupa cerca de 5 GB e sai da placa sozinho depois de 10 minutos sem uso.