Avaliação / Evaluation · Methods
TaskBench
Um banco de tarefas para avaliar sistemas pelo trabalho que realizam, não apenas pelo texto que produzem.
O problema
Benchmarks textuais medem respostas isoladas, mas dizem pouco sobre colaboração, revisão e consequências do uso.
A abordagem
TaskBench descreve tarefas completas, com contexto, ferramentas, critérios de decisão e pontos de revisão humana.
Decisões-chave
- Avaliar trajetórias, não só outputs.
- Registrar custos e correções.
- Publicar tarefas para permitir contestação.
Próximos passos
Prototipar uma bateria pequena de tarefas colaborativas e seus rubrics.
UMA PERGUNTA EM ABERTO