Alexey Kovyazin publicou recentemente algumas informações sobre um novo site chamado firebirdtest.com, onde pode-se ver estatísticas e informações dos testes automatizados que rodam sobre diversas versões do Firebird, inclusive betas.

Segue uma transcrição:

Oi pessoal

FYI - firebirdtest.com
Este site é um frontend do FBT + OLTP + scripts automatizados, mantido por Pavel Zotov e alguns funcionários do IBSurgeon.

Ele está executando testes FBT no servidor Windows (8Gb, 4 cores) para FB 3 e 4 (SuperServer e Classic), e OLTP-EMUL no FB 3/4 SuperServer.

Os testes são acionados automaticamente, quando uma nova compilação aparece em
http://web.firebirdsql.org/download/snapshot_builds/win/3.0/
http://web.firebirdsql.org/download/snapshot_builds/win/4.0/

Como resultado da execução dos testes, um relatório é gerado.

Para cada erro há um hint (mouseover) com detalhes sobre ele, onde ao clicar uma nova página será aberta com mais detalhes e histórico de execuções.

Links detalhados:

0. Resultados totais para cada tipo de saída e arquiteturas do Firebird
1. ERROS MAP: distribuição dos erros do Firebird que ocorreram durante as execuções
2. FRESH FAILS: testes que falharam apenas na última execução
3. FRESH ERRORS: testes que geraram erros de runtime apenas na última execução
4. STILL FAILS: testes que falharam por pelo menos duas execuções anteriores
5. HAS FAILS: testes com pelo menos uma falha nas execuções anteriores
6. Has runtime errors: testes com pelo menos um erro de runtime em execuções anteriores
7. FRESH PASSED: testes bem sucedidos com resultados anteriores = FAIL/ERROR/SKIPPED ou AUSENTE
8. ALL TESTS: saída - todos os resultados das últimas 30 execuções
9. ALL TESTS: A. Ignorado: testes que foram intencionalmente excluídos da execução

Resultados do Firebird OLTP Emul

O OLTP Emul simula uma aplicação OLTP com grande carga e utiliza muitos SQLs sofisticados em ambiente multithread.

Nossos planos para o futuro:
1) Publicar os fontes dos scripts automatizados no GitHub (precisamos limpá-los um pouco)
2) Realizar testes no Linux e incluir resultados nos relatórios do front-end
3) Melhorar a apresentação na web - certificado https, design, etc.
4) Migrar para o novo framework de testes do FBT quando sua adoção for concluída

Convidamos todos os interessados a participar do esforço.

Pavel Zotov é coordenador do projeto - pz@ibase.ru.

Relação
Alexey Kovyazin
IBSurgeon