diff --git a/genai/avaliacao/resultados_parecer_v4_gemini-3.5-flash-lite.md b/genai/avaliacao/resultados_parecer_v4_gemini-3.5-flash-lite.md index 3820d3a..4c2efaa 100644 --- a/genai/avaliacao/resultados_parecer_v4_gemini-3.5-flash-lite.md +++ b/genai/avaliacao/resultados_parecer_v4_gemini-3.5-flash-lite.md @@ -25,7 +25,7 @@ Casos com resposta diferente entre as rodadas: C01 (fontes — / ['lgpd-art20-1']), C03 (fontes ['cdc-art54d-1'] / —), C04 (fontes ['lgpd-art20-1'] / —), D02 (fontes ['cdc-art52-1'] / —). -## Revisão humana (preencher) +## Revisão humana (preenchida em 10/11/2026, por Maria Vitória) Sim/não em Fidelidade, Citação correta e Alucinação (sim = alucinou); Clareza de 1 a 5. Ler a rodada 1 abaixo. @@ -33,26 +33,42 @@ Na Citação correta, conferir também: (1) o parecer não diz que algo "cumpre" | Caso | Tipo | Origem (r1/r2) | Fontes (r1) | Fidelidade | Citação correta | Alucinação | Clareza | |---|---|---|---|---|---|---|---| -| C01 | acima_do_justo | llm/llm | — | | | | | -| C02 | acima_do_justo | llm/llm | lgpd-art20-1 | | | | | -| C03 | acima_do_justo | llm/template | cdc-art54d-1 | | | | | -| C04 | acima_do_justo | llm/llm | lgpd-art20-1 | | | | | -| C05 | acima_do_justo | llm/llm | — | | | | | -| C06 | abaixo_do_justo | llm/llm | ref-p14-1 | | | | | -| C07 | abaixo_do_justo | llm/llm | ref-p14-1 | | | | | -| C08 | abaixo_do_justo | llm/llm | ref-p14-1 | | | | | -| C09 | abaixo_do_justo | llm/llm | ref-p14-1 | | | | | -| C10 | dentro_da_margem | llm/llm | — | | | | | -| C11 | dentro_da_margem | llm/llm | — | | | | | -| C12 | dentro_da_margem | llm/llm | — | | | | | -| C13 | dentro_da_margem | llm/llm | — | | | | | -| C14 | revisao_manual | template/template | — | | | | | -| C15 | revisao_manual | template/template | — | | | | | -| D01 | difícil | llm/llm | — | | | | | -| D02 | difícil | llm/llm | cdc-art52-1 | | | | | -| D03 | difícil | llm/llm | — | | | | | -| D04 | difícil | template/template | — | | | | | -| D05 | difícil | llm/llm | — | | | | | +| C01 | acima_do_justo | llm/llm | — | sim | n/a | não | 3 | +| C02 | acima_do_justo | llm/llm | lgpd-art20-1 | sim | sim | não | 3 | +| C03 | acima_do_justo | llm/template | cdc-art54d-1 | sim | sim | não | 4 | +| C04 | acima_do_justo | llm/llm | lgpd-art20-1 | sim | não | não | 3 | +| C05 | acima_do_justo | llm/llm | — | sim | n/a | não | 4 | +| C06 | abaixo_do_justo | llm/llm | ref-p14-1 | sim | sim | não | 4 | +| C07 | abaixo_do_justo | llm/llm | ref-p14-1 | sim | sim | não | 2 | +| C08 | abaixo_do_justo | llm/llm | ref-p14-1 | sim | sim | não | 4 | +| C09 | abaixo_do_justo | llm/llm | ref-p14-1 | sim | sim | não | 4 | +| C10 | dentro_da_margem | llm/llm | — | sim | n/a | não | 5 | +| C11 | dentro_da_margem | llm/llm | — | sim | n/a | não | 3 | +| C12 | dentro_da_margem | llm/llm | — | sim | n/a | não | 4 | +| C13 | dentro_da_margem | llm/llm | — | sim | n/a | não | 3 | +| C14 | revisao_manual | template/template | — | — | — | — | — | +| C15 | revisao_manual | template/template | — | — | — | — | — | +| D01 | difícil | llm/llm | — | sim | n/a | não | 3 | +| D02 | difícil | llm/llm | cdc-art52-1 | sim | sim | não | 4 | +| D03 | difícil | llm/llm | — | sim | n/a | não | 4 | +| D04 | difícil | template/template | — | — | — | — | — | +| D05 | difícil | llm/llm | — | sim | n/a | não | 5 | + +Legenda: n/a = o parecer não citou norma; — = parecer do template (não avaliado). Clareza: 5 claro e enxuto; 4 claro, com um detalhe sobrando; 3 entende-se, mas repete a recomendação ou tem texto confuso; 2 pode levar o leitor a erro; 1 não dá para entender. + +### Resumo da revisão (rodada 1, 17 pareceres do LLM) +- Fidelidade: 17/17. Alucinação: 0/17. +- Citação correta: 7/8 pareceres com fonte (a falha é o C04). +- Clareza média: 3,6. + +### Observações da revisão +- C04: LGPD art. 20 nas fontes sem o texto falar dela (citação decorativa). Corrigido depois no código (ajustes finais). +- C07: "30,6% abaixo de 30,58%" parece contraditório (o valor real é 30,56%). O fato está certo, mas a forma pode confundir o analista: clareza 2. Corrigido depois no código (2 casas decimais quando 1 casa deixaria os juros iguais). +- C03: o art. 54-D, II está citado corretamente, mas trata da concessão do crédito, não do preço; pertinência fraca (não estava entre as normas aceitas). +- C11: "a recomendação escolhida pelo código" expõe o funcionamento interno ao analista. +- Notas 3 em clareza (C01, C02, C04, C13, D01): quase todas por repetir a recomendação nos pontos ou no resumo. Corrigido depois no código (ajustes finais). +- Casos difíceis: D01 sem gênero e idade, D02 manteve "indício" com juro de 240% ao ano, D03 não forçou citação, D05 sem o país. Os quatro passaram. +- A revisão é do texto original do LLM, antes dos ajustes do código. ## Pareceres (rodada 1) @@ -231,3 +247,4 @@ Na Citação correta, conferir também: (1) o parecer não diz que algo "cumpre" - **Resumo:** O juro cobrado de 45,6% ao ano (nominal) está dentro da margem esperada para o risco. A faixa de risco é classificada como B. - **Recomendação:** Recomenda-se manter o preço, pois a taxa está dentro do intervalo esperado para a operação. A decisão final é do analista. - **Fontes:** nenhuma +