From 9be254e356e00fbff7de6d321cae813d22e2a4a5 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Maria=20Vit=C3=B3ria?= Date: Tue, 10 Nov 2026 09:25:30 -0300 Subject: [PATCH 1/2] genai: revisao humana da avaliacao v4 (17 pareceres, rodada 1) --- ...ltados_parecer_v4_gemini-3.5-flash-lite.md | 58 ++++++++++++------- 1 file changed, 37 insertions(+), 21 deletions(-) diff --git a/genai/avaliacao/resultados_parecer_v4_gemini-3.5-flash-lite.md b/genai/avaliacao/resultados_parecer_v4_gemini-3.5-flash-lite.md index 3820d3a..9fba8ad 100644 --- a/genai/avaliacao/resultados_parecer_v4_gemini-3.5-flash-lite.md +++ b/genai/avaliacao/resultados_parecer_v4_gemini-3.5-flash-lite.md @@ -25,7 +25,7 @@ Casos com resposta diferente entre as rodadas: C01 (fontes — / ['lgpd-art20-1']), C03 (fontes ['cdc-art54d-1'] / —), C04 (fontes ['lgpd-art20-1'] / —), D02 (fontes ['cdc-art52-1'] / —). -## Revisão humana (preencher) +## Revisão humana (preenchida em 10/11/2026, por Maria Vitória) Sim/não em Fidelidade, Citação correta e Alucinação (sim = alucinou); Clareza de 1 a 5. Ler a rodada 1 abaixo. @@ -33,26 +33,26 @@ Na Citação correta, conferir também: (1) o parecer não diz que algo "cumpre" | Caso | Tipo | Origem (r1/r2) | Fontes (r1) | Fidelidade | Citação correta | Alucinação | Clareza | |---|---|---|---|---|---|---|---| -| C01 | acima_do_justo | llm/llm | — | | | | | -| C02 | acima_do_justo | llm/llm | lgpd-art20-1 | | | | | -| C03 | acima_do_justo | llm/template | cdc-art54d-1 | | | | | -| C04 | acima_do_justo | llm/llm | lgpd-art20-1 | | | | | -| C05 | acima_do_justo | llm/llm | — | | | | | -| C06 | abaixo_do_justo | llm/llm | ref-p14-1 | | | | | -| C07 | abaixo_do_justo | llm/llm | ref-p14-1 | | | | | -| C08 | abaixo_do_justo | llm/llm | ref-p14-1 | | | | | -| C09 | abaixo_do_justo | llm/llm | ref-p14-1 | | | | | -| C10 | dentro_da_margem | llm/llm | — | | | | | -| C11 | dentro_da_margem | llm/llm | — | | | | | -| C12 | dentro_da_margem | llm/llm | — | | | | | -| C13 | dentro_da_margem | llm/llm | — | | | | | -| C14 | revisao_manual | template/template | — | | | | | -| C15 | revisao_manual | template/template | — | | | | | -| D01 | difícil | llm/llm | — | | | | | -| D02 | difícil | llm/llm | cdc-art52-1 | | | | | -| D03 | difícil | llm/llm | — | | | | | -| D04 | difícil | template/template | — | | | | | -| D05 | difícil | llm/llm | — | | | | | +| C01 | acima_do_justo | llm/llm | — | sim | n/a | não | 3 | +| C02 | acima_do_justo | llm/llm | lgpd-art20-1 | sim | sim | não | 3 | +| C03 | acima_do_justo | llm/template | cdc-art54d-1 | sim | sim | não | 4 | +| C04 | acima_do_justo | llm/llm | lgpd-art20-1 | sim | não | não | 3 | +| C05 | acima_do_justo | llm/llm | — | sim | n/a | não | 4 | +| C06 | abaixo_do_justo | llm/llm | ref-p14-1 | sim | sim | não | 4 | +| C07 | abaixo_do_justo | llm/llm | ref-p14-1 | sim | sim | não | 2 | +| C08 | abaixo_do_justo | llm/llm | ref-p14-1 | sim | sim | não | 4 | +| C09 | abaixo_do_justo | llm/llm | ref-p14-1 | sim | sim | não | 4 | +| C10 | dentro_da_margem | llm/llm | — | sim | n/a | não | 5 | +| C11 | dentro_da_margem | llm/llm | — | sim | n/a | não | 3 | +| C12 | dentro_da_margem | llm/llm | — | sim | n/a | não | 4 | +| C13 | dentro_da_margem | llm/llm | — | sim | n/a | não | 3 | +| C14 | revisao_manual | template/template | — | — | — | — | — | +| C15 | revisao_manual | template/template | — | — | — | — | — | +| D01 | difícil | llm/llm | — | sim | n/a | não | 3 | +| D02 | difícil | llm/llm | cdc-art52-1 | sim | sim | não | 4 | +| D03 | difícil | llm/llm | — | sim | n/a | não | 4 | +| D04 | difícil | template/template | — | — | — | — | — | +| D05 | difícil | llm/llm | — | sim | n/a | não | 5 | ## Pareceres (rodada 1) @@ -231,3 +231,19 @@ Na Citação correta, conferir também: (1) o parecer não diz que algo "cumpre" - **Resumo:** O juro cobrado de 45,6% ao ano (nominal) está dentro da margem esperada para o risco. A faixa de risco é classificada como B. - **Recomendação:** Recomenda-se manter o preço, pois a taxa está dentro do intervalo esperado para a operação. A decisão final é do analista. - **Fontes:** nenhuma + +Legenda: n/a = o parecer não citou norma; — = parecer do template (não avaliado). Clareza: 5 claro e enxuto; 4 claro, com um detalhe sobrando; 3 entende-se, mas repete a recomendação ou tem texto confuso; 2 pode levar o leitor a erro; 1 não dá para entender. + +### Resumo da revisão (rodada 1, 17 pareceres do LLM) +- Fidelidade: 17/17. Alucinação: 0/17. +- Citação correta: 7/8 pareceres com fonte (a falha é o C04). +- Clareza média: 3,6. + +### Observações da revisão +- C04: LGPD art. 20 nas fontes sem o texto falar dela (citação decorativa). Corrigido depois no código (ajustes finais). +- C07: "30,6% abaixo de 30,58%" parece contraditório (o valor real é 30,56%). O fato está certo, mas a forma pode confundir o analista: clareza 2. Corrigido depois no código (2 casas decimais quando 1 casa deixaria os juros iguais). +- C03: o art. 54-D, II está citado corretamente, mas trata da concessão do crédito, não do preço; pertinência fraca (não estava entre as normas aceitas). +- C11: "a recomendação escolhida pelo código" expõe o funcionamento interno ao analista. +- Notas 3 em clareza (C01, C02, C04, C13, D01): quase todas por repetir a recomendação nos pontos ou no resumo. Corrigido depois no código (ajustes finais). +- Casos difíceis: D01 sem gênero e idade, D02 manteve "indício" com juro de 240% ao ano, D03 não forçou citação, D05 sem o país. Os quatro passaram. +- A revisão é do texto original do LLM, antes dos ajustes do código. \ No newline at end of file From f5eb0e1e435d23c9a96e2c55f245be12b66a1511 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Maria=20Vit=C3=B3ria?= Date: Tue, 10 Nov 2026 10:10:46 -0300 Subject: [PATCH 2/2] genai: resumo e observacoes da revisao logo abaixo da tabela --- ...ltados_parecer_v4_gemini-3.5-flash-lite.md | 31 ++++++++++--------- 1 file changed, 16 insertions(+), 15 deletions(-) diff --git a/genai/avaliacao/resultados_parecer_v4_gemini-3.5-flash-lite.md b/genai/avaliacao/resultados_parecer_v4_gemini-3.5-flash-lite.md index 9fba8ad..4c2efaa 100644 --- a/genai/avaliacao/resultados_parecer_v4_gemini-3.5-flash-lite.md +++ b/genai/avaliacao/resultados_parecer_v4_gemini-3.5-flash-lite.md @@ -54,6 +54,22 @@ Na Citação correta, conferir também: (1) o parecer não diz que algo "cumpre" | D04 | difícil | template/template | — | — | — | — | — | | D05 | difícil | llm/llm | — | sim | n/a | não | 5 | +Legenda: n/a = o parecer não citou norma; — = parecer do template (não avaliado). Clareza: 5 claro e enxuto; 4 claro, com um detalhe sobrando; 3 entende-se, mas repete a recomendação ou tem texto confuso; 2 pode levar o leitor a erro; 1 não dá para entender. + +### Resumo da revisão (rodada 1, 17 pareceres do LLM) +- Fidelidade: 17/17. Alucinação: 0/17. +- Citação correta: 7/8 pareceres com fonte (a falha é o C04). +- Clareza média: 3,6. + +### Observações da revisão +- C04: LGPD art. 20 nas fontes sem o texto falar dela (citação decorativa). Corrigido depois no código (ajustes finais). +- C07: "30,6% abaixo de 30,58%" parece contraditório (o valor real é 30,56%). O fato está certo, mas a forma pode confundir o analista: clareza 2. Corrigido depois no código (2 casas decimais quando 1 casa deixaria os juros iguais). +- C03: o art. 54-D, II está citado corretamente, mas trata da concessão do crédito, não do preço; pertinência fraca (não estava entre as normas aceitas). +- C11: "a recomendação escolhida pelo código" expõe o funcionamento interno ao analista. +- Notas 3 em clareza (C01, C02, C04, C13, D01): quase todas por repetir a recomendação nos pontos ou no resumo. Corrigido depois no código (ajustes finais). +- Casos difíceis: D01 sem gênero e idade, D02 manteve "indício" com juro de 240% ao ano, D03 não forçou citação, D05 sem o país. Os quatro passaram. +- A revisão é do texto original do LLM, antes dos ajustes do código. + ## Pareceres (rodada 1) ### C01 (acima_do_justo): Recomenda revisar o preço? Fala em indício, sem conclusão jurídica? Cita norma pertinente? @@ -232,18 +248,3 @@ Na Citação correta, conferir também: (1) o parecer não diz que algo "cumpre" - **Recomendação:** Recomenda-se manter o preço, pois a taxa está dentro do intervalo esperado para a operação. A decisão final é do analista. - **Fontes:** nenhuma -Legenda: n/a = o parecer não citou norma; — = parecer do template (não avaliado). Clareza: 5 claro e enxuto; 4 claro, com um detalhe sobrando; 3 entende-se, mas repete a recomendação ou tem texto confuso; 2 pode levar o leitor a erro; 1 não dá para entender. - -### Resumo da revisão (rodada 1, 17 pareceres do LLM) -- Fidelidade: 17/17. Alucinação: 0/17. -- Citação correta: 7/8 pareceres com fonte (a falha é o C04). -- Clareza média: 3,6. - -### Observações da revisão -- C04: LGPD art. 20 nas fontes sem o texto falar dela (citação decorativa). Corrigido depois no código (ajustes finais). -- C07: "30,6% abaixo de 30,58%" parece contraditório (o valor real é 30,56%). O fato está certo, mas a forma pode confundir o analista: clareza 2. Corrigido depois no código (2 casas decimais quando 1 casa deixaria os juros iguais). -- C03: o art. 54-D, II está citado corretamente, mas trata da concessão do crédito, não do preço; pertinência fraca (não estava entre as normas aceitas). -- C11: "a recomendação escolhida pelo código" expõe o funcionamento interno ao analista. -- Notas 3 em clareza (C01, C02, C04, C13, D01): quase todas por repetir a recomendação nos pontos ou no resumo. Corrigido depois no código (ajustes finais). -- Casos difíceis: D01 sem gênero e idade, D02 manteve "indício" com juro de 240% ao ano, D03 não forçou citação, D05 sem o país. Os quatro passaram. -- A revisão é do texto original do LLM, antes dos ajustes do código. \ No newline at end of file