O que significa
Uma estimativa de probabilidade está bem calibrada quando os resultados ocorrem com uma frequência semelhante à sugerida pela estimativa. Se um modelo atribuir uma probabilidade de 70% a muitos eventos comparáveis, espera-se que cerca de 70% desses eventos ocorram numa amostra suficientemente grande e representativa. Não é possível verificar uma previsão individual de 70% com um único resultado.
A calibração exige um evento específico, um horizonte temporal e uma regra para registar o resultado. Na negociação de ações, «sucesso» pode significar uma condição definida para uma execução proposta ou um resultado posterior do mercado; são eventos diferentes. Sem saber qual o evento previsto, é difícil avaliar uma percentagem. A calibração não indica se uma operação é rentável, se os custos são aceitáveis ou se o risco se adequa às circunstâncias do investidor.
Como se calcula
Uma verificação prática agrupa previsões anteriores em intervalos de probabilidade e compara a previsão média de cada intervalo com a taxa de resultados observada:
desvio de calibração = |(soma das probabilidades previstas / n) − (número de sucessos observados / n)|
- Probabilidade prevista: A estimativa do modelo para o evento definido, expressa em decimal; 70% corresponde a 0,70.
- Sucesso observado: Um resultado registado como 1 se o evento definido ocorreu e como 0 caso contrário.
- n: O número de previsões no intervalo.
- Desvio de calibração: A diferença absoluta entre a previsão média e a taxa de sucesso observada, expressa em unidades de probabilidade. Multiplique por 100 para a expressar em pontos percentuais.
Um desvio menor é melhor para esse intervalo, mas não prova que o modelo esteja globalmente calibrado. Os analistas também examinam vários intervalos, a dimensão das amostras, as alterações nas condições de mercado e se os casos testados são semelhantes aos casos futuros. Um modelo pode apresentar um desvio agregado reduzido e, ainda assim, fornecer probabilidades enganadoras para determinados grupos.
Exemplo prático
Suponha, hipoteticamente, que um modelo atribui 70% a cada um de 100 casos pré-negociação comparáveis, analisados de forma independente. O evento e o período de análise são definidos antes da verificação dos resultados. Mais tarde, 60 casos satisfazem a definição do evento.
- Some as previsões: 100 × 0,70 = 70; divida por 100 para obter uma probabilidade prevista média de 0,70.
- Calcule a taxa observada: 60 ÷ 100 = 0,60, ou 60%.
- Calcule o desvio: |0,70 − 0,60| = 0,10, ou 10 pontos percentuais.
Neste grupo hipotético, a frequência prevista é superior à frequência observada. Só por si, esta constatação não permite determinar a causa: a amostra pode não ser representativa, o evento pode ter sido registado de forma inconsistente ou as condições podem ter mudado. Um grupo diferente pode apresentar um desvio diferente.
Porque é importante antes de negociar
Uma probabilidade pode parecer precisa mesmo quando a sua relação com os resultados reais é incerta. Saber o que mede e como se comportaram previsões comparáveis ajuda o investidor particular a interpretá-la como uma estimativa, não como uma promessa. A calibração é diferente da capacidade de discriminação: um modelo pode ordenar eficazmente casos de maior e menor risco e, ao mesmo tempo, atribuir probabilidades sistematicamente demasiado altas ou demasiado baixas.
As verificações de calibração também devem evitar selecionar apenas os casos em que se realizou uma operação sem considerar os casos que foram ignorados. Esses grupos podem ser diferentes, e a ausência de resultados pode distorcer a comparação. A calibração passada não garante que as probabilidades se mantenham calibradas à medida que a liquidez, a volatilidade ou os dados disponíveis mudam.
Como a PreTrAIde utiliza este conceito
A PreTrAIde apresenta, para cada cesto e recomendação por linha, uma probabilidade de sucesso estimada pelo modelo entre 5% e 95%. Não se trata de uma garantia nem de uma previsão de rendibilidade. A análise pré-negociação inclui também uma avaliação do risco, uma estratégia de execução sugerida e uma explicação em linguagem clara. As pontuações quantitativas servem de base à análise por IA, e as salvaguardas rebaixam uma recomendação GO quando a probabilidade de sucesso é inferior a 50%.
As informações sobre o produto não especificam um método de calibração, um desvio de calibração medido nem alegam que estas probabilidades estejam calibradas. A PreTrAIde Memory pode utilizar resultados de negociação registados para personalizar análises posteriores ao nível da IA; as pontuações quantitativas permanecem idênticas. A personalização não deve ser confundida com prova de calibração das probabilidades.
Erros comuns
- Tratar os 70% como um resultado garantido: A percentagem expressa a incerteza quanto a um evento definido, não o resultado de um único caso.
- Confundir calibração com rentabilidade: Mesmo uma probabilidade de evento bem calibrada nada diz, por si só, sobre ganhos, perdas ou custos de transação.
- Comparar eventos diferentes: As previsões e os resultados observados têm de usar a mesma definição de evento e o mesmo horizonte temporal.
- Avaliar com um único intervalo ou uma amostra minúscula: Uma única média pode ocultar erros grandes noutros grupos, e amostras pequenas produzem taxas observadas voláteis.
- Supor que as salvaguardas provam a calibração: Limitar o intervalo de uma probabilidade ou corrigir uma recomendação contraditória não equivale a comparar as frequências previstas com os resultados.