Algoritmos, Segregação de dados e Overfitting

Como o nome diz overfitting é um ajuste excessivo ou sobre-ajuste. No caso da otimização é a obtenção de variáveis de entrada da estratégia que funcionam muito bem para os dados IN SAMPLE, mas quando executado o backtesting a estratégia apresenta uma deterioração muito significativa do resultado. Ou seja, o ajuste do modelo encontrado possui baixa capacidade de generalização.

Este é o maior risco da otimização: deterioração de desempenho com dados novos. E quais são as possíveis causas de overfitting? Excesso de graus de liberdade e dados com viés. Vamos entender isso melhor:

Quanto mais variáveis de entrada a otimização estiver calculando, mais graus de liberdade você estamos dando para que a otimização ajuste a estratégia aos dados apresentados. Isto significa que podemos estar otimizando um modelo muito específico que utilize mais indicadores do que precisa ou colocando na otimização muitas variáveis. As configurações que apresentarem os melhores resultados em otimização podem ter chance grande de estarem com overfitting. Algumas pessoas recomendam descartar os melhores resultados, mas é recomendável rodar todas eles em backtesting para certificar se realmente houve ou não overfitting.

Outra forma de incorrer em overfitting é fazer a otimização em um conjunto de dados muito específico, ou seja, dados que tenham, por exemplo, apenas uma tendência de alta no plano mais macro e baixa volatilidade. A otimização vai gerar a melhor configuração para esta situação. Se o backtesting tiver dados, por exemplo, de uma tendência de baixa ou maior volatilidade, é bem provável que o modelo não terá bom desempenho porque a otimização não presenciou esse tipo de situação no ajuste das variáveis.

É bom ressaltar a diferença entre overfitting e otimização focada em situação de mercado. Haverá situações em que desejamos que uma estratégia tenha desempenho equilibrado tanto em mercado de alta como de baixa ou lateralizado. E pra isso precisamos garantir que os dados in sample contenham essa diversidade de cenários.

Mas também podem haver situações, em que queremos fazer a otimização apenas com dados de mercado em alta, por exemplo. Porque iremos colocar para rodar o robô apenas nesta situação. Então é interessante fazer a otimização focada neste cenário, mas sem incorrer em overfitting. O overfitting nesse caso seria ter um desempenho ruim, mesmo quando o backtesting é aplicado em cenário semelhante aos dados de otimização. Isto significa que a otimização fez um sobreajuste para a situação de mercado de alta dos dados de treino, apresentando pouca capacidade de generalização.

É importante observar que a identificação de overfitting é feita no backtesting com dados OUT OF SAMPLE, ou seja, não utilizados na otimização. E por isto a importância de separarmos os dados no início do processo!

O problema do overfitting é que quando ele não é percebido, o elaborador da estratégia cria a falsa expectativa de desempenho da estratégia baseado em resultados de otimização que não vão se repetir com dados novos, o que pode representar prejuízos financeiros que apenas cessarão quando decidir-se parar de rodar a estratégia. E talvez a causa desse prejuízo nem seja corretamente identificada pelo elaborador da estratégia.