Erreur de prévision

Supposons que vous disposiez d'un modèle $\left({\hat{x}}_n\right)$ pour une série temporelle donnée $\left(x_n\right)$. Rappelez-vous, d'après Composantes de l'analyse de séries temporelles, que les résidus quantifient l'erreur entre la série temporelle et le modèle et servent d'estimation du bruit ou de la variation aléatoire.

Mieux le modèle est ajusté aux données observées, plus les valeurs de ${\epsilon }_n$ seront faibles. Cependant, même de très bons modèles peuvent s'avérer de piètres prédicteurs des valeurs futures de la série temporelle. Paradoxalement, plus un modèle s'ajuste bien aux données connues, moins il risque d'être performant pour prédire les données futures. Il existe un risque de surapprentissage. (Ce terme est défini en détail dans Notions de base de la prise de décision par apprentissage automatique, mais pour l'instant, nous n'avons pas besoin d'approfondir ce sujet.) Une technique courante pour éviter le surapprentissage consiste à construire le modèle en utilisant seulement une partie des données connues, puis l'exactitude du modèle peut être testée sur les données restantes qui ont été mises de côté.

Pour évaluer l'exactitude d'un modèle, nous devons poser la question complémentaire : À quelle distance les prédictions se situent-elles des valeurs réelles ? En d'autres termes, nous devons essayer de quantifier l'erreur totale. Il existe plusieurs mesures d'erreur (measures of error), ou mesures d'ajustement (measures of fit), c'est-à-dire les métriques utilisées pour évaluer dans quelle mesure les prédictions d'un modèle correspondent aux données observées. Nous n'aborderons ici que quelques-unes d'entre elles qui sont les plus utiles pour les séries temporelles. Dans chaque formule, $x_i$ désigne le $i^{\text{e}}$ terme de la série temporelle, et ${\epsilon }_i$ est l'erreur entre le $i^{\text{e}}$ terme réel et le $i^{\text{e}}$ terme prédit de la série.

1. Erreur absolue moyenne (MAE) (mean absolute error (MAE)) : $\frac{1}{n}\sum _{i=1}^n|{\epsilon }_i|$. Une mesure de l'ampleur moyenne des erreurs.
2. Racine de l'erreur quadratique moyenne (RMSE) (root mean squared error (RMSE)) : $\sqrt{\frac{1}{n}\sum _{i=1}^n\left({{\epsilon }_i}^2\right)}$. Une mesure de l'écart type des erreurs, pénalisant plus lourdement les erreurs importantes que la MAE.
3. Erreur absolue moyenne en pourcentage (MAPE) (mean absolute percentage error (MAPE)) : $\frac{1}{n}\sum _{i=1}^n|\frac{{\epsilon }_i}{x_i}|$. Une mesure des erreurs relatives moyennes — c'est-à-dire un pourcentage entre les valeurs prédites et les valeurs réelles (en moyenne).
4. Erreur absolue moyenne en pourcentage symétrique (sMAPE) (symmetric mean absolute percentage error (sMAPE)) : $\frac{1}{n}\sum _{i=1}^n\frac{2|{\epsilon }_i|}{|x_i|+|{\hat{x}}_i|}$. Semblable à la MAPE, une mesure des erreurs relatives moyennes, mais normalisée afin que les erreurs soient mesurées par rapport aux valeurs réelles ainsi qu'aux valeurs prédites.

Parmi ces mesures d'erreur, la MAE et la RMSE sont dépendantes de l'échelle (scale-dependent), ce qui signifie que l'erreur est directement proportionnelle aux données elles-mêmes. En d'autres termes, si tous les termes de la série temporelle et du modèle étaient multipliés par un facteur $k$, alors la MAE et la RMSE seraient également toutes deux multipliées par $k$. En revanche, la MAPE et la sMAPE ne dépendent pas de l'échelle. Ces mesures d'erreur sont souvent exprimées sous forme de pourcentages (en multipliant le résultat de la formule par 100 %). Toutefois, ni la MAPE ni la sMAPE ne doivent être utilisées pour des données mesurées sur une échelle contenant 0 et des nombres négatifs. Par exemple, il ne serait pas judicieux d'utiliser la MAPE ou la sMAPE comme mesure d'erreur pour un modèle de série temporelle de relevés de température en degrés Celsius. Pour toutes ces mesures d'erreur, des valeurs plus faibles indiquent une erreur moindre et donc une plus grande exactitude du modèle. Cela est particulièrement utile pour comparer deux modèles ou plus.

Intervalles de prédiction

Une prévision est souvent accompagnée d'un intervalle de prédiction (prediction interval) fournissant une plage de valeurs que la variable pourrait prendre avec un certain niveau de probabilité. Par exemple, si l'intervalle de prédiction d'une prévision est indiqué à 80 %, alors l'intervalle de prédiction contient une plage de valeurs qui devrait inclure la valeur future réelle avec une probabilité de 0,8. Les intervalles de prédiction ont été introduits dans Analyse de la variance (ANOVA) dans le contexte de la régression linéaire, nous n'entrerons donc pas ici dans les détails mathématiques. Le point essentiel est que nous recherchons une mesure de la marge d'erreur, $E_n$ (dépendant de $n$), telle que les observations futures des données se situeront dans l'intervalle ${\hat{x}}_n\pm E_n$ avec une probabilité $\alpha$, où $\alpha$ est un niveau de confiance choisi.

Ici, nous allons montrer comment utiliser Python pour obtenir des intervalles de prédiction.

La bibliothèque Python statsmodels.tsa.arima.model contient également des fonctions permettant de déterminer les intervalles de confiance. Notez que la commande get_forecast() est utilisée ici plutôt que forecast(), car la première offre davantage de fonctionnalités.

Code Python

    ### Please run all code from previous section before running this ###
    
    # Set alpha to 0.2 for 80% confidence interval
    forecast_steps = 24
    forecast_results = results.get_forecast(steps=forecast_steps, alpha=0.2) 
    
    # Extract forecast values and confidence intervals
    forecast_values = forecast_results.predicted_mean
    confidence_intervals = forecast_results.conf_int()
    
    # Plot the results
    plt.figure(figsize=(10, 6))
    
    # Plot original time series
    plt.plot(df['Value'], label='Original Time Series')
    
    # Plot fitted values
    plt.plot(results.fittedvalues, color='red', label='Fitted Values')
    
    # Plot forecasted values with confidence intervals
    plt.plot(forecast_values, color='red', linestyle='dashed', label='Forecasted Values')
    plt.fill_between(
      range(len(df), len(df) + forecast_steps),
      confidence_intervals.iloc[:, 0],
      confidence_intervals.iloc[:, 1],
      color='red', alpha=0.2,
      label='80% Confidence Interval' 
    )
    
    # Set labels and legend
    plt.xlabel('Months')
    plt.title('Monthly Consumption of Coal for Electricity Generation in the United States from 2016 to 2022')
    plt.legend()
    
    # Apply the formatter to the Y-axis
    plt.gca().yaxis.set_major_formatter(FuncFormatter(y_format))
    plt.show()
    

Le résultat obtenu ressemble à ceci :

Les données de prévision (courbe en pointillés) sont désormais entourées d'une région ombrée. Avec une probabilité de 80 %, toutes les observations futures devraient s'inscrire dans cette région ombrée. Bien entendu, plus nous essayons d'aller loin dans le futur, plus nos prévisions seront incertaines, ce qui se traduit par un intervalle de confiance de plus en plus large.