Méthodologie
Les principes scientifiques communs qui encadrent la conception, la validation et la publication des travaux et des indices de l'Observatoire.
Le Manuel méthodologique général de l'OSRSS constitue le socle méthodologique commun de l'Observatoire. Il fixe les principes auxquels se rattachent les méthodologies détaillées propres à chaque indice. La crédibilité des indices dépend moins de leur capacité à produire des classements spectaculaires que de la robustesse du dispositif qui les sous-tend : définition conceptuelle, qualité des sources, règles de traitement, estimation de l'incertitude, tests de robustesse, transparence et reproductibilité.
Philosophie scientifique
Mesurer des réalités latentes. Plusieurs objets étudiés par l'OSRSS, tels que la souveraineté économique, la résilience, le contrôle des prix ou la captation de valeur, ne sont pas directement observables à partir d'une seule variable. Leur mesure mobilise plusieurs indicateurs, dont la combinaison doit être justifiée par un cadre conceptuel explicite. L'OSRSS s'appuie pour cela sur les principes du Handbook on Constructing Composite Indicators de l'OCDE et de la Commission européenne. Un score publié est une estimation construite selon des règles explicites, non une vérité exacte.
Séparer mesure, interprétation et prescription. Mesurer consiste à produire un score à partir de règles explicites ; interpréter, à expliquer ce que le score révèle et ce qu'il ne révèle pas ; prescrire, à proposer le cas échéant des orientations de politique publique. La prescription ne modifie jamais rétroactivement la méthode de mesure.
Ne pas confondre classement et causalité. Un indice composite peut identifier une position relative, une évolution ou une vulnérabilité ; il ne démontre pas qu'une variable en explique une autre. Toute affirmation causale doit être appuyée par une analyse économétrique ou une littérature dédiée.
Principe de parcimonie. Une formule complexe sans gain démontrable n'est pas une amélioration méthodologique : la sophistication n'est retenue que si elle améliore la validité conceptuelle, la précision, la comparabilité ou la robustesse.
Gouvernance scientifique
La méthodologie est protégée des objectifs de communication, des intérêts commerciaux et des préférences de classement : aucune pondération, borne, exclusion de pays ou transformation n'est modifiée dans le but d'obtenir un résultat attendu.
Le manuel recommande quatre organes :
- Comité scientifique : validité conceptuelle, cohérence académique et évolutions majeures de méthode.
- Comité méthodologique : règles statistiques, tests de robustesse, choix de pondération et d'agrégation, reproductibilité.
- Unité données et qualité : collecte, qualification des sources, contrôle qualité, versionnage et dictionnaire de données.
- Unité de production : exécution des calculs selon les méthodes validées, sans pouvoir modifier les paramètres de fond.
Toute modification méthodologique substantielle fait l'objet d'une note de justification, d'une simulation sur les séries historiques, d'une analyse d'impact sur les scores et rangs, d'une validation scientifique et d'une publication dans un journal des révisions.
Politique de données
Chaque source est évaluée au minimum selon sa pertinence, son originalité, sa transparence, sa régularité, sa couverture géographique, sa comparabilité temporelle, son indépendance, sa stabilité méthodologique et la possibilité d'audit ou de recoupement. Un score documentaire interne de qualification peut documenter l'acceptation, la surveillance ou l'exclusion d'une source ; il ne remplace pas l'analyse humaine.
Selon la nature de l'indice, la préférence va, dans l'ordre, aux données administratives ou statistiques officielles auditables, aux bases internationales harmonisées, aux données réglementaires et de marché, aux enquêtes représentatives, aux évaluations expertes documentées, puis aux données alternatives ou propriétaires sous réserve de transparence suffisante.
Chaque observation doit pouvoir être reliée à sa source, son URL ou sa référence, sa date de collecte, son millésime, son unité, sa transformation éventuelle, son responsable de validation et son statut de qualité.
Validation
Chaque indice franchit quatre niveaux de validation avant diffusion publique :
- Validation conceptuelle : cohérence avec la théorie et l'objet mesuré.
- Validation des données : qualité, couverture et comparabilité.
- Validation statistique : distributions, corrélations, sensibilité, robustesse.
- Validation externe : comparaison avec des phénomènes ou indices indépendants plausiblement associés.
Règles de publication
Chaque publication d'indice présente au minimum : le score, l'année ou la période de référence, la couverture des données, les principales dimensions, les méthodes de normalisation, de pondération et d'agrégation, l'incertitude ou à défaut une indication de robustesse, le statut des données imputées, la version méthodologique et les limites majeures. Un classement sans accès à ces informations n'est pas publié comme produit scientifique de l'OSRSS.
Un analyste indépendant disposant des mêmes données et du même code doit pouvoir reproduire le score publié, à l'arrondi près. Chaque publication reçoit un identifiant de version (indice, année, version de méthode, version des données).
Révisions
Trois types de révision sont distingués : la révision de données (correction ou mise à jour des observations), la révision paramétrique (changement de bornes, poids ou paramètres sans changement conceptuel) et la révision méthodologique majeure (changement de dimensions, de méthode d'agrégation ou de définition du construit). Une révision majeure impose un recalcul historique lorsque les données le permettent.
