Conception d'expériences - Design of experiments

Plan d'expériences avec plan factoriel complet (gauche), surface de réponse avec polynôme du second degré (droite)

La conception d'expériences ( DOE , DOX ou conception expérimentale ) est la conception de toute tâche qui vise à décrire et à expliquer la variation de l'information dans des conditions supposées refléter la variation. Le terme est généralement associé à des expériences dans lesquelles la conception introduit des conditions qui affectent directement la variation, mais peut également faire référence à la conception de quasi-expériences , dans lesquelles les conditions naturelles qui influencent la variation sont sélectionnées pour l'observation.

Dans sa forme la plus simple, une expérience vise à prédire le résultat en introduisant un changement des conditions préalables, qui est représenté par une ou plusieurs variables indépendantes , également appelées « variables d'entrée » ou « variables prédictives ». La modification d'une ou plusieurs variables indépendantes est généralement supposée entraîner une modification d'une ou plusieurs variables dépendantes , également appelées « variables de sortie » ou « variables de réponse ». La conception expérimentale peut également identifier des variables de contrôle qui doivent être maintenues constantes pour éviter que des facteurs externes n'affectent les résultats. La conception expérimentale implique non seulement la sélection de variables indépendantes, dépendantes et de contrôle appropriées, mais également la planification de la réalisation de l'expérience dans des conditions statistiquement optimales compte tenu des contraintes des ressources disponibles. Il existe plusieurs approches pour déterminer l'ensemble de points de conception (combinaisons uniques des paramètres des variables indépendantes) à utiliser dans l'expérience.

Les principales préoccupations en matière de conception expérimentale comprennent l'établissement de la validité , de la fiabilité et de la reproductibilité . Par exemple, ces préoccupations peuvent être partiellement résolues en choisissant soigneusement la variable indépendante, en réduisant le risque d'erreur de mesure et en s'assurant que la documentation de la méthode est suffisamment détaillée. Les préoccupations connexes comprennent l'obtention de niveaux appropriés de puissance statistique et de sensibilité .

Des expériences correctement conçues font progresser les connaissances en sciences naturelles et sociales et en ingénierie. D'autres applications incluent le marketing et l'élaboration de politiques. L'étude du plan d'expériences est un sujet important en métascience .

Histoire

Expériences statistiques, à la suite de Charles S. Peirce

Une théorie de l'inférence statistique a été développée par Charles S. Peirce dans " Illustrations of the Logic of Science " (1877-1878) et " A Theory of Probable Inference " (1883), deux publications qui ont souligné l'importance de l'inférence basée sur la randomisation dans statistiques.

Expériences randomisées

Charles S. Peirce assignés au hasard des volontaires à un aveugle , la conception mesures répétées pour évaluer leur capacité à poids preuve de discrimination. L'expérience de Peirce a inspiré d'autres chercheurs en psychologie et en éducation, qui ont développé une tradition de recherche d'expériences aléatoires dans des laboratoires et des manuels spécialisés dans les années 1800.

Conceptions optimales pour les modèles de régression

Charles S. Peirce a également contribué à la première publication en anglais sur une conception optimale pour les modèles de régression en 1876. Une conception optimale pionnière pour la régression polynomiale a été suggérée par Gergonne en 1815. En 1918, Kirstine Smith a publié des conceptions optimales pour les polynômes de degré six ( et moins).

Séquences d'expériences

L'utilisation d'une séquence d'expériences, où la conception de chacune peut dépendre des résultats d'expériences précédentes, y compris la décision éventuelle d'arrêter l'expérimentation, entre dans le cadre de l'analyse séquentielle , un domaine qui a été lancé par Abraham Wald dans le contexte de tests séquentiels d'hypothèses statistiques. Herman Chernoff a écrit un aperçu des conceptions séquentielles optimales, tandis que les conceptions adaptatives ont été étudiées par S. Zacks. Un type spécifique de conception séquentielle est le « bandit à deux bras », généralisé au bandit à plusieurs bras , sur lequel les premiers travaux ont été effectués par Herbert Robbins en 1952.

Les principes de Fisher

Une méthodologie pour concevoir des expériences a été proposée par Ronald Fisher , dans ses livres innovants : The Arrangement of Field Experiments (1926) et The Design of Experiments (1935). Une grande partie de son travail de pionnier portait sur les applications agricoles des méthodes statistiques. À titre d'exemple banal, il a décrit comment tester l' hypothèse de la dégustation du thé par une dame, selon laquelle une certaine dame pouvait distinguer par la seule saveur si le lait ou le thé avait d'abord été placé dans la tasse. Ces méthodes ont été largement adaptées dans la recherche biologique, psychologique et agricole.

Comparaison
Dans certains domaines d'études, il n'est pas possible d'avoir des mesures indépendantes selon une norme de métrologie traçable . Les comparaisons entre les traitements sont beaucoup plus précieuses et sont généralement préférables, et souvent comparées à un contrôle scientifique ou à un traitement traditionnel qui sert de référence.
Randomisation
L'assignation aléatoire est le processus consistant à assigner des individus au hasard à des groupes ou à différents groupes dans une expérience, de sorte que chaque individu de la population ait la même chance de devenir un participant à l'étude. L'assignation aléatoire d'individus à des groupes (ou des conditions au sein d'un groupe) distingue une expérience « vraie » rigoureuse d'une étude observationnelle ou « quasi-expérience ». Il existe un vaste corpus de théories mathématiques qui explore les conséquences de l'attribution d'unités aux traitements au moyen d'un mécanisme aléatoire (tels que des tableaux de nombres aléatoires ou l'utilisation de dispositifs de randomisation tels que des cartes à jouer ou des dés). L'attribution d'unités aux traitements au hasard tend à atténuer la confusion , qui fait que les effets dus à des facteurs autres que le traitement semblent résulter du traitement.
Les risques associés à l'attribution aléatoire (comme un déséquilibre grave dans une caractéristique clé entre un groupe de traitement et un groupe témoin) sont calculables et peuvent donc être gérés jusqu'à un niveau acceptable en utilisant suffisamment d'unités expérimentales. Cependant, si la population est divisée en plusieurs sous-populations qui diffèrent d'une manière ou d'une autre et que la recherche exige que chaque sous-population soit de taille égale, un échantillonnage stratifié peut être utilisé. De cette façon, les unités de chaque sous-population sont randomisées, mais pas l'ensemble de l'échantillon. Les résultats d'une expérience ne peuvent être généralisés de manière fiable des unités expérimentales à une population statistique d'unités plus importante que si les unités expérimentales sont un échantillon aléatoire de la population plus large ; l'erreur probable d'une telle extrapolation dépend, entre autres, de la taille de l'échantillon.
Réplication statistique
Les mesures sont généralement sujettes à des variations et à des incertitudes de mesure ; ainsi, ils sont répétés et des expériences complètes sont répliquées pour aider à identifier les sources de variation, pour mieux estimer les effets réels des traitements, pour renforcer davantage la fiabilité et la validité de l'expérience et pour enrichir les connaissances existantes sur le sujet. Cependant, certaines conditions doivent être remplies avant que la réplication de l'expérience ne commence : la question de recherche originale a été publiée dans une revue à comité de lecture ou largement citée, le chercheur est indépendant de l'expérience originale, le chercheur doit d'abord essayer de reproduire la résultats originaux utilisant les données originales, et le compte rendu doit indiquer que l'étude menée est une étude de réplication qui a essayé de suivre l'étude originale aussi strictement que possible.
Blocage
Le blocage est l'arrangement non aléatoire d'unités expérimentales en groupes (blocs) constitués d'unités similaires les unes aux autres. Le blocage réduit les sources de variation connues mais non pertinentes entre les unités et permet ainsi une plus grande précision dans l'estimation de la source de variation à l'étude.
Orthogonalité
Exemple de plan factoriel orthogonal
L'orthogonalité concerne les formes de comparaison (contrastes) qui peuvent être légitimement et efficacement réalisées. Les contrastes peuvent être représentés par des vecteurs et les ensembles de contrastes orthogonaux ne sont pas corrélés et distribués indépendamment si les données sont normales. Du fait de cette indépendance, chaque traitement orthogonal fournit des informations différentes aux autres. S'il y a des traitements T et des contrastes orthogonaux T -1, toutes les informations qui peuvent être capturées à partir de l'expérience peuvent être obtenues à partir de l'ensemble des contrastes.
Expériences factorielles
Utilisation d'expériences factorielles au lieu de la méthode un facteur à la fois. Ceux-ci sont efficaces pour évaluer les effets et les interactions possibles de plusieurs facteurs (variables indépendantes). L'analyse de la conception de l' expérience repose sur l' analyse de la variance , un ensemble de modèles qui divisent la variance observée en composants, en fonction des facteurs que l'expérience doit estimer ou tester.

Exemple

Balance à tabac 1850.JPG

Cet exemple d'expériences de conception est attribué à Harold Hotelling , en s'appuyant sur des exemples de Frank Yates . Les expériences conçues dans cet exemple impliquent des conceptions combinatoires .

Les poids de huit objets sont mesurés à l'aide d'une balance à plateau et d'un ensemble de poids standard. Chaque pesée mesure la différence de poids entre les objets dans le plateau gauche et tous les objets dans le plateau droit en ajoutant des poids calibrés au plateau plus léger jusqu'à ce que la balance soit en équilibre. Chaque mesure a une erreur aléatoire . L'erreur moyenne est de zéro ; l' écart type de la distribution de probabilité des erreurs est le même nombre sur des pesées différentes ; les erreurs sur les différentes pesées sont indépendantes . Notons les vrais poids par

Nous considérons deux expériences différentes :

  1. Pesez chaque objet dans une casserole, avec l'autre casserole vide. Soit X i le poids mesuré de l'objet, pour i = 1, ..., 8.
  2. Faites les huit pesées selon le programme suivant et soit Y i la différence mesurée pour i = 1, ..., 8 :
Ensuite , la valeur estimée du poids thetav 1 est
Des estimations similaires peuvent être trouvées pour les poids des autres éléments. Par exemple

La question du plan d'expériences est : quelle expérience est la meilleure ?

La variance de l'estimation X 1 de θ 1 est σ 2 si nous utilisons la première expérience. Mais si nous utilisons la deuxième expérience, la variance de l'estimation donnée ci-dessus est σ 2 /8. Ainsi, la deuxième expérience nous donne 8 fois plus de précision pour l'estimation d'un seul élément, et estime tous les éléments simultanément, avec la même précision. Ce que la deuxième expérience réalise avec huit nécessiterait 64 pesées si les articles sont pesés séparément. Cependant, notez que les estimations pour les éléments obtenus dans la deuxième expérience ont des erreurs qui sont corrélées les unes aux autres.

De nombreux problèmes de la conception des expériences impliquent des conceptions combinatoires , comme dans cet exemple et d'autres.

Éviter les faux positifs

Les fausses conclusions positives , résultant souvent de la pression de publier ou du propre biais de confirmation de l'auteur , sont un danger inhérent à de nombreux domaines. Un bon moyen d'éviter les biais pouvant conduire à des faux positifs dans la phase de collecte de données est d'utiliser une conception en double aveugle. Lorsqu'une conception en double aveugle est utilisée, les participants sont assignés au hasard à des groupes expérimentaux, mais le chercheur ne sait pas quels participants appartiennent à quel groupe. Par conséquent, le chercheur ne peut pas affecter la réponse des participants à l'intervention. Les conceptions expérimentales avec des degrés de liberté non divulgués sont un problème. Cela peut conduire à un « p-hacking » conscient ou inconscient : essayer plusieurs choses jusqu'à ce que vous obteniez le résultat souhaité. Cela implique généralement la manipulation - peut-être inconsciemment - du processus d' analyse statistique et des degrés de liberté jusqu'à ce qu'ils renvoient un chiffre inférieur au niveau de signification statistique p<.05. Ainsi, la conception de l'expérience doit inclure un énoncé clair proposant les analyses à entreprendre. Le P-hacking peut être évité en préenregistrant les recherches, dans lesquelles les chercheurs doivent envoyer leur plan d'analyse des données à la revue dans laquelle ils souhaitent publier leur article avant même de commencer leur collecte de données, de sorte qu'aucune manipulation de données n'est possible ( https://osf .io ). Une autre façon d'éviter cela consiste à amener la conception en double aveugle à la phase d'analyse des données, où les données sont envoyées à un analyste de données sans rapport avec la recherche qui brouille les données afin qu'il n'y ait aucun moyen de savoir à qui appartiennent les participants avant ils sont potentiellement retirés en tant que valeurs aberrantes.

Une documentation claire et complète de la méthodologie expérimentale est également importante afin de soutenir la réplication des résultats.

Sujets de discussion lors de la mise en place d'un plan expérimental

Une conception expérimentale ou un essai clinique randomisé nécessite un examen attentif de plusieurs facteurs avant de réellement faire l'expérience. Une conception expérimentale est la mise en place d'un plan expérimental détaillé avant de faire l'expérience. Certains des sujets suivants ont déjà été abordés dans la section Principes de la conception expérimentale :

  1. Combien de facteurs la conception comporte-t-elle et les niveaux de ces facteurs sont-ils fixes ou aléatoires ?
  2. Des conditions de contrôle sont-elles nécessaires et quelles devraient-elles être ?
  3. Contrôles de manipulation; la manip a-t-elle vraiment fonctionné ?
  4. Quelles sont les variables d'arrière-plan ?
  5. Quelle est la taille de l'échantillon. Combien d'unités faut-il collecter pour que l'expérience soit généralisable et ait une puissance suffisante ?
  6. Quelle est la pertinence des interactions entre les facteurs ?
  7. Quelle est l'influence des effets différés de facteurs importants sur les résultats ?
  8. Comment les changements de réponse affectent-ils les mesures d'auto-évaluation ?
  9. Dans quelle mesure l'administration répétée des mêmes instruments de mesure aux mêmes unités à différentes occasions, avec un post-test et des tests de suivi, est-elle réalisable ?
  10. Qu'en est-il de l'utilisation d'un prétest proxy ?
  11. Y a-t-il des variables cachées ?
  12. Le client/patient, le chercheur ou même l'analyste des données devraient-ils être aveugles aux conditions ?
  13. Quelle est la faisabilité de l'application ultérieure de conditions différentes aux mêmes unités ?
  14. Combien de chaque facteur de contrôle et de bruit doit-on prendre en compte ?

La variable indépendante d'une étude a souvent plusieurs niveaux ou différents groupes. Dans une véritable expérience, les chercheurs peuvent avoir un groupe expérimental, où leur intervention testant l'hypothèse est mise en œuvre, et un groupe témoin, qui a tous le même élément que le groupe expérimental, sans l'élément interventionnel. Ainsi, lorsque tout le reste, à l'exception d'une intervention, est maintenu constant, les chercheurs peuvent certifier avec une certaine certitude que cet élément est la cause du changement observé. Dans certains cas, avoir un groupe témoin n'est pas éthique. Ceci est parfois résolu en utilisant deux groupes expérimentaux différents. Dans certains cas, les variables indépendantes ne peuvent pas être manipulées, par exemple lors du test de la différence entre deux groupes atteints d'une maladie différente, ou lors du test de la différence entre les sexes (évidemment des variables auxquelles il serait difficile ou contraire à l'éthique d'affecter les participants). Dans ces cas, une conception quasi expérimentale peut être utilisée.

Attributions causales

Dans la conception expérimentale pure, la variable indépendante (prédictive) est manipulée par le chercheur, c'est-à-dire que chaque participant à la recherche est choisi au hasard dans la population, et chaque participant choisi est affecté au hasard aux conditions de la variable indépendante. Ce n'est que lorsque cela est fait qu'il est possible de certifier avec une forte probabilité que la raison des différences dans les variables de résultat est causée par les différentes conditions. Par conséquent, les chercheurs devraient, dans la mesure du possible, choisir la conception expérimentale plutôt que d'autres types de conception. Cependant, la nature de la variable indépendante ne permet pas toujours la manipulation. Dans ces cas, les chercheurs doivent être conscients de ne pas certifier l'attribution causale lorsque leur conception ne le permet pas. Par exemple, dans les conceptions observationnelles, les participants ne sont pas affectés au hasard à des conditions, et donc s'il existe des différences dans les variables de résultat entre les conditions, il est probable qu'il y ait autre chose que les différences entre les conditions qui causent les différences de résultats, que est – une troisième variable. Il en va de même pour les études avec un design corrélationnel. (Adér & Mellenbergh, 2008).

Contrôle statistique

Il est préférable qu'un processus soit sous contrôle statistique raisonnable avant de mener des expériences conçues. Lorsque cela n'est pas possible, un blocage, une réplication et une randomisation appropriés permettent la conduite prudente des expériences conçues. Pour contrôler les variables de nuisance, les chercheurs instituent des contrôles de contrôle comme mesures supplémentaires. Les enquêteurs doivent s'assurer que les influences incontrôlées (par exemple, la perception de la crédibilité de la source) ne faussent pas les résultats de l'étude. Un contrôle de manipulation est un exemple de contrôle de contrôle. Les contrôles de manipulation permettent aux enquêteurs d'isoler les variables principales pour renforcer le soutien que ces variables fonctionnent comme prévu.

L'une des exigences les plus importantes des modèles de recherche expérimentale est la nécessité d'éliminer les effets des variables parasites , intermédiaires et antécédentes . Dans le modèle le plus basique, la cause (X) mène à l'effet (Y). Mais il pourrait y avoir une troisième variable (Z) qui influence (Y), et X pourrait ne pas être du tout la vraie cause. Z est dit être une variable parasite et doit être contrôlé. Il en va de même pour les variables intermédiaires (une variable entre la cause supposée (X) et l'effet (Y)), et les variables antérieures (une variable avant la cause supposée (X) qui est la vraie cause). Lorsqu'une troisième variable est impliquée et n'a pas été contrôlée, la relation est dite d' ordre zéro . Dans la plupart des applications pratiques des modèles de recherche expérimentale, il existe plusieurs causes (X1, X2, X3). Dans la plupart des conceptions, une seule de ces causes est manipulée à la fois.

Modèles expérimentaux d'après Fisher

Certains modèles efficaces pour estimer plusieurs effets principaux ont été trouvés indépendamment et en quasi succession par Raj Chandra Bose et K. Kishen en 1940 à l' Indian Statistical Institute , mais sont restés peu connus jusqu'à ce que les modèles Plackett-Burman soient publiés dans Biometrika en 1946. En même temps, CR Rao a introduit les concepts de réseaux orthogonaux en tant que conceptions expérimentales. Ce concept a joué un rôle central dans le développement des méthodes Taguchi par Genichi Taguchi , qui a eu lieu lors de sa visite à l'Institut indien de la statistique au début des années 1950. Ses méthodes ont été appliquées avec succès et adoptées par les industries japonaises et indiennes et par la suite ont également été adoptées par l'industrie américaine, bien qu'avec quelques réserves.

En 1950, Gertrude Mary Cox et William Gemmell Cochran ont publié le livre Experimental Designs, qui est devenu l'ouvrage de référence majeur sur la conception d'expériences pour les statisticiens pendant des années.

Les développements de la théorie des modèles linéaires ont englobé et dépassé les cas qui concernaient les premiers auteurs. Aujourd'hui, la théorie repose sur des sujets avancés en algèbre linéaire , algèbre et combinatoire .

Comme avec d'autres branches de la statistique, la conception expérimentale est poursuivie en utilisant à la fois des approches fréquentistes et bayésiennes : en évaluant des procédures statistiques telles que des conceptions expérimentales, les statistiques fréquentistes étudient la distribution d'échantillonnage tandis que les statistiques bayésiennes mettent à jour une distribution de probabilité sur l'espace des paramètres.

Certains contributeurs importants dans le domaine des modèles expérimentaux sont CS Peirce , RA Fisher , F. Yates , RC Bose , AC Atkinson , RA Bailey , DR Cox , GEP Box , WG Cochran , WT Federer , VV Fedorov , AS Hedayat , J. Kiefer , O. Kempthorne , JA Nelder , Andrej Pázman , Friedrich Pukelsheim , D. Raghavarao , CR Rao , Shrikhande SS , JN Srivastava , William J. Studden , G. Taguchi et HP Wynn .

Les manuels de D. Montgomery, R. Myers et G. Box/W. Hunter/JS Hunter ont touché des générations d'étudiants et de praticiens.

Une discussion sur la conception expérimentale dans le contexte de l' identification du système (construction de modèles pour les modèles statiques ou dynamiques) est donnée dans et

Contraintes des participants humains

Les lois et les considérations éthiques interdisent certaines expériences soigneusement conçues avec des sujets humains. Les contraintes juridiques dépendent de la juridiction . Les contraintes peuvent impliquer des comités d'examen institutionnels , le consentement éclairé et la confidentialité affectant à la fois les essais cliniques (médicaux) et les expériences en sciences sociales et comportementales. Dans le domaine de la toxicologie, par exemple, des expérimentations sont réalisées sur des animaux de laboratoire dans le but de définir des limites d'exposition sûres pour l' homme . Équilibrer les contraintes sont des points de vue du domaine médical. Concernant la randomisation des patients, "... si personne ne sait quelle thérapie est la meilleure, il n'y a pas d'impératif éthique d'utiliser une thérapie ou une autre." (p 380) En ce qui concerne la conception expérimentale, "... il n'est clairement pas éthique de placer des sujets à risque de collecter des données dans une étude mal conçue alors que cette situation peut être facilement évitée...". (p 393)

Voir également

Les références

Sources

  • Peirce, CS (1877-1878), "Illustrations de la logique de la science" (série), Popular Science Monthly , vol. 12-13. Documents individuels pertinents :
    • (1878 mars), "The Doctrine of Chances", Popular Science Monthly , v. 12, numéro de mars, pp. 604 –615. Internet Archive Eprint .
    • (1878 Avril), "La probabilité d'induction", Popular Science mensuel , v . 12, pp. 705 -718. Internet Archive Eprint .
    • (1878 Juin), "L'ordre de la nature", Popular Science mensuel , v 13., P. 203 -217. Internet Archive Eprint .
    • (1878 août), "Deduction, Induction, and Hypothesis", Popular Science Monthly , v. 13, pp. 470 –482. Internet Archive Eprint .
    • (1883), "A Theory of Probable Inference", Studies in Logic , pp. 126-181 , Little, Brown, and Company. (Réimprimé en 1983, John Benjamins Publishing Company, ISBN  90-272-3271-7 )

Liens externes