La courbe d’estimation des connaissances est un outil qui permet aux étudiants d’avoir un aperçu rapide de
leurs lacunes. En analysant les résultats de toutes les sessions de questions d’un utilisateur, Hypocampus peut
réaliser une estimation des connaissances pour chacune des spécialités auxquelles il ou elle a répondu. Les
étudiants peuvent visualiser cette estimation grâce à un graphique, pour lequel il est possible de filtrer selon
leurs points forts ou leurs points faibles. Pour pouvoir tirer des conclusions, nous présentons également
l’intervalle de confiance de chaque pronostic. Si vous n’avez répondu qu’à quelques questions, les données ne
sont pas suffisantes pour tirer de conclusion certaine, mais plus vous répondez à des questions, plus l’intervalle
de confiance est réduit et plus les prédictions ont de chance d’être justes.
La probabilité d’un certain résultat
Admettons qu’un utilisateur s’inscrit sur hypocampus.fr et commence par répondre à quelques questions d’annales d’ECNi. Le premier jour, l’utilisateur répond à cinq questions, dont deux correctement. Comment calculer le niveau de connaissance des étudiants dans la spécialité concernée ? Le moyen le plus simple de prédire la probabilité de répondre correctement à une question serait de diviser le nombre de questions correctement répondues par le nombre total de questions :
k = 2/5 = 0,4
Cette approximation est bonne mais ne prend pas en considération le nombre de questions auxquelles on a répondu. Il existe beaucoup de niveaux de connaissances différents qui pourraient donner le résultat ci-dessus. Pour calculer cela, nous pouvons créer un graphique qui montre la probabilité d’obtenir le résultat ci-dessus en fonction de votre niveau de connaissance réel.
Le graphique montre que le niveau de connaissance 0,4 est le plus probable, mais il existe une gamme assez large de valeurs de niveau de connaissance qui pourraient donner le même résultat. En fournissant un intervalle de confiance, nous obtenons une mesure de la précision de notre prédiction.
Alors, quel intervalle devons-nous afficher pour s’assurer à 95 % que le niveau de connaissance réel est inclus dans l’intervalle ?
À en juger par le graphique, nous pouvons être sûrs à 95 % dès lors que nous disons que le niveau de connaissance réel se situe entre 0,11 et 0,76. Si nous ajoutons un intervalle de 50%.
Avec une précision de 50%, nous pouvons dire que le niveau de connaissance se situe entre 0,28 et 0,53. C’est ce que nous pouvons dire sur la base de 5 questions répondues
Admettons que le même utilisateur continue de répondre aux questions. Après une semaine, il ou elle a répondu à 30 questions dont
7 étaient correctes. Le graphique ressemblerait maintenant à ceci :
L’intervalle est maintenant plus étroit et nous pouvons dire avec une certitude de 50% que le niveau de connaissance se situe
quelque part entre 0,19 - 0,29. Avec une certitude de 95%, le niveau de connaissance se situe entre 0,11 et 0,40.
L’étudiant continue d’utiliser la plateforme pendant un mois. Il ou elle répond à entre 0 et 10 questions par jour. Une simulation
montre que 153 questions ont été répondues dont 43 correctement. A quoi ressemble le graphique maintenant ?
Maintenant, nous savons avec une certitude de 50% que le niveau de connaissance se situe quelque part entre 0,26-0,31 et avec une
certitude de 95%, nous savons que le niveau de connaissance se situe quelque part entre 0,22 et 0,36. Alors, quelles conclusions
peut-on en tirer ? Au début, lorsque les calculs ne se basent que sur les réponses à quelques questions, l’estimation des
connaissances va avoir un large intervalle de confiance. La certitude du chiffre réel présenté va être faible. Mais pour chaque
question supplémentaire répondue, l’intervalle va se réduire et la probabilité que la prédiction soit correcte va augmenter.
Un exemple
Une utilisatrice étudie pendant 6 mois sur la plateforme. Au cours de ses études, son niveau de connaissances passe de 0,3 à 0,7 durant cette période.
Chaque jour, elle a répondu à 1 à 10 questions. La probabilité qu’elle réponde correctement aux questions est la même que le niveau de connaissances ce jour-là.
Lors de la prédiction du niveau de connaissance, seules les 100 dernières réponses comptent. Il s’agit de faire en sorte que le graphique reflète le niveau de connaissance actuel des utilisateurs. Sur ces 100 réponses, celles de plus de 45 jours sont filtrées.
Cette étudiante en particulier n’a répondu à aucune question pendant une période de 2 mois. Son graphique ressemblait à ceci après 6 mois
