Toutes les clefs méthodologiques et techniques pour construire votre propre système d’évaluation et pour mener de façon efficiente un projet d’évaluation. Partie 1/2

1. [SEMINAIRE DE FORMATION] Animée par Céline Delort & Jean-François Leclerc [Evaluation de la qualité de la formation ] De la satisfaction à la mesure du retour sur investissement

3. Conseils en organisation, évaluation et performance RH

5. Conception de systèmes d’évaluation

6. Analyse de données et recommandationsTel : 01 55 95 98 76 Ligne directe : 01 55 95 98 70 Email : jeanfrancois.leclerc@grimmersoft.com

10. Hébergement de questionnaires

11. Saisie de questionnaires papier. www.Grimmersoft.com www.Perspective123.com

13. L’évaluation à chaud : définition, mise en œuvre et pratiques d’entreprises

14. L’évaluation des connaissances : objectifs, pertinence et techniques

15. L’évaluation à froid ou comment transférer des connaissances en compétences ?

18. Un acte basé sur la production d’un jugement ou l’estimation d’une valeur (Jean-Marie Barbier)

20. Produire un retour d’information pour les commanditaires

21. Vérifier si les objectifs de la formation sont atteints

22. Valider si les connaissances ont été acquises

23. Identifier les changements chez la personne en formation sur son poste de travail

24. Mesurer la qualité, la pertinence et l’efficacité de la formation

25. Déterminer les effets globaux de la formation sur la performance de l’entreprise

26. Préparer le suivi de la formation pour les apprenants ou pour le formateur

28. Une « fonction éducative de l’évaluation » en vue de faire progresser l’apprenant

29. Un « double processus d’objectivation de la réalité évaluée » pour identifier les résultats de la formation et permettre la prise de décision

30. Une « fonction prospective » pour formuler de nouvelles idées et projets* J.M. Barbier

31. Réflexion en groupe (10 minutes) Analysez la définition suivante : Définition de l’évaluation de la formation « … l’ensemble des actions entreprises dans le cadre du processus formel afin d’analyser soit les effets de la formation sur les apprenants, soit la qualité d’une action ou d’un projet de formation, soit la pérennité d’un système de formation ou son impact sur la performance globale de l’entreprise, et de comparer ces effets ou cette qualité, ou encore le degré de pérennité du système au regard des investissements réalisés… »

32. Que voulez-vous ou pouvez vous évaluer ? Types d’évaluation (Cf. J.M. Barbier) Formative / sommative Explicite / spontanée / instituée Interne / externe Évaluation explicite : « le jugement de valeur ne s’explicite qu’à travers ses effets » Évaluation spontanée : « le jugement de valeur ne s’explicite qu’à travers son énoncé, sa formulation » Évaluation instituée : « un acte délibéré et socialement organisé aboutissant à la production d’un jugement de valeur » Évaluation interne : « effectuée par rapport aux objectifs fixés au sein même de l’action de formation » Évaluation externe : Fixée « par rapport aux objectifs économiques, sociaux ou professionnelles qui justifient l’action de formation elle-même Évaluation formative : Elle se pratique au cours des apprentissages et elle a pour but de renseigner l’apprenant le plus complètement et le plus précisément possible sur la distance qui le sépare de l’objectif et sur les difficultés qu’il rencontre L’évaluation sommative : Elle se pratique au terme d’un apprentissage et elle a pour but de vérifier si les objectifs en ont été atteints par tel ou tel apprenant.

34. les actions et les projets de formation

35. la fonction formation

37. Acquisition de connaissances / de savoirs

38. Transfert sur les situations de travail

40. Que voulez-vous ou pouvez vous évaluer ? Qui est concerné par l’évaluation et quelles sont les attentes des acteurs ?

42. Les formateurs externes

44. Les managers

45. Les formés

46. Les représentants du personnel

47. Le service Formation et les autres acteurs RH

48. Les actionnaires

50. Importance de l’évaluation pour le manager

51. Processus d’évaluation de la formation Un processusen 4 phases :

53. Définition du niveau d’évaluation

54. Définition des objectifs d’évaluation

56. Planification

57. Collecte des données

59. Traitement statistique

61. Actions d’amélioration / progression

64. L’acceptabilité sociale

65. L’opérationnalité

66. La fiabilité

68. Niveau d’évaluation

71. De la recherche des résultats attendus et du caractère opérationnel de l’évaluation

72. De la préparation et de l’organisation de l’évaluation

75. Les entretiens

76. Les tests

77. L’analyse des outils de performance de l’entreprise

79. L’isolation des effets de la formation

81. Mesurer les intangibles

83. Calcul des moyennes, écarts types, variances et autres ratios

84. Faire ressortir les faits marquants

87. La valorisation monétaireCf. exemple du retour sur investissement de la formation

88. [EVALUATION DE LA FORMATION] 2. L’évaluation à chaud : définition, mise en œuvre et pratiques d’entreprises

90. Approfondissement d’un sujet

92. Du coût en temps de l’entretien

94. Visite « mystères »

95. Observations « en décalé »

96. Jeux de rôle

97. 360° et 180°

98. Acquisition des compétences

100. Pas de contact direct

101. Temps de conception et d’administration du questionnaire

103. Nombreuses possibilités de questionnements

105. Permettre d’auditer nos fournisseurs

106. Réagir aux incidents pour mettre en place des actions correctrices

107. Prendre en compte les remarques de nos clients pour optimiser nos formations

108. Valider l’implication de l’encadrant

110. Poser des questions sur le respect des objectifs, la future application dans le poste de travail et l’utilité de la formation

111. Informer les sondés dès le départ

112. Exploiter les données par une analyse détaillée

114. [SEMINAIRE DE FORMATION] Animée par Céline Delort & Jean-François Leclerc [EVALUATION A CHAUD ] comment ?

115. Evaluation à chaud : COMMENT ? : Quand ? Quel support ? Quel tableau de bord ? Quel contenu ? Avec quel outil ? S’équiper ou sous-traiter ?

117. Mapping de satisfaction (SATIMIX)

119. Exemple papier + Internet . Tableaux de bords Qualité : Formulaire papier. Rapport en ligne.

120. Exemple suivi web : Bull Formation

122. Possibilité de déployer internationalement

123. Reporting instantanée et détaillée

124. Gain de temps = gain d’argent

125. Démarche qualité : 0 papierFin de stage E-Mailing Suivi & relance Tableau de bord, alertes Reporting

126. Le mail d’accompagnement :

127. Le questionnaire :

129. « … Avec un taux de réponses de plus de 80% »

130. « Nous avons un système d’évaluation qui nous permets, de manière objective, de comparer entre eux les programmes fournis. »

132. DRH, Responsable Formation, ...Vous en rêviez OBSEO l’a fait : CAMPUS ENTRETIENS EVALUATION FORMATION TOP 360 BAROMETRE SOCIAL + 6 mois d’abonnement gratuit pour gérer vos évaluations ...

133. DRH, Responsable Formation, ...Vous en rêviez OBSEO l’a fait : 6 mois d’abonnement gratuit pour gérer vos évaluations ... www.obseo.com

134. Plate-forme OBSEO Full-Web : une plate-forme Full Web : Framework .NET V2, XML SQL Server 2003

136. Interactivité, notations, gestions des scores, langues, corrigé type, diagnostics …

137. Formulaire et tests

139. OBSEO : Gestion des rapports : L’éditeur de rapport permet de : Paramétrer des rapports Sélectionner les questions à afficher. Choisir les représentations. Définir les sélections de population.

140. Quel contenu ? Exemple et « BENCHMARK » : Grâce à l’expérience accumulée depuis 20 ans : Des analyses comparatives pour situer vos résultats Tableau de bord (obs250909)

141. Make or Buy ? :

142. INVITATION SUR LES ENTRETIENS 17 novembre 9 H 15 20 avenue de l’Opéra, 75001 Paris

143. [EVALUATION DE LA FORMATION] 3. L’évaluation des connaissances :Objectifs, pertinence et techniques

144. Définition d’une connaissance Faculté de connaître, de se représenter. Manière de comprendre, de percevoir. Le petit Larousse Ensemble stabilisé de savoirs acquis par un individu et mobilisable par ce dernier. Guide pratique de la formation Les connaissances générales constituent une des ressources incorporées dans la personne et avec lesquelles celle-ci peut agir avec compétence. Guy Le Boterf Représentation immatérielle d'une partie du monde (physique, de la conscience ou mathématique) structurée pour un objectif

145. Intégration de la connaissance Connaissance Affirmation assimilée pour réaliser une action Information Donnée mise en contexte Donnée Elément brut en dehors de tout contexte

146. Première phase du processus d’acquisition des compétences SAVOIR SAVOIR - FAIRE SAVOIR ETRE

148. Que faut-il savoir-faire ?

149. Quelles sont les compétences comportementales pour réussir ?

150. Connaissances

151. Savoir-faire

153. Education professionnelle

154. Formation continue

156. Evaluer les connaissances avant et après

157. Valider le niveau et la qualité du test

158. Effectuer un pilote

159. Effectuer le test pour tous les participants

161. Du moment de l’évaluation

162. Du degré de connaissances nécessaires

163. De l’interprétation des connaissances

165. Le test d’apprenance

166. Le test d’aptitude

167. Légitimité et crédibilité auprès des opérationnels

168. Bon outil pour l’auto-motivation

171. Proposer un parcours pédagogique adapté,

172. Constituer des groupes de niveau,

173. Mesurer les besoins du groupe,

175. Archiver les réponses et résultats de chacun

176. Valider le parcours pédagogique de l’apprenant,

177. Situer l’apprenant par rapport à un niveau de qualification

178. Editer un certificat, Certification, habilitationComparaison « avant / après »

179. Principes de construction d’un questionnaire 1/5 : structurer A partir des objectifs : Identifier les THEMES du questionnaires = Indicateurs, scores, notes Décomposer les thèmes en niveaux d’interrogation Définir la volumétrie (confort, couverture du sujet, coût, tirage sur banque ...) Prévoir dès la conception les modalités d’analyse

180. Principes de construction d’un questionnaire 2/5 : formuler Clarté, rigueur, lisibilité, confort du répondant. Distinguer le contexte, de la question elle-même Ne pas poser 2 questions dans la même Pas de questions négatives dans une série affirmative Cultiver la variété des questions Formulation proche de la situation de travail. Modalité « je ne sais pas » Relecture (Groupe de travail, experts ...)

181. Principes de construction d’un questionnaire 3/5 : Catégorie et notation Questions fermées / ouvertes (Question Data, Wordmapper) V/F, QCM (distracteurs), Texte à trou, A apparier, glisser/déplacer, puzzle, zone sensible, curseur ... Renseignements signalétiques Questions filtres THEMES : Note, points ou % (Éviter le traumatisme, le scolaire ) Notation différentielle (+2+ 1 0 -1 -2) / tout juste tout faux Pondération des questions, éliminatoire. Fonction « re-calcul » simulation de scores Créer des « cursus » de questionnaires (CAMPUS MANAGER)

182. Principes de construction d’un questionnaire 4/5: organiser, présenter Écrans d’accueil, consignes de remplissage, annoncer les règles. Questions à blanc, intercalaires, restitution. Structuration/ Tirage aléatoire/ Temps limité(?) Interactivité, correction Mise en page, graphisme, fonds, ergonomie des écrans, apport du multimédia… Bilan final = notation, diagnostic, corrigé type ?

183. Principes de construction d’un questionnaire 5/5 : Valider Effectif S’assurer de la bonne compréhension Valider la passation technique (Ecrans, navigateur ...) Etalonner le questionnaire (s’assurer de sa prédictivité et de sa sensibilité). Questions discriminantes, triviales ... Recetter. Peu sensible Trop difficile Notes Effectif Effectif Idéal Peu sensible Trop facile Notes Notes

184. Exemples pour les Campus Veolia

185. Exemples de tests

186. Exemples de tests

187. Exemple : certification milieu bancaire

188. Habilitation électrique :

190. Chaque répondant a son « dossier »

191. Ressources pédagogiques & parcours

192. Gestion des répondants/groupes

193. Organisation des répondants en groupes

194. Affectation des ressources / des cursus

195. Gestion d’évaluations/cursus

196. Organisation des ressources en Cursus conditionnels

197. Affectation à des répondants / des groupes

198. Gestion du reporting

199. Consolidation et règles d’accès

200. Consultation des résultats par groupe