Benchmark xAPI : Adobe vs Articulate vs iSpring

Adobe, Articulate, iSpring : 3 éditeurs concurrents qui annoncent une conformité xAPI de leurs solutions auteurs. Mais qu’en est-il vraiment : info ou intox ? Pour en avoir le cœur net, j’ai passé les solutions suivantes au banc d’essai :

  • Adobe Presenter 10 et Captivate 8
  • Articulate Studio ’13 and Storyline 2
  • iSpring Suite 6.2

Je précise que le but de cet article est de donner un avis général et un classement, et non de fournir les détails techniques des tests effectués. Si toutefois cela vous intéresse, n’hésitez pas à me contacter.

Avis général sur la maturité de ces solutions

Ma surprise a été assez grande en découvrant des niveaux de maturité très différents d’une solution à l’autre. C’est un fait très important à connaitre, car si vous êtes à la recherche d’une solution xAPI opérationnelle, vous pourriez bien passer complètement à côté ! Mais un peu de patience, je livre le classement en fin d’article.

Difficultés rencontrées

Disons-le clairement, si vous débutez avec xAPI, vous risquez de vivre quelques moments de solitude avec certaines de ces solutions. Voici quelques exemples de situations vécues :

  • Ca ne marche pas. J’ai un message d’erreur au lancement ! J’ai tout essayé, rien à faire, ça ne marche pas !
  • Ca y est, j’ai trouvé ! Il faut aller configurer des trucs à la main dans des fichiers parce que l’outil auteur ne le fait pas !
  • J’ai tout configuré mais ça ne marche toujours pas ! Il semble que mon contenu et mon LRS ne se comprennent pas !
  • Ok, ça marche mais les rapports de mon LRS ne sont pas très explicites. Le nom de mon module e-Learning ressemble à une adresse de site Web.
  • Les rapports sur mon LRS ne sont pas à la hauteur de mes attentes. Il manque des informations qui me semblaient pourtant importantes.

Alors, ces solutions sont-elles exploitables ? Oui, à condition d’être capable de diagnostiquer les problèmes rencontrés et de les résoudre. On est donc encore loin du Plug & Play. Ca me rappelle SCORM à ses débuts. Mieux vaut donc prévoir l’aide d’un technicien. Mais une fois les petits grains de sable retirés, ça fonctionne !

Mais assez parlé ! Vous attendez avec impatience le classement…

And the winner is…

iSpring obtient les meilleurs résultats ! La solution est mûre. Une ou deux petites difficultés potentielles à passer, mais dans l’ensemble, les développeurs d’iSpring ont fait du bon boulot. Félicitations !

And the looser is…

Adobe ! Quel dommage qu’un éditeur aussi prestigieux ne soigne pas plus son travail. Adobe obtient les plus mauvais résultats. Espérons que les choses évoluent.

Encouragements à…

Articulate nous a habitués à une mise en œuvre très soignée de SCORM. Pour xAPI, de bonnes bases sont posées mais il manque encore quelques efforts pour rendre leurs solutions exploitables dans la vie réelle. A suivre…

Benchmark xAPI : Adobe vs Articulate vs iSpring

Nouveaux retours d’expérience sur le standard xAPI

Après une première phase d’expérimentation début 2014 (cf. www.experience-api.fr), j’ai souhaité mettre en œuvre le standard xAPI de manière plus systématique.

Voici un bref aperçu des retours d’expérience acquis durant ces derniers mois, que je détaillerai dans une série d’articles à venir.

Développement d’un LRS

Petit rappel : le LRS (Learning Record Store) est la base de données dans laquelle sont stockées toutes les traces d’apprentissage d’un dispositif xAPI. C’est donc la mémoire de votre dispositif pédagogique. Bien qu’invisible pour la plupart des utilisateurs, il s’agit là d’une pièce technique aussi complexe qu’indispensable.

J’ai souhaité développer mon propre LRS pour en comprendre tous les rouages. Son nom de code est « xLRS ». Un cheminement long, très long, mais dont le résultat apporte une grande satisfaction par les possibilités infinies qu’il offre.

Pour en savoir plus en attendant un article dédié : www.xlrs.fr.

Tests de conformité

L’auteur du standard xAPI (ADL) a tiré quelques leçons de SCORM en plaçant au centre de ses priorités la mise à disposition d’un test de conformité. Cette démarche est essentielle pour faire d’xAPI un standard fiable, non soumis aux libres interprétations des éditeurs du marché.

Un premier test de conformité a été mis à disposition : https://github.com/adlnet/xAPI_LRS_Test. Il ne s’agit pas là d’une version définitive mais plus de 4 500 critères y sont déjà testés !

J’ai bien sûr soumis xLRS à ces tests jusqu’à obtenir une conformité complète.

Reporting

Un LRS est une mine d’informations pour ceux qui veulent bien s’y intéresser. Il contient une foule de données sur les apprenants, les apprentissages, les contenus et activités pédagogiques. Pour faire parler ces données, il est nécessaire de bâtir des rapports et tableaux de bord utiles. On entre dans le domaine de l’analyse de données, du Big Data.

C’est un sujet pour lequel je milite depuis des années. Je peux aujourd’hui en valider tout le potentiel en développant des rapports pour xLRS.

Benchmark d’outils auteurs

Plusieurs éditeurs notoires ont décidé d’adopter xAPI : Adobe (Presenter, Captivate), Articulate (Studio, Storyline), iSpring, Lectora, etc. C’est une bonne nouvelle pour la généralisation du standard. Restait à vérifier s’il s’agissait d’effets d’annonces ou bien d’une mise en œuvre robuste, exploitable en situation réelle.

J’ai donc testé ces outils, observé ce qu’ils permettaient de faire, identifié leurs défauts et leurs limites.

Développement de contenus xAPI

La plupart des outils auteurs du marché proposent une exploitation assez limitée d’xAPI, pas très éloignée de ce que l’on faisait déjà avec SCORM. Pour exploiter tout le potentiel d’xAPI, il faut donc envisager de développer des contenus sur mesure.

C’est ce que j’ai fait pour mes propres formations. Les apports sont réels : échanges sociaux au cœur des contenus, suivi tutoral, organisation des apprentissages par l’apprenant, etc.

Interopérabilité entre systèmes

S’il est un domaine dans lequel xAPI dépasse de loin son prédécesseur SCORM, c’est bien l’interopérabilité entre systèmes, entre applications. Les traces d’apprentissage ne sont en effet plus « enfermées » dans un LMS, mais échangeables entre systèmes de diverses natures : LMS, LRS, e-Portfolio, réseaux sociaux, etc.

Sollicité par certains éditeurs, j’effectue avec eux des tests d’interopérabilité afin de valider les aspects techniques et de développer des bonnes pratiques.

[info]M’investir dans ces sujets était essentiel pour acquérir une vision à 360°. Cela m’a permis de gagner en maturité tant sur le plan technique que sur celui des bonnes pratiques. Si vous avez des projets de mise en œuvre d’xAPI, n’hésitez pas à me contacter. Je serai heureux de pouvoir échanger, et pourquoi pas de vous accompagner dans vos propres projets.[/info]

Nouveaux retours d’expérience sur le standard xAPI

SCORM en 10 questions

Pour de nombreux professionnels du e-Learning, SCORM reste un standard aux contours très flous, parfois une source d’inquiétude, souvent une source d’incompréhension. Je vais donc tenter d’éclaircir les idées et de dédramatiser ce standard en répondant à 10 questions courantes.

N’hésitez pas à poser vos propres questions dans les commentaires de cet article.

Pourquoi devrais-je m’intéresser à SCORM ?

SCORM est un standard qui a connu un très large succès dans l’industrie du e-Learning depuis 1999 avec une courbe d’adoption croissante tout au long des années 2000. A ce jour, plusieurs centaines d’outils l’ont adopté, plateformes LMS et outils auteurs compris.

SCORM assure une forme de « compatibilité » entre contenus pédagogiques et plateformes LMS. En utilisant SCORM, vous pouvez créer des contenus indépendamment de tout LMS. Vous pouvez ainsi utiliser les outils et techniques de votre choix, puis diffuser vos productions vers la (ou les) plateforme(s) LMS de votre choix.

En utilisant SCORM, vous assurez également la pérennité de vos contenus en vous prémunissant d’un éventuel changement de plateforme LMS. Il ne s’agit pas d’une situation exceptionnelle. Je vois fréquemment des clients changer de LMS après 3 ou 5 ans de bons et loyaux services.

Quelque soit votre motivation, gardez à l’esprit que la production et la maintenance des contenus pédagogiques représentent de loin la plus grosse part des dépenses dans une solution e-Learning.

Outre la compatibilité entre plateforme LMS et contenus, SCORM permet de suivre la consultation des contenus par les apprenants et favorise la réutilisation des contenus au sein de plusieurs parcours pédagogiques.

SCORM est-il un standard obsolète ?

Les dernières évolutions de SCORM datent de 2009. Les auteurs de SCORM ont décidé de stopper son développement pour se concentrer sur la création d’un nouveau standard nommé Experience API (ou xAPI, ou TinCan). xAPI doit palier aux limites de SCORM et ouvrir de nouvelles perspectives dans les années à venir. Sa première version a été officialisée en 2013.

Il faut toutefois garder à l’esprit que l’adoption d’un nouveau standard est un processus long. Plusieurs années sont nécessaires pour recueillir des retours d’expérience et accéder à un bon niveau de maturité. S’en suit une courbe d’adoption plus ou moins rapide par les éditeurs du marché.

Dans l’attente, SCORM reste un standard opérationnel qui comporte certaines limites, mais apporte des solutions satisfaisantes dans la plupart des situations courantes. SCORM restera donc un standard très largement utilisé dans les années à venir.

Notons par ailleurs que des solutions de migration de SCORM vers xAPI seront envisageables en temps voulu. SCORM n’est donc pas nécessairement un mauvais investissement en 2015.

Peut-on se passer d’un standard comme SCORM ?

Imaginons que vous ne souhaitiez pas adopter un standard comme SCORM (ou xAPI). Quelles sont alors les solutions pour produire des contenus ?

Scénario 1Des contenus indépendants du LMS – Vous pouvez tout d’abord utiliser des outils et formats indépendants de votre plateforme LMS : produire des documents PDF, développer des contenus HTML5 (etc.) puis les importer dans votre LMS. La plupart des plateformes le permettent. Mais alors aucun suivi précis des apprenants ne sera possible. Vous pourrez savoir quand et combien de fois ces contenus ont été ouverts, mais pas ce que l’apprenant en a fait précisément.

Scénario 2Des contenus développés avec votre LMS – Vous pouvez utiliser une plateforme LMS « tout-en-un », gérant à la fois la production des contenus et leur diffusion. Ce type de solution présente l’intérêt d’offrir des outils de production accessibles et de faire disparaitre la barrière entre contenus et plateforme. Vous devrez en revanche vous satisfaire de fonctions d’édition généralement limitées et admettre que vous deveniez très dépendant de votre plateforme LMS.

Si dans le cadre de votre projet, un de ces 2 scénarios vous semble acceptable, alors SCORM n’est pas un impératif.

Jusqu’où puis-je aller dans le suivi des apprenants avec SCORM ?

SCORM offre plusieurs niveaux de suivi des apprenants. Précisons avant toute chose que SCORM a été conçu pour suivre la consultation de contenus et évaluations. Le suivi d’activités collaboratives est hors sujet. La plupart des plateformes LMS le permettent en dehors du cadre de SCORM.

SCORM offre un premier niveau de suivi basique : temps passé par l’apprenant, complétude (l’apprenant a-t-il vu toutes les portions significatives du contenu ?) et éventuellement un score si le contenu inclut une évaluation.

SCORM offre un suivi avancé des évaluations permettant de récolter les réponses fournies pour chaque question d’un test, le temps mis pour répondre, la correction, une pondération, etc. 10 types de questions-réponses sont prédéfinis par SCORM, incluant des questions à correction automatique (ex. QCM, association, etc.) ainsi que des questions ouvertes (saisie de texte, appréciation).

SCORM offre un suivi avancé des objectifs pédagogiques. Un objectif est généralement associé à une thématique dont on veut s’assurer qu’elle soit bien étudiée et/ou assimilée.

A titre d’exemple, certains outils auteurs permettent la création de Quiz en constituant des groupes de questions par thématique. On peut alors suivre précisément chaque question du Quiz, mais aussi faire des statistiques sur chaque thématique.

La liste n’est pas exhaustive. SCORM offre d’autres fonctions (ex. la gestion des commentaires) que je n’aborderai pas ici car très marginales.

Précisons également qu’un outil se déclarant conforme à SCORM n’exploite pas nécessairement toutes les possibilités de SCORM. Il vous faudra donc vous assurer qu’ils répondent correctement à vos besoins.

SCORM favorise-t-il vraiment la réutilisation des contenus ?

SCORM permet de constituer des parcours pédagogiques en agrégeant des portions de contenus dites « réutilisables », que l’on appelle généralement des « grains ». En ce sens, SCORM fixe certaines règles et capacités qui favorisent la réutilisation.

Dans la pratique, cela dépend grandement des capacités de votre LMS, mais aussi de bonnes pratiques que vous devez mettre en place pour votre projet.

Exemple – Admettons que pour favoriser la réutilisation de contenus, vous décidiez de constituer une base de « grains », indexés avec des mots clés, afin qu’un auteur puisse rechercher les contenus qui l’intéressent et les utiliser dans ses propres parcours pédagogiques. SCORM fournit plusieurs outils, dont la définition de méta-données. La plupart des LMS conformes à SCORM permettent la gestion de ces méta-données. Il vous reste cependant à définir la manière dont vous allez les utiliser, puis à prendre soin de les renseigner dans toutes vos productions.

En résumé, SCORM fournit des règles et capacités qui favorisent la réutilisation de contenus, mais cette promesse restera lettre morte si vous ne développez pas les bonnes pratiques qui vont avec.

Comment puis-je créer des contenus SCORM ?

Vous avez 2 grandes options : utiliser un outil auteur ou développer vous-même vos contenus par programmation.

Il existe de nombreux outils auteurs respectant SCORM. Les plus simples se présentent sous la forme de plugins PowerPoint. Ils permettent un enrichissement de vos présentations puis une publication aux formats Flash et/ou HTML5, en conformité avec SCORM. Les plus connus sont Adobe Presenter, Articulate Presenter et iSpring Presenter. Aucune formation n’est nécessaire pour prendre en main ces outils. Quelques heures d’auto-apprentissage suffisent.

Pour aller plus loin, vous pouvez utiliser des outils plus complets comme Adobe Captivate, Articulate Storyline et QuizMaker, la suite e-Doceo, Inovae Publisher ou encore Lectora. La liste n’est pas exhaustive, mais ces exemples sont des références sur le marché et sont réputés fiables concernant SCORM. Ils sont aussi plus complexes que les produits de type « Presenter ». Une formation est donc recommandée.

[Edit: contribution] Enfin, si vous devez gérer de grandes quantités de contenus et industrialiser vos productions, vous pouvez opter pour une chaîne éditoriale ou un LCMS. Ces plateformes favorisent la production en masse, l’édition collaborative et la réutilisation des contenus. L’intégration avec le LMS est aussi parfois facilitée.

Si vous disposez de compétences techniques dans votre équipe (HTML5, Javascript, etc.), vous pouvez faire le choix de développer vous-même vos contenus, sans outil auteur. C’est le meilleur moyen d’obtenir exactement ce que vous souhaitez : contenus très spécifiques, scénarios pédagogiques complexes, Serious Games, etc. Bien sûr, il vous faudra développer vos propres outils et méthodes afin de structurer rigoureusement votre chaine de production. Des compétences techniques avancées sont pour cela nécessaires, de même qu’une maitrise approfondie de SCORM.

En résumé, des plus simples aux plus complexes, les solutions ne manquent pas. Il vous faudra toutefois veiller à choisir des méthodes et outils adaptés à vos objectifs et à vos compétences.

SCORM bride-t-il la créativité des concepteurs ?

SCORM n’est pas un standard intrusif puisqu’il considère les contenus comme des boites noires à l’intérieur desquelles l’auteur est libre de faire ce qu’il veut, en utilisant les technologies qu’il souhaite (ou presque).

La principale contrainte qu’impose SCORM est d’utiliser des technologies Web client (HTML + Javascript au minimum). On peut librement y ajouter des technologies faisant appel à des plugins spécifiques (Flash, 3D, réalité augmentée, etc.) ou au contraire choisir de respecter le format HTML5.

D’un point de vue scénaristique, l’auteur fait ce qu’il veut : contenu documentaire figé, scénarios interactifs, jeux de rôles, Serious Games 3D immersifs, etc.

Reste alors à définir ce que l’on veut tracer et comment le faire. Il s’agit d’un travail collaboratif entre concepteur et responsable technique. Le concepteur définit le besoin. Le technicien définit la manière d’y parvenir.

Bien sûr, si vous n’utilisez pas d’outil auteur, une bonne connaissance de SCORM est nécessaire. Mais il ne s’agit pas de demander aux concepteurs de devenir des experts en SCORM ! Ils doivent simplement acquérir les notions essentielles pour savoir ce qu’il est possible de faire. Pour les techniciens, des connaissances techniques approfondies sont nécessaires.

Quelle plateforme LMS utiliser pour diffuser des contenus SCORM ?

Aujourd’hui, la plupart des plateformes LMS annoncent une conformité SCORM. Mais s’agit-il d’effets d’annonces ?

Bonne nouvelle : après des débuts assez chaotiques, les éditeurs ont fourni de réels efforts durant ces 10 dernières années afin d’offrir un support relativement solide de SCORM. Une règle s’impose : les éditeurs les plus fiables sont souvent ceux qui ont la plus longue expérience avec SCORM. Mais bien sûr, à toute règle ses exceptions…

Seconde bonne nouvelle : les éditeurs français (et voisins proches) se distinguent face à leurs concurrents américains. En effet, vous y trouverez des fonctionnalités plus poussées, par exemple la recomposition de parcours SCORM souvent absente des LMS outre-Atlantique.

Dans tous les cas, soyez extrêmement vigilant au moment de choisir votre plateforme LMS. Commencez par définir votre besoin… Quels types de contenus souhaitez-vous diffuser ? Comment vont-ils être produits ? Quel niveau de suivi souhaitez-vous mettre en place ? Idéalement, vous demanderez des démonstrations avec des contenus de test que vous aurez préparé au préalable.

SCORM est-il une contrainte ou un gage de liberté ?

Je serais tenté de répondre à cette question par une métaphore : le code de la route fixe des règles collectives qui nous permettent de conduire tous ensembles dans une relative sécurité. Ces règles sont le prix à payer pour pouvoir être libres de nous déplacer.

SCORM fixe aussi des règles. Mais celles-ci vous permettent en contrepartie de produire des contenus avec les outils de votre choix, puis de les diffuser sur les plateformes de votre choix.

En résumé, pour un certain nombre de projets, les bénéfices apportés sont supérieurs aux contraintes. C’est du moins ce que semble en penser la grande communauté du e-Learning qui a plébiscité ce standard pendant une 15aine d’années, fait assez rare dans le monde très changeant du Web.

Il ne s’agit bien sûr pas d’adopter une position dogmatique. SCORM ne répond pas à tous les besoins et tous les projets ne nécessitent pas l’adoption de SCORM qui n’est qu’un « outil » parmi d’autres à utiliser à bon escient. La plupart des LMS conformes à SCORM proposent d’ailleurs des alternatives pour créer ou intégrer des contenus. Il est donc tout à fait possible de n’utiliser SCORM que pour certains contenus de votre projet.

Quelles sont les limites de SCORM ?

Voici quelques limites évidentes de SCORM.

Limite #1 – Les contenus SCORM doivent être joués dans un navigateur. Cela peut poser problème si l’on souhaite par exemple déployer un Serious Game immersif sous forme d’application de bureau. Un autre cas critique est l’utilisation d’Apps sur mobile.

Limite #2 – Une connexion Web doit être active durant toute la consultation du contenu SCORM. Cela restreint les modes de déploiement, notamment pour les populations nomades qui ne disposent pas toujours d’une connexion Web active. Notons que de nombreux LMS proposent un mode déconnecté basé sur SCORM pour palier à ce problème.

Limite #3 – SCORM se limite à tracer la consultation de contenus. A l’heure du Blended Learning et du Social Learning, on peut attendre d’un standard qu’il aille plus loin en prenant en charge les aspects collaboratifs par exemple.

Limite #4 – SCORM se concentre sur le suivi d’activités individuelles et ne permet pas de rendre compte d’activités collectives. On pourrait par exemple imaginer vouloir suivre une mission en binôme dans un Serious Game.

Limite #5 – SCORM enregistre des informations de suivi assez simples. Il n’est par exemple pas possible d’enregistrer des médias, comme une captation vidéo de travaux pratiques.

On le voit bien, SCORM est perfectible. C’est pourquoi ses auteurs (ADL) ont décidé de développer un nouveau standard (Experience API ou xAPI ou TinCan) capable de combler toutes ces lacunes. Mais ce sera l’objet d’un autre article : « xAPI en 10 questions ».

SCORM en 10 questions

Intentions d’adoption d’xAPI par les éditeurs de LMS

Un standard, même visionnaire, n’est rien s’il n’est pas largement adopté. De manière générale, la mobilisation des éditeurs logiciels est donc une des clés du succès d’Experience API. Après une première vague d’Early Adopters (Litmos, eFront, Docebo, Sakai, etc.), nous avons voulu savoir si les poids lourds du marché des LMS allaient suivre le mouvement. Nous nous sommes concentrés sur les 9 éditeurs les plus présents sur le marché français et les résultats sont plutôt positifs...

Télécharger l’étude…

Intentions d’adoption d’xAPI par les éditeurs de LMS

Suivre un Quiz avec xAPI

Le suivi des évaluations a fait l’objet de nombreuses critiques avec SCORM, accusé de capacités de suivi trop simplistes. Dans les faits, les torts sont souvent partagés avec les outils d’édition et LMS. Dans cette nouvelle démonstration, nous verrons ce que cela change avec xAPI en déployant un Quiz très simple et en s’intéressant à son suivi.

Accès à la démonstration…

Suivre un Quiz avec xAPI

Fédérer plusieurs systèmes avec Experience API (xAPI, TinCan)

Grande nouveauté d’xAPI : votre dispositif pédagogique peut être composé de plusieurs systèmes (plusieurs LMS, LMS et blogs, etc.) tout en ayant un suivi centralisé. Afin d’explorer cette capacité, je vous propose à titre d’exemple de mettre en œuvre le suivi centralisé de plusieurs blogs indépendants…

Fédérer plusieurs systèmes avec xAPI

Accès à la démonstration…

Fédérer plusieurs systèmes avec Experience API (xAPI, TinCan)

Partager des ressources avec Experience API (xAPI / TinCan)

Les expérimentations et démonstrations continuent sur Experience-API.fr. Cette semaine, je vous propose de mettre en oeuvre un outil de « curation », permettant à des utilisateurs de partager des ressources dénichées sur le Web, de les noter et de les classer par popularité.

Accès à la démonstration…

 

Partager des ressources avec Experience API (xAPI / TinCan)

Vos premières interactions xAPI (Experience API)

Après plusieurs publications destinées à vulgariser Experience API (xAPI / TinCan), place à une phase d’expérimentation au travers d’une série d’exemples, simples et concrets, que vous allez pouvoir tester et comprendre.

Voici le premier exemple

Restez connecté : un nouvel exemple sera publié chaque semaine !

Vos premières interactions xAPI (Experience API)

Interview LMS : ExpertusOne

Remarqué par plusieurs analystes du marché américain (classé #1 par e-Learning24/7), Expertus arrive en France ! Cet éditeur de LMS « nouvelle génération » a fait des choix radicaux : 100% cloud, nativement mobile et social, fonctions eCommerce et classe virtuelle intégrées. Une équation fonctionnelle originale qui pourrait bien lui permettre de se faire une place sur le marché français.

Je reçois aujourd’hui Pierre Kergall, Directeur Business Development Europe pour Expertus.

Lire la suite « Interview LMS : ExpertusOne »

Interview LMS : ExpertusOne