Evaluer l’impact de projets de l'ESS agissant pour un numérique inclusif
Le numérique a bouleversé nos usages et nos sociétés et fait émerger de nouveaux besoins. De nombreuses entreprises de l’économie sociale et solidaire (ESS) s'engagent pour y répondre, en développant de nouvelles initiatives (lutte contre la fracture numérique, formation au numérique, etc.). Ces entreprises placent la poursuite de cette finalité sociale au cœur de leur action. Leur performance ne se réduit pas à leurs résultats financiers et il est donc primordial qu’elles puissent évaluer leur impact de façon structurée et dans la durée.
Cet article vise à faciliter les démarches d'évaluation de l'impact des entreprises de l'ESS agissant pour un numérique inclusif, en proposant des exemples de démarches et d'indicateurs sur deux axes clés de cette thématique :
- la lutte contre la fracture numérique ;
- l'accompagnement aux métiers du numérique.
Évaluer l’impact de projets de l'ESS agissant pour réduire la fracture numérique
La fracture numérique rassemble l’ensemble des inégalités d’accès aux équipements et d’usage des technologies de l’information de la communication et touche, d’après l’INSEE, 17 % des français. Pour lutter contre cette facture numérique, des entreprises de l'ESS se mobilisent pour faciliter l’accès aux équipements et services et former aux compétences de base pour les utiliser.
Deux exemples d'évaluation de l'impact sur la réduction de la fracture numérique : Les Connectés (Unis-Cité) et Emmaüs Connect
Les Connectés (porté par Unis-Cité) a pour objectif d’accompagner et de former les personnes fragiles au numérique afin qu’elles maîtrisent le matériel et acquièrent les compétences leur permettant d’effectuer des démarches en ligne. L’évaluation visait à étudier les effets de ces actions sur les différentes parties prenantes, notamment les bénéficiaires. Elle a mobilisé une méthode mixte combinant outils qualitatifs (entretiens, focus group) et quantitatifs (enquête téléphonique et en ligne). Si l'évaluation a montré que le dispositif a contribué au renforcement du lien social des bénéficiaires (63 % des seniors disent communiquer plus facilement avec leurs proches grâce au dispositif), une des interrogations soulevées dans le rapport concerne l'objectivité des réponses reçus de la part des participants (la collecte des données ayant été réalisée par les volontaires du dispositif).
>> Découvrez l'évaluation d'impact des Connectés.
Emmaüs Connect forme les personnes fragiles pour les aider à développer les compétences numériques essentielles et leur permet l’accès aux équipements à prix solidaire (connexion, matériels, etc.). En 2021, Emmaüs Connect a mené une évaluation pour mesurer les effets de l’inclusion numérique sur la situation des publics en précarité qu’elle accompagne. Après avoir réalisé sa théorie du changement, Emmaüs Connect a collecté les données via des entretiens et un questionnaire auprès de ses bénéficiaires et analysé les données en interne. Six mois après l'accompagnement d'Emmaüs Connect, 47 % des bénéficiaires se sentent autonomes par rapport aux outils numériques.
>> Découvrez l'évaluation d'impact d'Emmaüs Connect.
Exemples d'effets et d'indicateurs pour évaluer son impact sur la réduction de la fracture numérique
Voici quelques indicateurs utilisés dans les exemples ci-dessus pour évaluer son impact sur la réduction de la fracture numérique :
- accroissement de l’autonomie sur les outils numériques : nombre de bénéficiaires dont l'appréhension à utiliser Internet a diminué suite à l'action, taux de bénéficiaires sachant envoyer un e-mail en autonomie six mois après la fin de l'action, nombre de bénéficiaires continuant à mobiliser leurs compétences numériques six mois après la fin de l'action, évolution du niveau des bénéficiaires sur l'utilisation d'outils informatiques (auto-évaluation par les bénéficiaires ou évaluation par les accompagnateurs, par exemple en mobilisant les outils de la plateforme lesbonsclics), etc. ;
- évolution et diversité des usages et des pratiques : nombre de bénéficiaires ayant appris un nouvel usage informatique, taux de bénéficiaires consultant des sites d’information, taux de bénéficiaires regardant des films sur Internet, etc. ;
- création ou renforcement des liens sociaux : taux des bénéficiaires encore en contact avec des personnes rencontrées dans le dispositif à leur sortie, etc.
Évaluer l’impact des projets de l'ESS accompagnant sur les métiers du numérique
Si, d'après Pôle Emploi, le numérique crée près de 82 000 emplois par an en France, certaines catégories de la population sont sous-représentées. Développer une offre de formation autour des métiers du numérique permet également à des jeunes ou à des personnes en recherche d’emploi de trouver un emploi dans ce secteur dynamique.
Deux exemples d'évaluation de l'impact sur l'accompagnement aux métiers du numérique : BECOMTECH et Co-Fabrik
Créée en 2017, BECOMTECH est une association qui œuvre pour la mixité et l’égalité dans les secteurs de l’informatique et du numérique en menant des actions d’initiation, de formation et d’accompagnement auprès d’adolescentes. BECOMTECH a réalisé des évaluations de son impact, rendant compte des effets de ses programmes, en 2021 et 2022. La méthodologie mise en œuvre s’est appuyée à la fois sur de l’analyse documentaire, des temps d’observation, des entretiens et sur un questionnaire envoyé auprès des participantes. La démarche menée a permis de mesurer l’impact social de BECOMTECH : 91 % des participantes se sentent en mesure de prendre la parole en public à la suite du dispositif. Les participantes ont également développé un intérêt pour des sujets liés aux innovations technologiques (robotique, imprimante 3D, intelligence artificielle).
>> Découvrez l'évaluation d'impact de BECOMTECH
De 2015 à 2018, Co-Fabrik a travaillé pour lutter contre le chômage des jeunes des quartiers prioritaires de la politique de la ville (QPV) à Toulouse, en proposant des ateliers sur différentes thématiques : artisanat, design, numérique, etc. Certains ateliers avaient notamment comme objectif de sensibiliser les jeunes à la fabrication de matériel numérique (découverte des machines, réalisation d’objets). Co-Fabrik a mené une démarche d'évaluation de son impact pour mieux comprendre les changements générés par le programme et identifier les opportunités d’amélioration. L'étude rend compte des différentes phases de l’évaluation, de la méthodologie choisie, des outils mobilisés (entretiens, observation participante, questionnaires), des indicateurs clés sélectionnés et de la grille d’analyse utilisée. Un des enseignements mis en évidence par la démarche est que le dispositif a permis d’élargir les perspectives professionnelles des jeunes.
>> Découvrez l'évaluation d'impact de Co-Fabrik
Exemples d'effets et d'indicateurs pour évaluer son impact sur l'accompagnement aux métiers du numérique
Voici quelques indicateurs utilisés dans les exemples ci-dessus pour évaluer son impact sur l'accompagnement aux métiers du numérique :
- développement de nouvelles compétences techniques : nombre de bénéficiaires ayant renforcé ou développé une nouvelle compétence, taux de participants maîtrisant un nouveau logiciel, etc. ;
- renforcement des capacités à accéder à une activité professionnelle : nombre de participants envisageant de s’orienter vers un métier du numérique, nombre de participants trouvant un stage ou emploi suite à leur participation au dispositif, etc. ;
- mobilisation des savoir-faire acquis pendant le dispositif dans un autre cadre : taux de bénéficiaires ayant renforcé ou développé une nouvelle compétence et l'ayant utilisé dans un autre contexte, etc. ;
- mobilisation des participants dans d’autres dispositifs d’accompagnement, notamment vers l’emploi : nombre de participants s’inscrivant dans d’autres dispositifs d'insertion (interne à la structure ou auprès d'autres strutures du territoire), etc.
Pour aller plus loin
- Consultez le dossier de l'Avise sur le numérique
- Consultez le guide de l'Avise Evaluer son impact social
- Découvrez le centre de ressources national sur l'évaluation de l'impact social