Sur la Harvard Business Review, Vasant Dhar (@vasantdhar), scientifique des données et spécialiste en analyse prédictive, éditeur du Journal Big Data, explique qu’un bon moyen d’évaluer la confiance que l’on peut avoir dans les algorithmes et les systèmes de recommandation automatisés consiste à tenter de mesurer leur caractère prédictif et le coût de leurs erreurs.

La prévisibilité consiste à distinguer les systèmes dont la prédiction peut-être proche de l’aléatoire et qui peuvent progresser de manière marginale, des systèmes déterministes.

Le calcul du coût des erreurs, lui, consiste à évaluer le coût des erreurs des systèmes automatisés (très faible pour un filtre anti-spam, pour la publicité ou pour le trading à haute fréquence et bien plus élevé pour un système de voiture autonome ou le pilotage de drones de combats).