Checklist : auditer une startup IA avant d’investir

Auditer une startup IA ne demande pas une checklist de deux cents lignes. Les deals que nous voyons se jouent presque toujours sur six axes, et une due diligence IA qui traite ces six axes sérieusement vaut mieux qu’un questionnaire exhaustif rempli à la hâte.

Cette checklist vient de nos missions pour des fonds, pas d’un modèle théorique. Elle suppose que vous avez déjà tranché la question du business : ce qui suit vérifie que la technologie raconte la même histoire que le pitch.

La checklist de due diligence IA en six axes

1. La réalité de la production : ce qui tourne vraiment, pour de vrais clients.
2. La gestion des erreurs : ce qui se passe quand le modèle se trompe.
3. La pratique d’évaluation : comment l’équipe mesure la qualité de ses sorties.
4. L’économie unitaire : ce que coûte une requête, et la marge à l’échelle.
5. Les droits sur les données : ce que la cible a le droit d’utiliser, et de garder.
6. La concentration de l’équipe : qui peut reconstruire le système.

Chaque axe mérite quelques heures, pas quelques minutes. Voici ce que nous y cherchons.

La réalité de la production

La première question n’est pas "est-ce que l’IA est bonne" mais "est-ce qu’elle est en production". Nous demandons les logs : volume de requêtes par jour, clients actifs, part des sorties réellement utilisées par les utilisateurs finaux. Une démo choréographiée et un pilote chez trois clients amis ne sont pas une production. Il nous est arrivé d’auditer des produits présentés comme déployés dont le trafic réel tenait sur un écran.

Le second point de cet axe : la part d’humain cachée. Beaucoup de produits IA reposent sur une équipe d’opérateurs qui corrige les sorties avant livraison. Ce n’est pas disqualifiant, c’est un modèle de coûts différent, et il doit apparaître dans l’économie unitaire plutôt que dans une note de bas de page.

La gestion des erreurs

Tout modèle se trompe. La question de due diligence est : que se passe-t-il ensuite. Les bonnes équipes savent répondre précisément : taux d’erreur mesuré, seuils de confiance, files de revue humaine, comportement du produit quand le modèle refuse de répondre. Les équipes fragiles répondent "le modèle est très fiable" et changent de sujet.

Nous regardons aussi le rayon d’action des erreurs. Un assistant qui suggère un texte mal formulé et un agent qui déclenche un paiement erroné ne portent pas le même risque. Plus le produit agit, plus cet axe pèse dans la note finale.

La pratique d’évaluation

C’est l’axe qui sépare le plus nettement les équipes solides des autres. Nous demandons à voir les evals : le jeu de test, sa taille, sa provenance, la fréquence des runs, et ce qui se passe quand un score baisse. Une équipe qui itère sur ses prompts sans jeu d’évaluation ne sait pas si ses changements améliorent ou dégradent le produit. Elle navigue à l’impression.

L’absence d’evals dans une startup qui se présente comme une entreprise d’IA est, pour nous, un signal sérieux. Pas rédhibitoire à un stade très précoce, mais à corriger avant que le produit ne serve des clients qui comptent dessus.

L’économie unitaire et les droits sur les données

Le coût complet d’une requête inclut les appels au modèle, les tentatives multiples, le contexte injecté et la part de revue humaine. Nous le reconstituons depuis les factures des fournisseurs, pas depuis le business plan. La sensibilité au prix des modèles compte double : une marge qui ne tient que si les prix d’inférence continuent de baisser est un pari, pas une marge.

Côté données, deux questions. D’où viennent les données d’entraînement et de personnalisation, et que disent les contrats clients sur leur réutilisation. Une cible qui affine ses modèles sur des données clients sans clause qui l’y autorise construit sa défensibilité sur un terrain qui ne lui appartient pas. Le RGPD ajoute son propre étage de risque, surtout si les données partent hors d’Europe.

La concentration de l’équipe

Dernier axe, souvent le plus décisif : qui, nommément, peut reconstruire le pipeline, régénérer les jeux d’évaluation, déboguer la production un dimanche soir. Dans les startups IA, ce savoir se concentre plus durement encore que dans le logiciel classique, parce qu’une partie tient dans des choix de prompts et de données que personne n’a documentés. Quand la réponse aux trois questions est la même personne, vous n’achetez pas un produit, vous achetez une personne, et les clauses de rétention doivent suivre.

Cet axe rejoint la question de fond que pose toute due diligence IA : la valeur est-elle dans le système ou dans le modèle sous-jacent, autrement dit vraie IA ou surcouche. Les deux peuvent se financer, mais pas au même prix.

Si vous instruisez un investissement dans une startup IA et voulez confronter cette checklist à votre cible, notre offre d’audit et due diligence IA couvre exactement ces six axes, avec un registre des risques chiffré à la clé.