ETNA a testé et comparé six outils d’intelligence artificielle dédiés à la rédaction de demandes de brevet.
Trois sont spécialisés en propriété industrielle (Ankar, Questel et DeepIP) et trois sont des outils conversationnels généralistes (DeepSeek, Mistral AI et ChatGPT).
Cet épisode fait suite à un premier épisode dans lequel chaque outil avait été invité à rédiger une revendication principale, et à un deuxième épisode dans lequel chaque outil était invité à élargir la portée de la revendication principale qu’il avait lui-même rédigée. La conclusion principale de ce premier épisode était une portée trop limitée des revendications, à l’exception de l’outil n°2. La conclusion principale du deuxième épisode était une incapacité d’élargir efficacement la portée de la revendication principale.
Dans les deux premiers épisodes, la rédaction des revendications principales a été effectuée sur la base d’un mémoire technique détaillé de 1 000 mots environs et trois figures référencées dont deux sont illustrées dans notre épisode introductif accessible ici.
La fourniture d’un mémoire précis par l’inventeur est cependant plutôt rare. Souvent, l’inventeur exprime uniquement ce qu’il considère comme étant l’essentiel de son invention, en omettant des éléments qui lui semblent évidents et sans identifier tous les avantages de son invention.
Pour ces raisons, dans notre pratique quotidienne, la rédaction de revendications n’intervient généralement qu’après un, voire plusieurs échanges avec l’inventeur nous permettant de de rassembler l’ensemble des éléments techniques et avantages de son invention.
Dans ce nouvel épisode, nous avons voulu challenger les modèles d’IA avec un mémoire plus succinct de 200 mots qui correspond à une situation fréquente pour le rédacteur de brevet.
Pour chaque modèle testé, nous avons comparé la portée des revendications 1 générées par ledit modèle, respectivement avec le mémoire long avec figures associées et avec le mémoire court avec ces mêmes figures.
Nous présentons ci-dessous, pour chaque solution, la revendication initiale issue du mémoire détaillé, la revendication initiale issue du mémoire succinct et notre analyse.
Dans sa rédaction de la revendication 1 avec le mémoire succinct, on constate en premier lieu que l’outil N°1 fait des erreurs de référencement : il parle d’un élément extérieur (référence 4) destiné à être fixé à une porte, et d’un élément intérieur (référence 5) monté coulissant dans l’élément extérieur. Or, la référence 4 correspond à l’élément de préhension – l’un des éléments parmi les moins essentiels de l’invention – et le référence 5 à l’un des bossages.
L’outil N°1 semble ainsi confondre certains éléments, ce qui introduit un problème de clarté, voire introduit un réel problème quant à la possibilité de réaliser l’invention.
En outre, on constate une limitation de la portée : au lieu de moyens de verrouillage, l’outil N°1 introduit la notion de bossage.
En conclusion pour l’outil N°1, on note une limitation de la portée par rapport à la revendication 1 rédigée avec un mémoire long, mais surtout un problème de clarté.
On rappelle que l’outil N°2 était celui qui proposait une revendication principale initiale la plus large.
Dans ce test, l’outil N°2 produit une revendication principale qui ne présente pas de défaut de clarté.
En revanche, la portée de la revendication principale est réduite par l’ajout de caractéristiques non essentielles : les moyens de maintien sont cités et, plus critique encore, l’élément de préhension est énoncé.
En outre, il est désormais précisé la position des tubes l’un par rapport à l’autre.
Enfin, l’appréciation de l’art antérieur – qui était un atout de l’outil N°2 – est cette fois erronée, puisque l’aspect télescopique de la poignée est désormais dans le préambule.
En conclusion pour l’outil N°2, bien que la rédaction soit exempte de défaut de clarté, une réduction significative de la portée et une mauvaise appréciation de l’art antérieur sont à déplorer.
L’outil N°3 ne modifie pas substantiellement la frontière entre le préambule et la partie caractérisante de la revendication 1.
En revanche, des modifications importantes de la portée – dans le sens de la limitation – sont à noter.
Notamment, en plus d’une précision quant à la position des tubes l’un par rapport à l’autre, il est évoqué de manière très précise la présence des bossages et leurs positions sur les tubes. De manière surprenante, non seulement la revendication 1 comprend des éléments très optionnels comme l’organe de préhension et le ressort de rappel, mais également les résultats produits par la présence de ces éléments.
Ainsi, l’outil N°3 est incapable de sélectionner les caractéristiques essentielles de l’invention lorsque cette dernière est présentée de manière succincte. L’outil se contente alors de faire un résumé du mémoire soumis. La revendication demeure néanmoins claire.
En conclusion pour l’outil N°3, on observe une forte limitation de la portée de la revendication principale
On constate également chez Deepseek une réduction significative de la portée de la revendication principale.
Encore une fois, on constate une limitation sur la position des tubes l’un par rapport à l’autre et l’ajout de caractéristiques non essentielles (élément de préhension),
Par ailleurs, la rédaction des moyens de maintien est trop structurelle, au détriment du fonctionnel.
En conclusion pour DeepSeek et à l’instar des outils N°2 et N°3, bien que la rédaction soit exempte de défaut de clarté, une réduction significative de la portée est à déplorer.
Les modifications proposées par Mistral IA ne peuvent pas être considérées comme un élargissement de portée : Mistral IA propose de remplacer « tube » par « élément tubulaire » comme pour l’élargissement de la revendication.
On remarquera que Mistral IA maintient la présence des moyens de préhension, ce qui constitue une limitation très conséquente, même si l’adverbe « transversalement » disparait.
De manière générale, on constate peu de différences entre la rédaction de revendication principale partant d’un mémoire détaillé et celle partant d’un mémoire succinct.
En conclusion pour Mistral IA, bien qu’aucune différence notable n’apparaisse entre les deux revendications principales, on ne peut que constater que ces dernières sont très limitées.
ChatGPT propose une revendication principale de résultat peu claire et avec peu de caractéristiques techniques.
ChatGPT semble par ailleurs avoir perdu de vue le problème technique, puisque l’on comprend que la poignée est préhensible lorsque déployée. Or, la position repliée de la poignée n’empêche pas sa préhension, bien au contraire.
En conclusion pour ChatGPT, il est proposé une revendication principale axée sur le résultat et qui ne reflète pas le problème technique posé.
Conclusion générale
Sans grande surprise, la qualité des revendications principales décline avec un mémoire technique peu étoffé. En particulier, on obtient des revendications de portée plus réduite (plus de structurel, encore moins de fonctionnel), et présentant le cas échéant un manque de clarté (revendication de résultat pour ChatGPT).
Cela s’explique probablement par le fait que la machine, ne disposant pas d’assez d’exemples, n’est pas capable de généraliser et de rédiger en terme fonctionnel. Si elle tente de le faire, elle dérive vers une revendication de résultat.
Ces résultats préliminaires semblent démontrer qu’il est impératif de nourrir un outil IA de rédaction avec un mémoire technique détaillé et précis, ce qui ne reflète qu’une minorité des cas de rédaction.
Enfin, nous avons également fourni aux outils le mémoire technique succinct mais cette fois ci sans figures. Nous avons alors constaté que la présence ou l’absence de ces figures n’a pas d’impact réel sur la portée de la revendication principale, ce qui semble indiquer que les modèles IA se basent essentiellement sur le texte du mémoire pour rédiger des revendications. Le travail de l’IA sur les figures semble se cantonner à la reconnaissance des structures représentées sur les figures en se basant sur le vocabulaire du mémoire afin d’associer les références auxdites structures dans la revendication principale.