ETNA a testé et comparé six outils d’intelligence artificielle dédiés à la rédaction de demandes de brevet.
Trois sont spécialisés en propriété industrielle (Ankar, Questel et DeepIP) et trois sont des outils conversationnels généralistes (DeepSeek, Mistral AI et ChatGPT).
Dans les épisodes précédents, nous avons exploré les capacités de ces outils à rédiger aussi bien des revendications que la description détaillée, en s’appuyant sur un mémoire technique détaillé d’une part et sur un mémoire technique succinct.
Pour clore cette série de tests, nous avons décidé de soumettre les outils de rédaction à un dernier test : comment ces derniers parviennent-ils à gérer les pièges et manquements intégrés dans le mémoire technique ?
Pour mener à bien ces tests, nous sommes partis du mémoire long initial et avons modifié les moyens de maintien de la poignée dans l’une ou l’autre de ses positions : à la place de bossages, il est désormais décrit des pions 5, 6 disposés aux extrémités respectives du premier tube 2 et montés sur des ressorts de compression, lesquels pions 5, 6 sont prévus pour coopérer avec un évidement 13 ménagé dans le second tube 3. Des figures modifiées ont également été réalisées pour l’occasion, dont l’une d’entre elles ci-dessous.
Pour assurer le passage du second tube 3 de sa position repliée vers sa position déployée, il est ainsi nécessaire de procéder en deux étapes : premièrement exercer manuellement une pression sur le pion considéré 5 afin de le désengager de l’évidement 13, puis deuxièmement faire coulisser le second tube 3 jusqu’à l’engagement de l’autre pion 6.
Pour assurer le passage du second tube de sa position déployée vers sa position repliée, il est nécessaire de procéder en quatre étapes : premièrement exercer manuellement une pression sur le pion considéré 6 afin de le désengager de l’évidement 13, deuxièmement faire coulisser le second tube 3, troisièmement exercer manuellement une pression sur l’autre pion 5 pour permettre le franchissement du second tube 3 au-delà dudit pion 5, et enfin achever le coulissement tube jusqu’à l’engagement du pion considéré 5.
Il faut donc exercer une action manuelle sur les pions 5, 6 pour passer d’une position à l’autre. Nous n’en avons pas fait mention dans le mémoire technique.
Plus encore, nous avons piégé techniquement le mémoire en introduisant une erreur de structure à savoir une inversion de l’effet du ressort de compression sur le pion : « Le ressort sur lequel est monté chaque pion est un ressort de compression configuré pour exercer une force de rappel du pion considéré vers sa position de déblocage. » Cette configuration ainsi décrite entraîne une position par défaut du pion dans la position de désengagement, le problème technique n’étant ainsi pas résolu puisque la poignée ne peut plus être bloquée ni en position retractée, ni en position déployée.
Nous présentons ci-dessous, pour chaque solution un extrait pertinent des revendications et de la description.
| OUTIL N°1 | |
| Extrait des revendications | Extrait de la description |
|
« Pour passer en position déployée, un utilisateur tire sur le second tube 3 dans la direction indiquée par la flèche à la Figure 2. Ce mouvement de traction provoque le coulissement du second tube 3 le long du premier tube 2. Les pions 5 et 6 sont de préférence montés sur ressort, ce qui leur permet de se rétracter lors du coulissement et de s’étendre à nouveau par la suite. Le coulissement se poursuit jusqu’à ce que l’évidement 13 du second tube 3 s’aligne avec le second pion 6. À ce moment, le second pion 6 s’engage dans l’évidement 13, comme montré à la Figure 2, verrouillant ainsi la poignée 1 en position déployée »
« Les pions 5 et 6 sont de préférence montés sur ressort, ce qui leur permet de se rétracter lors du coulissement et de s’étendre à nouveau par la suite »
|
L’outil N°1 ne détecte pas les manquements liés au procédé, et rédige une revendication principale sans tenir compte de ce problème.
Par ailleurs, l’outil N°1 se contente de reproduire le mémoire technique dans la description concernant le passage de la poignée vers la position déployée (et inversement).
Concernant l’erreur structurelle, elle ne semble pas reproduite, même si la description reste floue à ce sujet.
| OUTIL N°2 | |
| Extrait des revendications | Extrait de la description |
| 6. Poignée de porte télescopique (1) selon l’une quelconque des revendications 3 à 5,
caractérisée en ce que chaque bossage (5, 6) est monté sur un ressort de compression configuré pour exercer une force de rappel dudit bossage vers sa position de libération. |
« Partant de la position repliée de la poignée 1, dans laquelle le premier bossage 5 est en position de blocage dans le bossage externe 13 du second tube, l’utilisateur saisit l’élément de préhension 4 et tire sur la partie d’extrémité libre 8 du second tube 3 selon une direction parallèle à l’axe de la poignée. La force de traction exercée permet de provoquer le coulissement du second tube 3 sur le premier tube 2. »
« Le ressort sur lequel est monté chaque bossage est un ressort de compression configuré pour exercer une force de rappel du bossage considéré vers sa position de libération. » |
Comme l’outil N°1, l’outil N°2 ne détecte pas les manquements liés au procédé, et rédige une revendication principale sans tenir compte de ce problème.
L’outil N°2 se contente également de reproduire le mémoire technique dans la description concernant le passage de la poignée vers la position déployée (et inversement).
L’erreur structurelle n’est pas identifiée comme telle puisqu’elle est reprise aussi bien dans les revendications (revendication 6) que dans la description.
|
OUTIL N°3 |
|
|
Extrait des revendications |
Extrait de la description |
| 8. Un procédé de maniement d’une poignée de porte télescopique comportant un premier tube (2) fixé à la porte et un second tube (3) coulissant portant un organe de préhension (4), le procédé consistant à tirer sur ledit organe de préhension (4) pour faire coulisser le second tube (3) entre une position rentrée et une position déployée;
caractérisé en ce que: – l’effort de traction exercé est suffisant pour vaincre l’ajustement par friction prédéfini entre les deux tubes (2, 3); – l’extension du second tube (3) entraîne l’enclenchement automatique, dans un évidement (13) ménagé dans ledit second tube (3), d’un premier pion (6) monté sur ressort (7) à l’extrémité du premier tube (2), verrouillant la position déployée; et – pour rétracter la poignée, on exerce une traction répétée sur l’organe de préhension (4) afin de dégager le pion (6) enclenché, puis on relâche l’organe de préhension (4), un ressort de traction interne (11) ramenant le second tube (3) en position rentrée où un deuxième pion (5) monté sur ressort (7), disposé à l’autre extrémité du premier tube (2), vient s’engager dans le même évidement (13). |
« Des bossages périphériques coopèrent pour maintenir les positions rétractée et déployée, tandis qu’un ressort de traction garantit le rappel automatique en position rétractée, simplifiant le retour à l’état initial. » |
L’outil N°3 ne détecte pas les manquements liés au procédé, et rédige une revendication de procédé techniquement erronée , mélangeant par ailleurs les modes de réalisation entre eux.
La description est plutôt erratique, et réitère les manquements liés au procédé. En revanche, on ne retrouve pas trace des pions montés sur ressort dans la description si bien qu’il n’est pas possible de savoir si l’outil N°3 a identifié l’erreur structurelle ou pas.
|
DEEPSEEK |
|
|
Extrait des revendications |
Extrait de la description |
| 5. Poignée de porte selon la revendication 4, dans laquelle ledit au moins un pion (5, 6) est actionnable manuellement entre une position de blocage et une position de libération du second tube (3). | Dans un premier exemple, le manchon (2) et l’élément d’extension (3) sont deux tubes concentriques, le tube extérieur coulissant sur le tube intérieur. Les pions (5, 6) bloquent le tube extérieur dans l’une ou l’autre position.
|
La description de Deepseek est très succincte, et ne cite les pions que dans la phrase présente dans le tableau ci-dessus. On constate une insuffisance de description particulièrement manifeste. Le procédé assurant le passage de la poignée d’une position à l’autre n’est en outre pas décrit.
De manière intéressante, la revendication 5 – qui se base sur une phrase du mémoire technique – comprend le terme « manuellement » qui n’est pas initialement présente dans le mémoire. Cette modification est cependant, très probablement, à relier avec le coulissement manuel du tube externe tel que décrit dans le mémoire.
|
MISTRAL IA |
|
| Extrait des revendications |
Extrait de la description |
| 4. Poignée de porte selon l’une des revendications précédentes, caractérisée en ce que les pions (5, 6) sont actionnables entre une position de blocage, dans laquelle ils font saillie du premier élément tubulaire (2) et traversent l’évidement (13) du second élément tubulaire (3), et une position de libération, dans laquelle ils sont au moins en partie rentrés dans le premier élément tubulaire (2) | L’utilisation de la poignée est simple :
– en position repliée, l’utilisateur saisit l’élément de préhension (4) et tire pour déployer la poignée. – en position déployée, l’utilisateur peut actionner la poignée pour ouvrir la porte. – pour replier la poignée, il suffit d’appuyer sur l’élément de préhension (4) jusqu’à ce que le second élément tubulaire (3) revienne en position repliée.
|
A l’instar des autres outils, Mistral IA ne détecte pas les manquements liés au procédé. Pour preuve, la section ci-dessus de la description concernant l’utilisation de la poignée.
La revendication 4 présente en revanche un intérêt : elle rappelle que c’est lorsque les pions sont rentrés que le mouvement de coulissement est possible. En revanche, elle ne permet pas de rétablir l’insuffisance de la description concernant l’utilisation de la poignée.
|
CHATGPT |
|
|
Extrait des revendications |
Extrait de la description |
| 3. Poignée (1) selon la revendication 1 ou 2, dans laquelle chaque pion (5, 6) est monté sur un ressort de compression configuré pour exercer une force de rappel amenant le pion vers une position de blocage dans l’évidement (13). | « Dans une variante, un ressort de traction (11) est logé dans le second tube (3), reliant l’extrémité libre (8) de celui-ci à l’extrémité libre (10) du manchon (2), afin de rappeler automatiquement la poignée (1) vers sa position rétractée. »
« Chaque pion (5, 6) est monté sur un ressort de compression qui exerce une force de rappel amenant le pion vers sa position de blocage. »
|
Conclusion générale
Ce dernier épisode confirme l’absolue nécessité de nourrir les outils de rédaction avec des documents techniques les plus précis et les plus justes possibles.
Dans la plupart des cas, ces outils se montrent incapables de détecter les étapes manquantes du procédé, ou même une erreur structurelle particulièrement évidente.
Aucun outil n’a détecté les manquements liés au procédé. Même si Deepseek introduit une revendication qui précise que les pions sont actionnables manuellement (terme non présent dans le mémoire technique), il faut probablement relier cette rédaction au déplacement à coulissement du second tube le long du premier tube.
Seul ChatGPT a détecté l’erreur structurelle concernant le ressort de compression exerçant une force de rappel du pion dans sa position de déblocage, et l’a corrigé aussi bien dans la description que dans les revendications.
Pour résumer :
- Aucun des outils ne détecte l’ensemble des pièges introduits dans le mémoire technique faussé.
- Par ailleurs, même si ChatGPT a détecté l’erreur structurelle et apporté une correction dans le bon sens, aucune mention de cette erreur n’est rapportée à la connaissance du rédacteur humain.
Ces deux constats posent finalement une véritable question de fiabilité de ces outils de rédaction.