Aller au contenu

Recherche textuelle

illus

Source : Gilles Lassus

I. La méthode find de Python⚓︎

⌛ Avant de commencer

Vous devez travailler sur Basthon

Télécharger dans le même dossier :

Dans Basthon ouvrir find_sujet.ipynb, puis dans find_sujet.ipynb ouvrir pg798.txt (cliquer sur OK).

😀 La correction est arrivée ...

Télécharger dans le même dossier :

Dans Basthon ouvrir find_corr.ipynb, puis dans find_corr.ipynb ouvrir pg798.txt (cliquer sur OK).

II. Recherche textuelle naïve⚓︎

Regarder les 5 premières minutes de la vidéo de l'introduction.

L'algorithme naïf et l'algorithme de Horspool en vidéo : Recherche textuelle

Illustration de l'algorithme

Auteur : Gilles Lassus

gif naif

Animation de Nicolas Revéret

Recherche naïve

Algorithme de recherche naïve

Compléter ci-dessous :

###
# Testsbksl-nlassert recherchepy-undnaive("une magnifique maison bleue", "maison") == [15]bksl-nlassert recherchepy-undnaive("une magnifique maison bleue", "nsi") == []bksl-nlassert recherchepy-undnaive("une magnifique maison bleue", "ma") == [4, 15]bksl-nlbksl-nl## Autres testsbksl-nlassert recherchepy-undnaive("une magnifique maison bleue", "za") == []bksl-nlassert recherchepy-undnaive('stupid spring string', 'string') == [14]bksl-nlassert recherchepy-undnaive('stupid spring string', 'ring') == [9, 16]bksl-nlbksl-nlbksl-nl 5/5
def recherchepy-undnaive(texte, motif):bksl-nl '''bksl-nl renvoie la liste des indices (éventuellement vide) des occurrences debksl-nl de la chaîne motif dans la chaîne texte.bksl-nl '''bksl-nl indices = ...bksl-nl i = 0bksl-nl while i <= len(texte) - len(motif):bksl-nl k = 0bksl-nl while k < len(motif) and texte[...] == motif[...]:bksl-nl k = ...bksl-nl if k == ...:bksl-nl indices.append(i)bksl-nl i = ...bksl-nlbksl-nl return ...bksl-nlbksl-nl# Testsbksl-nlassert recherchepy-undnaive("une magnifique maison bleue", "maison") == [15]bksl-nlassert recherchepy-undnaive("une magnifique maison bleue", "nsi") == []bksl-nlassert recherchepy-undnaive("une magnifique maison bleue", "ma") == [4, 15]bksl-nlbksl-nldef recherchepy-undnaive(texte, motif):bksl-nl '''bksl-nl renvoie la liste des indices (éventuellement vide) des occurrences debksl-nl de la chaîne motif dans la chaîne texte.bksl-nl '''bksl-nl indices = []bksl-nl i = 0bksl-nl while i <= len(texte) - len(motif):bksl-nl k = 0bksl-nl while k < len(motif) and texte[i+k] == motif[k]:bksl-nl k += 1bksl-nl if k == len(motif):bksl-nl indices.append(i)bksl-nl i += 1bksl-nlbksl-nl return indicesbksl-nl bksl-nl



Version booléenne de l'algorithme de recherche naïve

Re-écrire l'algorithme précédent en s'arrêtant dès qu'une occurrence de motif est trouvée dans texte.

La fonction renverra uniquement un booléen.

###
# Testsbksl-nlassert recherchepy-undnaivepy-undbool("une magnifique maison bleue", "maison") is Truebksl-nlassert recherchepy-undnaivepy-undbool("une magnifique maison bleue", "nsi") is Falsebksl-nlassert recherchepy-undnaivepy-undbool("une magnifique maison bleue", "ma") is Truebksl-nlbksl-nl## Autres testsbksl-nlassert recherchepy-undnaivepy-undbool("une magnifique maison bleue", "za") is Falsebksl-nlassert recherchepy-undnaivepy-undbool('stupid spring string', 'string') is Truebksl-nlassert recherchepy-undnaivepy-undbool('stupid spring string', 'ring') is Truebksl-nlbksl-nl 5/5
def recherchepy-undnaivepy-undbool(texte, motif):bksl-nl '''bksl-nl renvoie un booléen indiquant la présence ou non debksl-nl la chaîne motif dans la chaîne texte.bksl-nl '''bksl-nl trouve = Falsebksl-nl i = 0bksl-nl while i ... and ...:bksl-nl k = 0bksl-nl while k < ... and texte[...] == motif[...]:bksl-nl k += 1bksl-nl if k == ...:bksl-nl trouve = ...bksl-nl i = ...bksl-nlbksl-nl return trouvebksl-nlbksl-nl# Testsbksl-nlassert recherchepy-undnaivepy-undbool("une magnifique maison bleue", "maison") is Truebksl-nlassert recherchepy-undnaivepy-undbool("une magnifique maison bleue", "nsi") is Falsebksl-nlassert recherchepy-undnaivepy-undbool("une magnifique maison bleue", "ma") is Truebksl-nlbksl-nlbksl-nldef recherchepy-undnaivepy-undbool(texte, motif):bksl-nl '''bksl-nl renvoie un booléen indiquant la présence ou non debksl-nl la chaîne motif dans la chaîne texte.bksl-nl '''bksl-nl trouve = Falsebksl-nl i = 0bksl-nl while i <= len(texte) - len(motif) and not trouve:bksl-nl k = 0bksl-nl while k < len(motif) and texte[i + k] == motif[k]:bksl-nl k = k + 1bksl-nl if k == len(motif):bksl-nl trouve = Truebksl-nl i = i + 1bksl-nlbksl-nl return trouvebksl-nlbksl-nl



Temps de recherches

Avant de commencer

Vous devez travailler sur Basthon

Télécharger dans le même dossier :

Dans Basthon ouvrir temps_naif.ipynb, puis dans temps_naif.ipynb ouvrir pg798.txt (cliquer sur OK).

III Le principe de l'algorithme Boyer Moore Horspool⚓︎

En bio-informatique

Les algorithmes de recherche textuelle sont aussi notamment utilisés en bio-informatique. C’est dans ce domaine que l’on va prendre les exemples du TP qui suivra.

  • Comme son nom l'indique, la bio-informatique est issue de la rencontre de l'informatique et de la biologie : la récolte des données en biologie a connu une très forte augmentation ces 30 dernières années. Pour analyser cette grande quantité de données de manière efficace, les scientifiques ont de plus en plus recourt au traitement automatique de l'information, c'est-à-dire à l'informatique.
  • Analyse de l'ADN : Comme vous le savez déjà, l'information génétique présente dans nos cellules est portée par les molécules d'ADN. Les molécules d'ADN sont, entre autres, composées de bases azotées ayant pour noms : Adénine (représenté par un A), Thymine (représenté par un T), Guanine (représenté par un G) et Cytosine (représenté par un C).

adn

Auteur du schéma : Victoria Denys/CEA sur https://www.cea.fr/comprendre/Pages/sante-sciences-du-vivant/l-ADN-dechiffrer-pour-mieux-comprendre-le-vivant.aspx?Type=Chapitre&numero=1

Algorithme de recherche naïve en partant à l'envers

Auteur : Gilles Lassus

gif naif inverse

Re-écrire l'algorithme de recherche naïve, mais en démarrant de la fin du motif et non du début. Certes, c'est pour l'instant très artificiel, mais cela va nous aider 😊.

Compléter ci-dessous :

###
# Testsbksl-nlassert naifpy-undenvers("une magnifique maison bleue", "maison") == [15]bksl-nlassert naifpy-undenvers("une magnifique maison bleue", "nsi") == []bksl-nlassert naifpy-undenvers("une magnifique maison bleue", "ma") == [4, 15]bksl-nlbksl-nl## Autres testsbksl-nlassert naifpy-undenvers("une magnifique maison bleue", "za") == []bksl-nlassert naifpy-undenvers('stupid spring string', 'string') == [14]bksl-nlassert naifpy-undenvers('stupid spring string', 'ring') == [9, 16]bksl-nl 5/5
def naifpy-undenvers(texte, motif):bksl-nl indices = []bksl-nl i = len(motif) - 1bksl-nl while i <= len(texte) - 1:bksl-nl k = 0bksl-nl while k < ... and motif[...] == texte[i - k]:bksl-nl k = ...bksl-nl if k == ...:bksl-nl indices.append(...)bksl-nl i = i + 1bksl-nl return indicesbksl-nlbksl-nl# Testsbksl-nlassert naifpy-undenvers("une magnifique maison bleue", "maison") == [15]bksl-nlassert naifpy-undenvers("une magnifique maison bleue", "nsi") == []bksl-nlassert naifpy-undenvers("une magnifique maison bleue", "ma") == [4, 15]bksl-nlbksl-nldef naifpy-undenvers(texte, motif):bksl-nl indices = []bksl-nl i = len(motif) - 1bksl-nl while i <= len(texte) - 1:bksl-nl k = 0bksl-nl while k < len(motif) and motif[len(motif) - 1 - k] == texte[i - k]:bksl-nl k = k + 1bksl-nl if k == len(motif):bksl-nl indices.append(i - len(motif) + 1)bksl-nl i = i + 1bksl-nl return indicesbksl-nl bksl-nl



Le principe

L'idée est d'améliorer le code précédent (celui où l'on parcourt le motif à l'envers) en sautant directement au prochain endroit potentiellement valide.

Pour cela on regarde le caractère X du texte sur lequel on s'est arrêté (car X n'était pas égal au caractère de rang équivalent dans le motif):

Si X n'est pas dans le motif, il est inutile de se déplacer "de 1" : on retomberait tout de suite sur X, c'est du temps perdu. On se décale donc juste assez pour dépasser X, donc de la longueur du motif cherché. Si X est dans le motif (sauf à la dernière place du motif!), on va regarder la place de la dernière occurence de X dans le motif. On se décale afin de faire coïncider le X du motif et le X du texte.

Visualisation Boyer Moore Horspool par Nicolas Revéret

Boyer Moore Horspool

IV. Implémentation de l'algorithme Boyer Moore Horspool⚓︎

utiliser un prétraitement du motif pour déterminer les décalages

On va d'abord coder une fonction dico_lettres qui renvoie un dictionnaire associant à chaque lettre de mot (paramètre d'entrée) son dernier rang dans la variable mot. On exclut la dernière lettre, qui poserait un problème lors du décalage (on décalerait de 0...)

Dans l'exemple suivant :

Etape 0 :

étape 0

Le dictionnaire créé sera donc : dico = {"s": 0, "t": 1, "r": 2, "i": 3, "n": 4}

Etape 1 :

  • i prend la valeur 5 c'est à dire len(motif) - 1
  • "d" n'étant pas dans dico, on va faire un décalage de 6, c'est à dire de len(motif)

étape 1

Etape 2 :

  • i prend la valeur 5 + 6 c'est à dire de i + decalage
  • dico["n"] = 4, on va faire un décalage de 5 - 4, c'est à dire de len(motif) - 1 - dico["n"]

étape 2

Etape 3 :

  • i prend la valeur 11 + 1 c'est à dire de i + decalage
  • On a concordance pour la lettre "g", on vérifie la concordance des lettres en partant vers la gauche,
    donc pour les indices i - k, k augmentant de 1 à chaque nouvelle comparaison. On observe qu'il n'y a plus concordance lorsque i - k = 8 .
  • "p" n'étant pas dans dico, on va faire un décalage de 6, c'est à dire len(motif) à partir de l'indice où l'on se trouve.
    i prendra la valeur 8 + 6 = 14, c'est à dire que i prend la valeur i - k + len(motif)

étape 3

Etape 4 :

  • i prend la valeur 14
  • dico["s"] = 0, on va faire un décalage de 5 - 0 = 5, c'est à dire len(motif) - 1 - dico["s"]

étape 4

A vous de jouer : Implémenter l'algorithme Boyer Moore Horspool

Compléter ci-dessous :

###
# Testsbksl-nlassert BMH("stupid spring string", "string") == [14]bksl-nlassert BMH("stupid spring string", "ing") == [10, 17]bksl-nlassert BMH("stupid spring string", "ok") == []bksl-nlassert dicopy-undlettres("string") == {"s": 0, "t": 1, "r": 2, "i": 3, "n": 4}bksl-nlbksl-nl# Autres testsbksl-nlassert BMH("stupid spring string", "pi") == [3]bksl-nlassert BMH("stupid spring string", "ri") == [9, 16]bksl-nlbksl-nl 5/5
def dicopy-undlettres(mot):bksl-nl ...bksl-nlbksl-nldef BMH(texte, motif):bksl-nl dico = ...bksl-nl indices = []bksl-nl i = ... # i sert à parcourir texte avec des sauts. On part du bout du motif.bksl-nlbksl-nl while i <= ...:bksl-nl k = 0bksl-nl while k < ... and motif[...] == texte[...]: bksl-nl k = ...bksl-nl if k == ... : # On a trouvé le motifbksl-nl indices.append(...)bksl-nl decalage = ...bksl-nl i = i + decalage # On cherche un autre motif à droitebksl-nl else:bksl-nl if texte[i - k] in dico:bksl-nl decalage = ...bksl-nl i = max(... , i + 1) # Il ne faut pas revenir en arrièrebksl-nl else:bksl-nl decalage = ...bksl-nl i = ...bksl-nl bksl-nl return indicesbksl-nlbksl-nl# Testsbksl-nlassert dicopy-undlettres("string") == {"s": 0, "t": 1, "r": 2, "i": 3, "n": 4}bksl-nlassert BMH("stupid spring string", "string") == [14]bksl-nlassert BMH("stupid spring string", "ing") == [10, 17]bksl-nlassert BMH("stupid spring string", "ok") == []bksl-nlbksl-nldef dicopy-undlettres(mot):bksl-nl d = {}bksl-nl for i in range(len(mot)-1):bksl-nl d[mot[i]] = ibksl-nl return dbksl-nlbksl-nldef BMH(texte, motif):bksl-nl dico = dicopy-undlettres(motif)bksl-nl indices = []bksl-nl i = len(motif) - 1 # i sert à parcourir texte avec des sauts. On part du bout du motif.bksl-nlbksl-nl while i <= len(texte) - 1:bksl-nl k = 0bksl-nl while k < len(motif) and motif[len(motif) - 1 - k] == texte[i - k]: bksl-nl k = k + 1bksl-nl if k == len(motif): # On a trouvé le motifbksl-nl indices.append(i - len(motif) + 1)bksl-nl decalage = 1bksl-nl i = i + decalage # On cherche un autre motif à droitebksl-nl else:bksl-nl if texte[i - k] in dico:bksl-nl decalage = len(motif) - 1 - dico[texte[i - k]]bksl-nl i = max(i - k + decalage, i + 1) # Il ne faut pas revenir en arrièrebksl-nl else:bksl-nl decalage = len(motif)bksl-nl i = i - k + decalage bksl-nlbksl-nl return indicesbksl-nlbksl-nlbksl-nl



V. Crédits⚓︎

Gilles LASSUS, Jean-Louis THIROT, Marine MERA et Mireille COILHAC