Algorytmy i struktury danych/Algorytmy tekstowe I: Różnice pomiędzy wersjami

Z Studia Informatyczne
Przejdź do nawigacjiPrzejdź do wyszukiwania
m
(poprawki od KDX)
Linia 3: Linia 3:
 
__TOC__
 
__TOC__
  
Tekst jest ciągiem symboli; przyjmujemy że jest on zadany tablicą x[1..n], elementami której są symbole ze zbioru A (zwanego alfabetem). Liczba <math>n=|x|</math> jest długością (rozmiarem) tekstu. W większości naszych algorytmów jedyne operacje dopuszczalne na symbolach wejściowych to porównania dwóch symboli.  
+
Tekst jest ciągiem symboli. Przyjmujemy, że jest on zadany tablicą <math>x[1,\ldots,n]</math>, elementami której są symbole ze skończonego zbioru ''A'' (zwanego alfabetem). Liczba <math>n=|x|</math> jest długością (rozmiarem) tekstu. W większości naszych algorytmów jedyne operacje dopuszczalne na symbolach wejściowych, to porównania dwóch symboli.  
  
Algorytmy na tekstach wyróżniają się tym, że wykorzystują specyficzne kombinatoryczne własności tekstów. '''Okresem''' tekstu <math>x</math> jest każda liczba naturalna niezerowa <math>p</math> taka, że <math>x[i]=x[i+p]</math>, dla każdego <math>i</math>, dla którego obie strony są zdefiniowane. Przez per(x) oznaczmy minimalny okres x.  
+
Algorytmy na tekstach wyróżniają się tym, że wykorzystują specyficzne, kombinatoryczne własności tekstów. '''Okresem''' tekstu <math>x</math> jest każda liczba naturalna niezerowa <math>p</math> taka, że <math>x[i]=x[i+p]</math>, dla każdego <math>i</math>, dla którego obie strony są zdefiniowane. Przez ''per(x)'' oznaczmy minimalny okres x.  
  
  
Pojęciem dualnym do okresu jest '''prefikso-sufiks''' tekstu: jest to najdłuższy właściwy (nie będący całym x) prefiks tekstu x  będący jednocześnie sufiksem x.  Oczywiste jest, że <math>|x|-per(x)</math> jest długością prefikso-sufiksu x. Jeśli <math>per(x)=|x|</math> to prefikso-sufiksem x jest słowo puste o długości zerowej.
+
Pojęciem dualnym do okresu jest '''prefikso-sufiks''' tekstu. Jest to najdłuższy właściwy (nie będący całym tekstem) prefiks tekstu ''x'' będący jednocześnie jego sufiksem.  Oczywiste jest, że <math>|x|-per(x)</math> jest długością prefikso-sufiksu ''x''. Jeśli <math>per(x)=|x|</math> to prefikso-sufiksem ''x'' jest słowo puste o długości zerowej.
  
 
Oznaczmy przez <math>P[k]</math> rozmiar prefikso-sufiksu <math>x[1..k]</math>; zatem <math>per(x)=n-P[n]</math>, gdzie <math>n=|x|</math>.
 
Oznaczmy przez <math>P[k]</math> rozmiar prefikso-sufiksu <math>x[1..k]</math>; zatem <math>per(x)=n-P[n]</math>, gdzie <math>n=|x|</math>.
Linia 22: Linia 22:
 
== Obliczanie tablicy  Prefikso-Sufiksów==
 
== Obliczanie tablicy  Prefikso-Sufiksów==
  
Przedstawimy jeden z możliwych algorytmów liniowych obliczania tablicy P; jest to iteracyjna wersja algorytmu rekurencyjnego, który moglibyśmy otrzymać korzystając z faktu:
+
Przedstawimy jeden z możliwych algorytmów liniowych obliczania tablicy ''P''. Jest to iteracyjna wersja algorytmu rekurencyjnego, który moglibyśmy otrzymać korzystając z faktu:
  
<center><math>x[j]=x[t+1]\ \textrm{oraz}\ t=P[j-1] \ \Rightarrow\ P[j]= t+1</math></center>
+
<center>Jeśli <math>x[j]=x[t+1]</math> oraz <math>t=P[j-1]<math>, to <math>P[j]= t+1</math></center>
  
W algorytmie obliczania <math>P[j]</math> korzystamy z wartości <math>P[k]</math> dla <math>k<j</math>.
+
W algorytmie obliczania <math>P[j]</math> korzystamy z wartości <math>P[k]</math>, dla <math>k<j</math>.
  
 
{{algorytm|Prefikso-Sufiksy|algorytm_prefikso_sufiksy|
 
{{algorytm|Prefikso-Sufiksy|algorytm_prefikso_sufiksy|
<math>P[0]:=-1</math>; <math>t:=-1</math>;<br>
+
<math>P[0]:=-1</math>; <math>t:=0</math>;
'''for''' <math>j:=1</math> '''to''' <math>m</math> '''do'''<br>
+
'''for''' <math>j:=1</math> '''to''' <math>m</math> '''do'''
&nbsp;&nbsp;&nbsp;'''while''' <math>t\geq 0</math> '''and''' <math>x[t+1]\neq x[j]</math> '''do''' <math>t:=P[t]</math><br>
+
3  '''begin'''
&nbsp;&nbsp;&nbsp;<math>t:=t+1</math>; <math>P[j]:=t</math>;
+
4    '''while''' <math>t\geq 0</math> '''and''' <math>x[t+1]\neq x[j]</math> '''do''' <math>t:=P[t];</math>
 +
5    <math>t:=t+1</math>; <math>P[j]:=t</math>;
 +
6  '''end;'''
 
}}
 
}}
  
Złożoność liniowa wynika stąd, że w każdej iteracji zwiększamy wartość t co najwyżej o jeden, a wykonanie każdej operacji <math>t:=P[t]</math> zmniejsza wartość t co najmniej o jeden. Proste zastosowanie zasady magazynu (lub potencjału) implikuje, że operacji <math>t:=P[t]</math> wykonujemy co najwyżej n. Dowód poprawności pozostawiamy jako ćwiczenie.
+
Złożoność liniowa wynika stąd, że w każdej iteracji zwiększamy wartość ''t'' co najwyżej o jeden, a wykonanie każdej operacji <math>t:=P[t]</math> zmniejsza wartość ''t'' co najmniej o jeden. Proste zastosowanie zasady magazynu (lub potencjału) implikuje, że operacji <math>t:=P[t]</math> wykonujemy co najwyżej ''n''. Dowód poprawności pozostawiamy jako ćwiczenie.
  
 
== Minimalne słowo pokrywające ==
 
== Minimalne słowo pokrywające ==
Pokażemy pewne proste zastosowanie tablicy prefikso-sufiksów.
+
Pokażemy pewne, proste zastosowanie tablic prefikso-sufiksów.
Słowem pokrywającym tekst x jest każdy taki tekst y, którego wystąpienia w x
+
Słowem pokrywającym tekst ''x'' jest każdy taki tekst ''y'', którego wystąpienia w ''x''
pokrywają cały tekst x. Na przykład słowo y=aba pokrywa tekst x=ababaaba, natomiast nie pokrywa tekstu abaaababa.
+
pokrywają cały tekst ''x''. Na przykład słowo ''y=aba'' pokrywa tekst ''x=ababaaba'', natomiast nie pokrywa tekstu ''abaaababa''.
Zajmiemy się problemem: obliczyć w czasie liniowym długość najkrótszego słowa pokrywającego dany tekst x.
+
Zajmiemy się problemem: obliczyć w czasie liniowym długość najkrótszego słowa pokrywającego dany tekst ''x''.
  
 
Niech <math>S[i]</math>
 
Niech <math>S[i]</math>
 
będzie rozmiarem minimalnego słowa  pokrywającego dla prefiksu <math>x[1..i]</math>.  Następujący algorytm oblicza długość minimalnego słowa
 
będzie rozmiarem minimalnego słowa  pokrywającego dla prefiksu <math>x[1..i]</math>.  Następujący algorytm oblicza długość minimalnego słowa
pokrywającego tekstu x. Obliczamy  wartości <math>S[i]</math> najmniejszej długości minimalnego słowa pokrywającego <math>x[1
+
pokrywającego tekstu ''x''. Obliczamy  wartości <math>S[i]</math> długości najkrótszego słowa pokrywającego <math>x[1
 
\ldots i]</math> dla każdego <math>1 \le i \le n</math>.
 
\ldots i]</math> dla każdego <math>1 \le i \le n</math>.
 
W <math>i</math>-tej
 
W <math>i</math>-tej
iteracji algorytm pamięta jaki jest ``znany zakres'' każdego minimalnego słowa pokrywającego.
+
iteracji algorytmu pamiętany jest ''znany zakres'' każdego minimalnego słowa pokrywającego.
 +
 
 +
<font color="red">TODO - problem z rysunkiem, napis nie pasuje do podpisu, co to jest q?</font>
  
 
<center> [[Grafika:Minpokslowo.jpg]]<br>
 
<center> [[Grafika:Minpokslowo.jpg]]<br>
Linia 57: Linia 61:
  
 
{{algorytm | Rozmiar-Minimalnego-Pokrycia|algorym_rozm_min_pokr|
 
{{algorytm | Rozmiar-Minimalnego-Pokrycia|algorym_rozm_min_pokr|
'''for ''' <math>i:=2</math> '''to''' <math>n</math> '''do'''<br>
+
'''for ''' <math>i:=2</math> '''to''' <math>n</math> '''do''' '''begin'''
&nbsp;&nbsp;&nbsp;<math>Zakres[i]=i, S[i]=i</math><br>
+
2    <math>Zakres[i]=i; S[i]=i;</math>
 
+
3  '''end;'''
'''for ''' <math>i:=2</math> '''to''' <math>n</math> '''do'''<br>
+
'''for ''' <math>i:=2</math> '''to''' <math>n</math> '''do'''
&nbsp;&nbsp;&nbsp;'''if''' <math>P[i]>0</math> oraz <math>i-Zakres[S[P[i]] \le S[P[i]]</math> '''then'''<br>
+
5    '''if''' <math>P[i]>0</math> '''and''' <math>i-Zakres[S[P[i]] \le S[P[i]]</math> '''then''' '''begin'''
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<math>S[i] := S[P[i]]</math>;  <math>Zakres[S[P[i]] := i</math>;<br>
+
6      <math>S[i] := S[P[i]]</math>;  <math>Zakres[S[P[i]] := i</math>;<br>
 
+
7    '''end;'''
'''return''' <math>S[n]</math>;
+
'''return''' <math>S[n]</math>;
 
}}
 
}}
  
Linia 70: Linia 74:
  
 
==Tablica Silnych Prefikso-Sufiksów==
 
==Tablica Silnych Prefikso-Sufiksów==
 +
 +
<font color="red">TODO - KDX - ???</font>
 +
 
Wprowadzimy silną tablicę prefikso-sufiksów dla wzorca <math>x[1..m]</math>:  
 
Wprowadzimy silną tablicę prefikso-sufiksów dla wzorca <math>x[1..m]</math>:  
&nbsp;&nbsp;&nbsp;jeśli <math>j<|x|</math> to <math>P'[j]=k</math>, gdzie <math>k</math> jest maksymalnym rozmiarem słowa będącego właściwym prefiksem i sufiksem <math>x[1..j]</math> i spełniającego dodatkowy warunek <math>x[k+1]\ne x[j+1]</math> dla <math>j<n</math>.  
+
jeśli <math>j<|x|</math>, to <math>P'[j]=k</math>, gdzie <math>k</math> jest maksymalnym rozmiarem słowa będącego właściwym prefiksem i sufiksem <math>x[1..j]</math> i spełniającego dodatkowy warunek <math>x[k+1]\ne x[j+1]</math> dla <math>j<n</math>.  
 
<br> Jeśli takiego k nie ma, to przyjmujemy <math>P'[j]=-1</math>. Przyjmujemy ponadto, że <math>P'[m]=P[m]</math>.
 
<br> Jeśli takiego k nie ma, to przyjmujemy <math>P'[j]=-1</math>. Przyjmujemy ponadto, że <math>P'[m]=P[m]</math>.
  
Linia 91: Linia 98:
  
 
{{algorytm|Silne-Prefikso-Sufiksy|algorytm_silne_prefikso_sufiksy|
 
{{algorytm|Silne-Prefikso-Sufiksy|algorytm_silne_prefikso_sufiksy|
<math>P'[0]:=-1</math>; <math>t:=-</math>1;<br>
+
<math>P'[0]:=-1</math>; <math>t:=-</math>1;
'''for''' <math>j:=</math> 1 '''to''' <math>m</math> '''do''' // <math>t=P[j-1]</math> <br>
+
'''for''' <math>j:=</math> 1 '''to''' <math>m</math> '''do''' '''begin''' // <math>t=P[j-1]</math>  
&nbsp;&nbsp;&nbsp;'''while''' <math>t\geq 0</math> '''and''' <math>x[t+1]\neq x[j]</math>'''do'''<br>
+
3    '''while''' <math>t\geq 0</math> '''and''' <math>x[t+1]\neq x[j]</math>'''do'''
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<math>t:=P'[t]</math>;<br>
+
4      <math>t:=P'[t]</math>;
&nbsp;&nbsp;&nbsp;<math>t:=t+1</math>;<br>
+
5    <math>t:=t+1</math>;
&nbsp;&nbsp;&nbsp;'''if''' <math>j=m</math> '''or''' <math>x[t+1]\neq x[j+1]</math><br>
+
6    '''if''' <math>j=m</math> '''or''' <math>x[t+1]\neq x[j+1]</math>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;'''then''' <math>P'[j]:=t</math> '''else''' <math>P'[j]:=P'[t]</math>;<br>
+
7      '''then''' <math>P'[j]:=t</math> '''else''' <math>P'[j]:=P'[t]</math>;
 +
8  '''end;'''
 
}}
 
}}
  
Linia 105: Linia 113:
  
 
Przedstawimy klasyczny algorytm Knutha-Morrisa-Pratta (w skrócie KMP) dla problemu ''string-matching''u:
 
Przedstawimy klasyczny algorytm Knutha-Morrisa-Pratta (w skrócie KMP) dla problemu ''string-matching''u:
&nbsp; obliczyć w w tekście <math>y</math> wszystkie (lub pierwsze) wystąpienia danego tekstu <math>x</math>, zwanego wzorcem (ang. pattern).
+
&nbsp; obliczyć w w tekście <math>y</math> wszystkie (lub pierwsze) wystąpienia danego tekstu <math>x</math>, zwanego wzorcem.
  
 
Oznaczmy <math>m=|x|, n=|y|</math>, gdzie <math>m\le n</math>.
 
Oznaczmy <math>m=|x|, n=|y|</math>, gdzie <math>m\le n</math>.
Linia 115: Linia 123:
  
 
{{algorytm|Algorytm KMP|algorytm_kmp|
 
{{algorytm|Algorytm KMP|algorytm_kmp|
<math>i:=0</math>; <math>j:=0</math>;<br>
+
<math>i:=0</math>; <math>j:=0</math>;
'''while''' <math>i\leq n-m</math> '''do'''<br>
+
'''while''' <math>i\leq n-m</math> '''do''' '''begin'''
&nbsp;&nbsp;&nbsp;'''while''' <math>j<m</math> '''and''' <math>x[j+1]=y[i+j+1]</math> '''do''' <math>j=j+1</math>;<br>
+
3    '''while''' <math>j<m</math> '''and''' <math>x[j+1]=y[i+j+1]</math> '''do''' <math>j=j+1</math>;
&nbsp;&nbsp;&nbsp;'''if''' <math>j=m</math> '''then return'''(true);<br>
+
4    '''if''' <math>j=m</math> '''then return'''(true);
&nbsp;&nbsp;&nbsp;<math>i:=i+j-P'[j]</math>; <math>j:=\max(0,P'[j])</math>
+
5    <math>i:=i+j-P'[j]</math>; <math>j:=\max(0,P'[j])</math>
 +
6  '''end;'''
 
}}
 
}}
  
Linia 149: Linia 158:
  
 
{{algorytm|On-Line-KMP|algorytm_online_KMP|
 
{{algorytm|On-Line-KMP|algorytm_online_KMP|
'''repeat forever'''<br>
+
'''repeat forever'''
&nbsp;&nbsp;&nbsp;read(<math>symbol</math>);<br>
+
2    read(<math>symbol</math>);
&nbsp;&nbsp;&nbsp;'''while''' <math>j>-1</math> and <math>x[j+1]\ne symbol</math> '''do''' <math>j:=P'[j]</math>;<br>
+
3    '''while''' <math>j>-1</math> and <math>x[j+1]\ne symbol</math> '''do''' <math>j:=P'[j]</math>;
&nbsp;&nbsp;&nbsp;<math>j:=j+1</math>;<br>
+
4    <math>j:=j+1</math>;
&nbsp;&nbsp;&nbsp;'''if''' <math>j=m</math> '''then''' <br>
+
5    '''if''' <math>j=m</math> '''then'''  
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;write(1); <math>j := P'[m]</math>;<br>
+
6      write(1); <math>j := P'[m]</math>;
&nbsp;&nbsp;&nbsp;'''else''' write(0);
+
7    '''else''' write(0);
 
}}
 
}}
  
Linia 179: Linia 188:
  
 
{{algorytm|Real-Time-KMP|algorytm_rtkmp|
 
{{algorytm|Real-Time-KMP|algorytm_rtkmp|
inicjalizacja:  <math>j:=0</math>; Kolejka <math>:= \emptyset</math>;<br>
+
inicjalizacja:  <math>j:=0</math>; Kolejka <math>:= \emptyset</math>;
'''repeat forever'''<br>
+
'''repeat forever'''
&nbsp;&nbsp;&nbsp;read(symbol);<br>
+
3    read(symbol);
&nbsp;&nbsp;&nbsp;insert(symbol,Kolejka); <br>
+
4    insert(symbol,Kolejka);  
&nbsp;&nbsp;&nbsp;'''write'''(OUTPUT(Kolejka, j));
+
5    '''write'''(OUTPUT(Kolejka, j));
 
}}
 
}}
  
Linia 193: Linia 202:
  
 
{{algorytm|Real-Time-KMP: funkcja OUTPUT(Kolejka, j)|algorytm_rtkmp_fun|
 
{{algorytm|Real-Time-KMP: funkcja OUTPUT(Kolejka, j)|algorytm_rtkmp_fun|
output <math>:=</math> 0;<br>
+
output <math>:=</math> 0;
'''repeat 2 times'''<br>
+
'''repeat 2 times'''
&nbsp;&nbsp;&nbsp;'''if ''' Kolejka niepusta '''then'''<br>
+
3    '''if ''' Kolejka niepusta '''then'''
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;'''if''' <math>j=-1</math> '''then''' <br>
+
4      '''if''' <math>j=-1</math> '''then'''  
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;j <math>:=</math> 0; delete(Kolejka);<br>
+
5        j <math>:=</math> 0; delete(Kolejka);
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;'''else if'''  <math>x[j+1]\ne first(Kolejka)</math> '''then'''  <math>j:=P'[j]</math>;<br>
+
6      '''else if'''  <math>x[j+1]\ne first(Kolejka)</math> '''then'''  <math>j:=P'[j]</math>;
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;'''else''' <br>
+
7      '''else'''  
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<math>j:=j+1</math>; delete(Kolejka); <br>
+
8        <math>j:=j+1</math>; delete(Kolejka);  
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;'''if''' <math>j=m</math><br>
+
9      '''if''' <math>j=m</math>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;output <math>:= </math>1; j <math>:= P'[m]</math>; <br>
+
10      output <math>:= </math>1; j <math>:= P'[m]</math>;  
'''return'''(output);
+
11 '''return'''(output);
  
 
}}
 
}}
  
==Wersja algorytmu KMP z 3n/2 porównaniami==
+
==Wersja algorytmu KMP z <math>\frac{3n}{2}</math> porównaniami==
  
 
Algorytm KMP wykonuje co najmniej 2n-m porównań symboli. Załóżmy, że są to operacje dominujące i spróbujmy zmniejszyć stały współczynnik 2 do <math>\frac{3}{2}</math>. Na początku załóżmy, że <math>x=ab</math>. Następujący algorytm znajduje wszystkie wystąpienia wzorca ab w tekście y.
 
Algorytm KMP wykonuje co najmniej 2n-m porównań symboli. Załóżmy, że są to operacje dominujące i spróbujmy zmniejszyć stały współczynnik 2 do <math>\frac{3}{2}</math>. Na początku załóżmy, że <math>x=ab</math>. Następujący algorytm znajduje wszystkie wystąpienia wzorca ab w tekście y.
  
 
{{algorytm|Szukanie-ab|algorytm_szukanie_ab|
 
{{algorytm|Szukanie-ab|algorytm_szukanie_ab|
wzorcem jest <math>ab</math> <br>
+
wzorcem jest <math>ab</math>  
<math>i:=0</math>; <br>
+
<math>i:=0</math>;  
'''while''' <math>i\leq n-m</math> '''do'''<br>
+
'''while''' <math>i\leq n-m</math> '''do''' '''begin'''
&nbsp;&nbsp;&nbsp;'''while''' <math>y[i+2]\ne b</math> '''do'''<math>i=i+1</math>;<br>
+
4    '''while''' <math>y[i+2]\ne b</math> '''do'''<math>i=i+1</math>;
&nbsp;&nbsp;&nbsp;'''if''' <math>y[i+1]= a</math> '''then''' <br>
+
5    '''if''' <math>y[i+1]= a</math> '''then'''  
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;wypisz-wystąpienie;i<math>:=</math>i+2
+
6      wypisz-wystąpienie;i<math>:=</math>i+2
 +
7  '''end;'''
 
}}
 
}}
  
Linia 283: Linia 293:
  
 
{{algorytm|Równoważność-Cykliczna|algorytm_równoważność_cykliczna|
 
{{algorytm|Równoważność-Cykliczna|algorytm_równoważność_cykliczna|
<math>x:=uu</math>; <math>y:=ww</math>;<br>
+
<math>x:=uu</math>; <math>y:=ww</math>;
<math>i:=0</math>; <math>j:=0</math>;<br>
+
<math>i:=0</math>; <math>j:=0</math>;
'''while''' <math>(i<n)</math> '''and''' <math>(j<n)</math> '''do'''<br>
+
'''while''' <math>(i<n)</math> '''and''' <math>(j<n)</math> '''do''' '''begin'''
&nbsp;&nbsp;&nbsp;<math>k:=1</math>;<br>
+
4    <math>k:=1</math>;
&nbsp;&nbsp;&nbsp;'''while''' <math>x[i+k]=y[j+k]</math> '''do''' <math>k:=k+1</math>;<br>
+
5    '''while''' <math>x[i+k]=y[j+k]</math> '''do''' <math>k:=k+1</math>;
&nbsp;&nbsp;&nbsp;'''if''' <math>k>n</math> '''then return''' true;<br>
+
6    '''if''' <math>k>n</math> '''then return''' true;
&nbsp;&nbsp;&nbsp;'''if''' <math>x[i+k]>y[i+k]</math> '''then''' <math>i:=i+k</math> '''else''' <math>j:=j+k</math>;<br>
+
7    '''if''' <math>x[i+k]>y[i+k]</math> '''then''' <math>i:=i+k</math> '''else''' <math>j:=j+k</math>;
'''return''' false;<br>
+
8  '''end;'''
 +
'''return''' false;
 
}}
 
}}
  

Wersja z 15:10, 27 wrz 2006

Algorytmy tekstowe I

Tekst jest ciągiem symboli. Przyjmujemy, że jest on zadany tablicą , elementami której są symbole ze skończonego zbioru A (zwanego alfabetem). Liczba jest długością (rozmiarem) tekstu. W większości naszych algorytmów jedyne operacje dopuszczalne na symbolach wejściowych, to porównania dwóch symboli.

Algorytmy na tekstach wyróżniają się tym, że wykorzystują specyficzne, kombinatoryczne własności tekstów. Okresem tekstu jest każda liczba naturalna niezerowa taka, że , dla każdego , dla którego obie strony są zdefiniowane. Przez per(x) oznaczmy minimalny okres x.


Pojęciem dualnym do okresu jest prefikso-sufiks tekstu. Jest to najdłuższy właściwy (nie będący całym tekstem) prefiks tekstu x będący jednocześnie jego sufiksem. Oczywiste jest, że jest długością prefikso-sufiksu x. Jeśli to prefikso-sufiksem x jest słowo puste o długości zerowej.

Oznaczmy przez rozmiar prefikso-sufiksu ; zatem , gdzie .


Przykład

Dla mamy:

Wartość jest wartością sztuczną (przyjmiemy potem ).

Obliczanie tablicy Prefikso-Sufiksów

Przedstawimy jeden z możliwych algorytmów liniowych obliczania tablicy P. Jest to iteracyjna wersja algorytmu rekurencyjnego, który moglibyśmy otrzymać korzystając z faktu:

Jeśli oraz

W algorytmie obliczania korzystamy z wartości , dla .

Algorytm Prefikso-Sufiksy


1  ; ;
2  for  to  do
3   begin
4    while  and  do 
5    ; ;
6   end;

Złożoność liniowa wynika stąd, że w każdej iteracji zwiększamy wartość t co najwyżej o jeden, a wykonanie każdej operacji zmniejsza wartość t co najmniej o jeden. Proste zastosowanie zasady magazynu (lub potencjału) implikuje, że operacji wykonujemy co najwyżej n. Dowód poprawności pozostawiamy jako ćwiczenie.

Minimalne słowo pokrywające

Pokażemy pewne, proste zastosowanie tablic prefikso-sufiksów. Słowem pokrywającym tekst x jest każdy taki tekst y, którego wystąpienia w x pokrywają cały tekst x. Na przykład słowo y=aba pokrywa tekst x=ababaaba, natomiast nie pokrywa tekstu abaaababa. Zajmiemy się problemem: obliczyć w czasie liniowym długość najkrótszego słowa pokrywającego dany tekst x.

Niech będzie rozmiarem minimalnego słowa pokrywającego dla prefiksu . Następujący algorytm oblicza długość minimalnego słowa pokrywającego tekstu x. Obliczamy wartości długości najkrótszego słowa pokrywającego dla każdego . W -tej iteracji algorytmu pamiętany jest znany zakres każdego minimalnego słowa pokrywającego.

TODO - problem z rysunkiem, napis nie pasuje do podpisu, co to jest q?

Minpokslowo.jpg

Rysunek 3: -ta iteracja algorytmu dla oraz słowa . Tuż przed rozpoczęciem tej iteracji mamy , , . Po zakończeniu -tej iteracji

mamy , ponieważ .

Algorytm Rozmiar-Minimalnego-Pokrycia


1  for   to  do begin
2    
3  end;
4  for   to  do
5    if  and  then begin
6      ;  ;
7 end; 8 return ;

Poprawność jest pozostawiona jako ćwiczenie.

Tablica Silnych Prefikso-Sufiksów

TODO - KDX - ???

Wprowadzimy silną tablicę prefikso-sufiksów dla wzorca : jeśli , to , gdzie jest maksymalnym rozmiarem słowa będącego właściwym prefiksem i sufiksem i spełniającego dodatkowy warunek dla .
Jeśli takiego k nie ma, to przyjmujemy . Przyjmujemy ponadto, że .

Wartości tablicy P' mogą być znacznie mniejsze niż wartości tablicy P.

Przykład

Dla mamy:


Algorytm bazuje na następującej relacji między P a P':



Nie musimy obliczać tablicy P; potrzebna jest jedynie ostatnia wartość , którą obliczamy on-line.


Algorytm Silne-Prefikso-Sufiksy


1  ; 1;
2  for  1 to  do begin //  
3    while  and do
4       ;
5    ;
6    if  or 
7      then  else ;
8  end;

Gdy weźmiemy to , , , oraz dla . To jest pesymistyczny przypadek dla algorytmu Silne-Prefikso-Sufiksy, algorytm wykonuje porównań symboli.

String-matching: algorytm Knutha-Morrisa-Pratta

Przedstawimy klasyczny algorytm Knutha-Morrisa-Pratta (w skrócie KMP) dla problemu string-matchingu:   obliczyć w w tekście wszystkie (lub pierwsze) wystąpienia danego tekstu , zwanego wzorcem.

Oznaczmy , gdzie .

Operacją dominującą w algorytmie jest porównanie dwóch symboli.

Zaczniemy od obliczania jedynie pierwszego wystąpienia. Algorytm KMP przegląda tekst y od lewej do prawej, sprawdzając, czy jest zgodność na pozycji we wzorcu x oraz na pozycji w tekście y. Jeśli jest niezgodność, to przesuwamy potencjalny początek (pozycja i) wystąpienia x w y. Zakładamy, że algorytm zwraca na końcu wartość false,jeśli nie zwróci wcześniej true. Pozostawiamy dowód poprawności (określenie niezmienników) jako ćwiczenie.


Algorytm Algorytm KMP


1  ; ;
2  while  do begin
3    while  and  do ;
4    if  then return(true);
5    ; 
6  end;

Operacją dominującą w algorytmie jest operacja: .

Udowodnimy, że algorytm KMP wykonuje co najwyżej 2n-m porównań symboli. Zauważmy, że dla danej pozycji w tekście y jest ona co najwyżej raz porównana z pewną pozycją we wzorcu w porównaniu pozytywnym (gdy symbole są równe). Jednocześnie każde negatywne porównanie powoduje przesunięcie pozycji co najmniej o jeden, maksymalna wartość i wynosi n-m, zatem mamy takich porównań co najwyżej n-m, w sumie co najwyżej 2n-m porównań w algorytmie KMP.


<flash>file=KMP.swf|width=450|height=220</flash>

Algorytm dla , wykonuje 2n-2porównania, zatem 2n-m jest dolną i jednocześnie górną granicą na liczbę porównań w algorytmie.

Obserwacja. Tablicę P' możemy w algorytmie KMP zamienić na P bez zmiany złożoności pesymistycznej.

W wersji on-line algorytmu okaże się, że jest zdecydowana różnica między użyciem P' i P; to właśnie jest motywacją dla wprowadzenia silnych prefikso-sufiksów.

Kmp.gif



Rysunek 1: Jedna iteracja algorytmu KMP. Przesunięcie potencjalnego początku wystąpienia wzorca gdy .

Wersja on-line algorytmu KMP

Przedstawimy teraz wersję on-line algorytmu KMP. Wczytujemy kolejne symbole i wypisujemy on-line (na bieżąco) odpowiedź:

  • 0 - gdy dotychczas wczytany tekst nie zawiera x jako sufiks,
  • 1 - jeśli zawiera

Algorytm On-Line-KMP


1  repeat forever
2    read();
3    while  and  do ;
4    ;
5    if  then 
6      write(1); ;
7    else write(0);

Oznaczmy przez delay(m) maksymalną liczbę kroków algorytmu On-Line-KMP między wczytaniem symbolu i daniem odpowiedzi. Przez delay'(m) oznaczmy podobną wielkość, w sytuacji gdy zamiast tablicy P' użyjemy P.

Przykład

Jeśli oraz , to , .

Z lematu o okresowości wynika, że zachodzi następujący fakt:

Uzasadnienie pozostawiamy jako ćwiczenie.

Wersja real-time algorytmu KMP

Pokażemy teraz wersję algorytmu on-line, która działa w czasie rzeczywistym, tzn. czas reakcji między wczytaniem symbolu a daniem odpowiedzi jest O(1), niezależnie od rozmiaru alfabetu.

Algorytm zachowuje się podobnie jak algorytm On-Line-KMP; podstawowa różnica polega na tym, że algorytm wkłada do kolejki wczytane symbole, które jeszcze nie są przetworzone w sensie algorytmu KMP. Algorytm zachowuje się podobnie jak algorytm on-line, ale wczytuje kolejne symbole z kolejki, a nie bezpośrednio z wejścia. Rysunek pokazuje relacje tego algorytmu do algorytmu KMP. Symbole z wejścia najpierw wędrują do kolejki.

Rtkmp.png
Rysunek 2: Typowa konfiguracja w algorytmie real-time-KMP.


Algorytm Real-Time-KMP


1  inicjalizacja:  ; Kolejka ;
2  repeat forever
3    read(symbol);
4    insert(symbol,Kolejka); 
5    write(OUTPUT(Kolejka, j));

W celu skrócenia zapisów pojedynczych algorytmów rozbijamy algorytm na dwie części. Zasadnicza część jest zapisana jako osobna funkcja OUTPUT(Kolejka, j). Funkcja ta liczy 0 lub 1, w zależności od tego czy ostatnio wczytany symbol kończy wystąpienie wzorca x. Zmienne Kolejka, j są globalne.

Oczywiste jest, że opóźnienie (czas reakcji) tego algorytmu jest O(1).

Pozostawiamy jako ćwiczenie uzasadnienie tego, że algorytm Real-Time-KMP jest poprawny.

Algorytm Real-Time-KMP: funkcja OUTPUT(Kolejka, j)


1  output  0;
2  repeat 2 times
3    if  Kolejka niepusta then
4      if  then 
5        j  0; delete(Kolejka);
6      else if   then   ;
7      else 
8        ; delete(Kolejka); 
9      if 
10       output 1; j ; 
11 return(output);


Wersja algorytmu KMP z porównaniami

Algorytm KMP wykonuje co najmniej 2n-m porównań symboli. Załóżmy, że są to operacje dominujące i spróbujmy zmniejszyć stały współczynnik 2 do . Na początku załóżmy, że . Następujący algorytm znajduje wszystkie wystąpienia wzorca ab w tekście y.

Algorytm Szukanie-ab


1  wzorcem jest  
2  ; 
3  while  do begin
4    while  do;
5    if  then 
6      wypisz-wystąpienie;ii+2
7  end;

Algorytm KMP dla wzorca ab wykonywał 2n-2 porównań symboli, nowy algorytm jest lepszy. Zachodzi fakt:     algorytm Szukanie-ab wykonuje co najwyżej n porównań w tym przypadku.

Uzasadnienie pozostawiamy jako ćwiczenie.

Uogólnimy algorytm na dowolne wzorce. Niech x zawiera co najmniej dwa różne symbole, , gdzie .Oznaczmy skrócony wzorzec

Przykład

, wtedy , .


Podamy nieformalny zarys działania oszczędniejszej wersji algorytmu KMP, w której osobno szukamy x' i osobno części .


Niech będzie taką wersją algorytmu KMP, w której szukamy jedynie wzorca , ale tablica jest obliczona dla wzorca . Jeśli i , to wykonujemy przesunięcie potencjalnego początku i wzorca w y o k+1, gdzie . Inaczej mówiąc, nie szukamy wszystkich wystąpień x', ale jedynie takich, które mają sens z punktu widzenia potencjalnego znalezienia na lewo ciągu .

Tak zmodyfikowany algorytm KMP zastosujemy jako część algorytmu Oszczędny-KMP. Graficzna ilustracja działania algorytmu Oszczędny-KMP jest pokazana na rysunku.

Algorytm Oszczędny-KMP


Znajdujemy wystąpienia x' w tekście algorytmem KMP';
dla każdego wystąpienia x' sprawdzamy, czy na lewo jest wystąpienie ;
nie sprawdzamy tych pozycji w y, których zgodność z pewną pozycją w x jest znana;

Okmp.png

Rysunek 3:Typowa konfiguracja w algorytmie Oszczędny-KMP.

Pozostawiamy jako ćwiczenie dokładny zapis algorytmu w pseudokodzie oraz dowód tego, że algorytm Oszczędny-KMP wykonuje co najwyżej porównan.

Ogólna idea jest przedstawiona na rysunku.

Okmp2.png

Rysunek 4: Ilustracja tego, że liczba operacji dodatkowych jest ograniczona przez .

Niech zasadniczymi operacjami będą operacje sprawdzania pierwszego b na danej pozycji tekstu y, oraz te sprawdzania symboli które sa z wynikiem pozytywnym. Takich operacji jest co najwyżej n. Pozostałe operacje to

(1) sprawdzanie w części z wynikiem negatywnym; wtedy przesuwamy wzorzec co najmniej o k,

(2) sprawdzanie części na lewo od pozytywnego (w kwadraciku na rysunku), na pozycjach gdzie wcześniej było sprawdzanie negatywnego b. Wtedy odległość między pozytywnymi kolejnymi b jest co najmniej 2w, gdzie liczba sprawdzanych na lewo symboli a. Zatem lokalnie przesunięcie jest co najmniej dwukrotnie większe niż liczba dodatkowych operacji.

Suma przesunięć wzorca na tekście wynosi co najwyżej n, tak więc sumaryczna liczba dodatkowych operacji jest co najwyżej , a liczba wszystkich operacji nie przekracza .

Równoważność cykliczna słów

W poprzednich algorytmach porównywaliśmy symbole jedynie w sensie ich równości. Pokażemy teraz problem, który pokazuje użyteczność porządku liniowego na alfabecie.

Rotacją słowa jest każde słowo postaci . (W szczególności . Niech będą słowami długości ; mówimy, że są one cyklicznie równoważne, gdy dla pewnych .

Naturalnym algorytmem sprawdzania cyklicznej równoważności jest szukanie słowa w słowie , ale podamy algorytm znacznie prostszy bazujący na porządku leksykograficznym, który będzie działał w czasie liniowym i w miejscu (dodatkowa pamięć jest stała).

W algorytmie rozszerzamy tablice na ale robimy to jedynie dla uproszczenia, w rzeczywistości możemy poruszać się cyklicznie po i po ; modyfikację pozostawiamy jako ćwiczenie.

Algorytm Równoważność-Cykliczna


1  ; ;
2  ; ;
3  while  and  do begin
4    ;
5    while  do ;
6    if  then return true;
7    if  then  else ;
8  end;
9  return false;

Problem poprawności pozostawiamy jako ćwiczenie.

Liczba porównań jest oczywiście liniowa. Pozostawiamy jako ćwiczenie wyprowadzenie dokładnego wzoru na maksymalną liczbę porównań symboli dla tekstów długości .