Skrypt, który usuwa dodatkowe spacje między literami w tekście

Mam dokument tekstowy, który zawiera mnóstwo tekstu, a po każdej literze jest dodawane dodatkowe miejsce!

Przykład:

T h e  b o o k  a l s o  h a s  a n  a n a l y t i c a l  p u r p o s e  w h i c h  i s  m o r e  i m p o r t a n t…

Naocznie:

T␣h␣e␣␣b␣o␣o␣k␣␣a␣l␣s␣o␣␣h␣a␣s␣␣a␣n␣␣a␣n␣a␣l␣y␣t␣i ␣c␣a␣l␣␣p␣u␣r␣p␣o␣s␣e␣␣w␣h␣i␣c␣h␣␣i␣s␣␣m␣o␣r␣e␣␣i␣ m␣p␣o␣r␣t␣a␣n␣t…

Należy pamiętać, że istnieje dodatkowa przestrzeń po każdym liście, więc są dwie przestrzenie między kolejnymi słowami.

Czy istnieje sposób, aby uzyskać awklub sedusunąć dodatkowe spacje? (Niestety ten dokument tekstowy jest bardzo obszerny i przejście go ręcznie zajęłoby bardzo dużo czasu).  Rozumiem, że jest to prawdopodobnie o wiele bardziej skomplikowany problem do rozwiązania za pomocą prostego skryptu bash, ponieważ musi istnieć także pewien rodzaj rozpoznawania tekstu.

Jak podejść do tego problemu?

Poniższy regex usunie pierwszą spację z dowolnego ciągu spacji. To powinno wystarczyć.

s/ ( *)/\1/g

Więc coś takiego:

perl -i -pe 's/ ( *)/\1/g' infile.txt

... zastąpi plik infile.txt wersją „naprawioną”.

Użyj wordsegmentpakietu NLP o czystej segmentacji słów:

$ pip install wordsegment
$ python2.7 -m wordsegment <<<"T h e b o o k a l s o h a s a n a n a l y t i c a l p u r p o s e w h i c h i s m o r e i m p o r t a n t"
the book also has an analytical purpose which is more important

Oparte na fakcie, że dane wejściowe zawierają podwójne spacje między słowami, istnieje znacznie prostsze rozwiązanie. Wystarczy zmienić podwójne spacje na nieużywaną postać, usunąć spacje i zmienić nieużywaną postać z powrotem na spację:

echo "T h e  b o o k  a l s o  h a s  a n  a n a l y t i c a l  p u r p o s e  w h i c h  i s  m o r e  i m p o r t a n t  " | sed 's/  /\-/g;s/ //g;s/\-/ /g'

... wyjścia:

Książka ma również cel analityczny, który jest ważniejszy

Perl na ratunek!

Potrzebujesz słownika, tzn. Pliku zawierającego jedno słowo w wierszu. W moim systemie istnieje, ponieważ /var/lib/dict/wordswidziałem również podobne pliki jak /usr/share/dict/britishitp.

Najpierw pamiętasz wszystkie słowa ze słownika. Następnie czytasz wprowadzany wiersz po wierszu i próbujesz dodawać znaki do słowa. Jeśli to możliwe, pamiętasz słowo i próbujesz przeanalizować resztę linii. Po osiągnięciu końca linii wyprowadzasz linię.

#!/usr/bin/perl
use warnings;
use strict;
use feature qw{ say };

my $words = '/var/lib/dict/words';
my %word;

sub analyze {
    my ($chars, $words, $pos) = @_;
    if ($pos == @$chars) {
        $_[3] = 1;  # Found.
        say "@$words";
        return
    }
    for my $to ($pos .. $#$chars) {
        my $try = join q(), @$chars[ $pos .. $to ];
        if (exists $word{$try}) {
            analyze($chars, [ @$words, $try ], $to + 1, $_[3]);
        }
    }
}


open my $WORDS, '<', $words or die $!;
undef @word{ map { chomp; lc $_ } <$WORDS> };

while (<>) {
    my @chars = map lc, /\S/g;
    analyze(\@chars, [], 0, my $found = 0);
    warn "Unknown: $_" unless $found;
}

Na podstawie twoich danych generuje 4092 możliwe odczyty w moim systemie.

Uwaga: ta odpowiedź (podobnie jak kilka innych tutaj) oparta jest na wcześniejszej wersji pytania, w którym słowa nie były rozdzielane. Na nowszą wersję można w prosty sposób odpowiedzieć .

Na wejściu takim jak:

T h e b o o k a l s o h a s a n a n a l y t i c a l p u r p o s e w h i c h i s m o r e i m p o r t a n t

Możesz spróbować:

 $ tr -d ' ' < file | grep -oiFf /usr/share/dict/words | paste -sd ' '
 The book also has ana na l y tic al purpose which ism ore important

Przetwarza od lewej do prawej i znajduje jedno najdłuższe słowo po drugim.

Oczywiście nie jest to najlepszy wybór słów, ponieważ zdanie to nie ma sensu, ale aby znaleźć właściwe, potrzebujesz narzędzi, które będą w stanie zrozumieć gramatykę lub znaczenie tekstu lub przynajmniej niektóre statystyki informacje o tym, jakie słowa można znaleźć razem, aby uzyskać najbardziej prawdopodobny zestaw słów. Wygląda na to, że rozwiązaniem jest specjalistyczna biblioteka znaleziona przez Lynn

Podobne do wersji Dewi Morgan, ale z sed:

$ echo "f o o  t h e  b a r" | sed -r "s/[ ]{1}([^ ]{1})/\1/g"
foo the bar

Chociaż można to (i należy) zrobić z liniową wersją Perla, mały parser C również byłby bardzo szybki, a także bardzo mały (i mam nadzieję, że bardzo poprawny):

#include <stdio.h>
#include <stdlib.h>

int main()
{
  char c1 = '\0', c2 = '\0', tmp_c;

  c1 = fgetc(stdin);
  for (;;) {
    if (c1 == EOF) {
      break;
    }
    c2 = fgetc(stdin);
    if (c2 == EOF) {
      if (c1 != ' ') {
        fputc(c1, stdout);
      }
      break;
    }
    if (c1 == c2 && c1 == ' ') {
      tmp_c = fgetc(stdin);
      if (tmp_c != EOF) {
        if (tmp_c != '\n') {
          ungetc(tmp_c, stdin);
          fputc(' ', stdout);
        } else {
          ungetc(tmp_c, stdin);
        }
      } else {
        break;
      }
    } else if (c1 != ' ') {
      fputc(c1, stdout);
    }
    c1 = c2;
  }
  exit(EXIT_SUCCESS);
}

Kompilowany z

gcc-4.9 -O3 -g3  -W -Wall -Wextra -std=c11 lilcparser.c -o lilcparser

(program jest nieco mniejszy niż 9 KB)

Użyj w rurze, takiej jak np .:

echo "T h e  b o o k  a l s o  h a s  a n  a n a l y t i c a l  p u r p o s e  w h i c h  i s  m o r e  i m p o r t a n t  " | ./lilcparser

Próbowałem tego i wydaje się, że działa:

echo "<text here>" | sed -r 's/(\w)(\s)/\1/g'

sedKomenda rejestruje dwie grupy i powraca dopiero pierwszy.

W c ++ zrobiłbym to:

#include <fstream>
using namespace std;

int main()
{   
    fstream is("test.txt", std::ios::in);

    char buff;
    vector<char>str;

    while (!is.eof()){is.get(buff);str.push_back(buff);} //read file to string

    for (int a=0;a<str.size();++a)if (str[a] == ' ' && str[a + 1] != ' ')str.erase(str.begin()+a);
    is.close();

    ofstream os("test.txt", std::ios::out | std::ios::trunc); //clear file for rewrite

    os.write(str.data(), str.size() * sizeof(char)); //write chars
    os.close();

    return 0;
    }

Zmieni zawartość testowego pliku tekstowego na ten sam ciąg, ale ze spacjami między literami. (Wymagana jest spacja między każdą literą).

$ echo 'F o u r  s c o r e  a n d' | \
txr -t '(mapcar* (opip (split-str @1 "  ")
                       (mapcar (op regsub #/ / ""))
                       (cat-str @1 " "))
                 (get-lines))'
Four score and


$ txr -e '(awk (:begin (set fs "  "))
               ((mf (regsub #/ / ""))))'  # mf: modify fields
F o u r  s c o r e  a n d
Four score and


$ awk -F'  ' '{for(i=1;i<=NF;i++)gsub(/ /,"",$i);print}'
F o u r  s c o r e  a n d
Four score and