Strings revisited

Vorbemerkung

In diesem Notebook verwenden wir den Text "Der Mann von vierzig Jahren" von Jakob Wassermann. Dieser Text stammt aus dem Jahr 1913 und wurde vom Projekt Gutenberg digitalisiert (http://www.gutenberg.org/ebooks/15736). Um die Arbeit mit dem Text zu erleichtern, habe ich die Metadaten und Copyright-Hinweise aus dem Text entfernt und in eigene Dateien ausgelagert. Die vollständige Fassung ist unter der oben angeführten Adresse abrufbar. Die Gutenberg-Lizenz erfordert die Angabe des folgendes Textes:

This eBook is for the use of anyone anywhere at no cost and with almost no restrictions whatsoever. You may copy it, give it away or re-use it under the terms of the Project Gutenberg License included with this eBook or online at www.gutenberg.net

Übung: Wir wollen den gesamten Inhalt des Romans ein einen einzigen String mit dem Namen text einlesen. Die einzulesende Datei ist ../data/wassermann/der_mann_von_vierzig_jahren.txt.

str als Sequenztyp

Wie haben bereits den Datentyp str kennengelernt und uns mit Sequenztypen wie list beschäftigt. Da auch str ein Sequenztyp ist, stellten Strings ähnliche Schnittstellen bereit wie andere Sequenztypen. Wir können die Länge des Strings mit der Funktion len() ermitteln:

Mit dem in Operator können wir feststellen, ob ein Zeichen oder ein Substring im String enthalten ist. Gibt es im Text ein Y?

Kommt das Wort "Brandung" im Text vor?

Substrings zählen

So wie man mit der count()-Methode zählen kann, wie oft ein Wert in einer Liste oder einem Tupel erscheint, kann auch gezählt werden, wie oft ein Zeichen oder eine Abfolge von Zeichen in einem String vorkommen:

Position ermitteln

Manchmal ist es nützlich, festzustellen, an welcher Position ein bestimmtes Zeichen oder ein Teilstring erstmalig vorkommt.

Übung: Wie könnten wir ermitteln, wo das zweite Vorkommen des Wortes Brandung beginnt?

Ähnlich wie index() das erste Vorkommen eines Zeichens oder Teilstrings ermittelt, kann mit rindex() das letzte Vorkommen gefunden werden.

Groß- und Kleinschreibung ändern

Die Methode upper() wandelt alle Zeichen eines Strings in Großbuchstaben um. lower() wandelt alle Zeichen in Kleinbuchstaben um.

Der vermutlich häufigste Einsatzzweck von upper() und lower() liegt darin, unabhängig von Groß- und Kleinschreibung im Text suchen zu können.

Übung: Überlegen Sie, wie alle Vorkommen von 'Genau' und 'genau' mit einer count()-Anweisung gefunden werden könnten.

Erzeugen Sie eine Variante von text, die nur Kleinbuchstaben enthält, und die unter dem Namen lc_text verfügbar gemacht wird.

Teilstrings ersetzen

In Python kann ganz einfach jedes Vorkommen eines Teilstrings durch einen anderen Teilstring ersetzt werden. Die entsprechende Methode ist .replace(alt, neu).

Wir können uns das zunutze machen, um im Wassermann-Text alle nicht benötigten Zeilenumbrüche zu entfernen.

Allerdings müssen wir hier etwas aufpassen: Absätze werden durch zwei aufeinander folgende Zeilenumbrüche gekennzeichnet. Wenn wir die Absätze erhalten wollen, dürfen wir nur einfache Zeilenumbrüche durch ein Leerzeichen entfernen. Hat jemand eine Lösung dafür?

Strings an bestimmten Zeichen aufsplitten

Die Methode split() trennt einen String an jedem Whitespace und liefert eine Liste von Teilstrings.

Damit haben wir einen primitiven Tokenizer, der unseren Text in einzelne Wörter zerlegt.

Übung: Aus wie vielen Tokens (Wörtern) besteht der Text?

Übung: Aus wie vielen Types besteht der Text? (Types sind unterschiedliche bzw. distinkte Tokens - man verwirft mehrfach vorkommende Tokens)

Übung: wie hoch ist die Type-Token-Ratio? (Die Type-Token-Ratio ist ein Wert zwischen 0 und 1, der einein Indikator für den Wortschatz des Autors darstellt.)

An Nicht-Whitespace splitten

Falls nicht an Whitespace, sondern an einem anderen Zeichen gesplittet werden soll, kann dieses Zeichen (oder eine Zeichenkette) angegeben werden. Wenn wir von der naiven Annahme ausgehen, dass jeder Satz durch einen Punkt begrenzt wird, können wir den Text so in Sätze zerlegen:

Falls nicht an jedem Trennzeichen gesplittet werden soll, sondern z.B. nur beim ersten, kann maxsplit gesetzt werden. Falls wir also nur am ersten Satz interessiert sind:

Übung: Splitten Sie den Text absatzweise.

Vergleichmethoden

Das String-Objekt kennt eine Reihe von Methoden, über die sich Stringvergleiche durchführen lassen. startswith(str) und endswith(str) können dazu verwendet werden um Tokens zu finden, die mit einer bestimmten Zeichenfolge beginnen oder enden. Die Token, die mit der Silbe ab beginnen, finden wir so:

Es wäre schön, wenn hier jedes Wort nur einmal erscheinen würde. Wie das geht, wissen wir ja schon:

Außerdem wollen wir die Ausgabe alphabetisch sortiert:

Die Token, die mit der Zeichenkette heit enden, können wir statt mit einer List Comprehension auch in einer Schleife suchen:

Zahlen im Text finden wir so:

Stopwords

In der Datei ../data/stopwords_de.txt haben wir eine Liste mit Stopwords für die deutsche Sprache. Versuchen wir, unsere Tokens um diese Wörter zu bereinigen. Dazu müssen wir zuerst die Stopwort-Liste einlesen:

Um nun die Stopwords aus der Liste tokens zu entfernen, können wir eine List Comprension verwenden:

Strings bauen mit format()

Um Variablen in Strings einzubauen kennt Python mehrere Möglichkeiten. Die zur Zeit empfohlene ist die Methode format(), die wir schon mehrfach verwendet haben. Die Idee dahinter ist, dass man in einen String Platzhalter einstreut, die mit format() befüllt werden.

Falls wir einen Wert mehrfach benötigen, können wir die Platzhalter durchnummerieren:

Wir können die Platzhalter aber auch benennen:

Auf diese Weise ist es relativ einfach, einen Märchengenerator zu schreiben: