CSV-Einstellungen

Bevor Sie eine SimpleSearch anlegen können, benötigen Sie eine CSV-Datei, die die Daten für die SimpleSearch enthält. CSV steht für “Comma Separated Values”, also von Kommata getrennten Werten. Beim Aufbau der CSV sollten Sie die folgenden Punkte beachten.

Die Spaltenüberschriften in der CSV sollten nur aus Kleinbuchstaben, Zahlen und Minuszeichen bestehen. Umlaute, Leerzeichen, Großbuchstaben und Sonderzeichen können zu Problemen beim Einlesen der Daten in die Datenbank führen.

Jeder Spaltenname muss eindeutig sein. Sollten Sie einen Spaltennamen doppelt vergeben, so wird nur eine Spalte benutzt werden.

Um eine CSV-Datei zu erstellen, können Sie Microsoft Excel verwenden. Nutzen Sie am besten Excel-Dateien ohne weitere Formatierung, da beim Umwandeln in CSV-Dateien jede Formatierung (ausgenommen Zeilenumbrüche) verloren geht.

In Excel gehen Sie zum Speichern einer CSV-Datei wie folgt vor: Wählen Sie “Datei” > “Speichern unter…” und dann als Dateityp entweder “CSV UTF-8 (durch Trennzeichen getrennt)” (empfohlen) oder “CSV (Trennzeichen-getrennt)”. Ihr aktuelles Dokument wird mit der Dateiendung “.csv” gespeichert. Die genauen Bezeichnungen können in unterschiedlichen Excel-Versionen etwas abweichen.

Falls Sie Ihre CSV-Datei mit einer anderen Software erstellen, beachten Sie bitte die folgenden Hinweise für die Erstellung der CSV für die SimpleSearch.

Als Zeichensatz sollten Sie am besten UTF-8 verwenden. Damit sind neben den deutschen Umlauten auch Zeichen aus anderen Sprachen und alle Sonderzeichen enthalten. Westeuropäisch (ISO) funktioniert für deutsche Datensätze ohne spezielle Sonderzeichen ebenfalls, aber UTF-8 ist die Empfehlung.

Als Trennzeichen zwischen den Zeilen verwenden Sie bitte “CRLF” (steht für “Carriage Return/Line Feed” und entsteht normalerweise mit der Enter-Taste), wie bei Windows üblich. Wenn Sie die CSV mit einem Texteditor bearbeiten, können Sie den Zeilenumbruch mit dem spiegelverkehrten P-Symbol einblenden und kontrollieren.

Als Trennzeichen zwischen den Zellen verwenden Sie bitte das Semikolon “;”. Die Trennung mit Komma “,” kann zu Problemen mit dem Einlesen der Daten führen.

Als Einfassung für den Zelleninhalt verwenden Sie bitte ein doppeltes Anführungszeichen (“), also z.B. “test”. Sie müssen diesen Container für Inhalte verwenden, in denen Semikolon, doppelte Anführungszeichen oder Zeilenumbrüche vorkommen. Excel erzeugt diese normalerweise automatisch, wenn sie benötigt werden. Wenn Sie ein doppeltes Anführungszeichen innerhalb des Containers benutzen, so verdoppeln Sie dieses, also z.B. “Ich sage ““Test”“.”

Im Reiter “CSV-Einstellungen” wird die CSV mit den Inhalten für die SimpleSearch hinterlegt. Dazu gibt es zwei Möglichkeiten.

Auf der linken Seite können Sie eine, in Imperia hochgeladene, CSV-Datei einbinden. Die Datei wird einmalig beim Veröffentlichen der SimpleSearch eingelesen. Das ist für kleinere CSV-Dateien mit bis zu 200 Zeilen (Datensätzen) nutzbar.
Wenn Ihre CSV-Datei mehr Zeilen (Datensätze) enthält, nutzen Sie bitte den automatischen Import.

Mit dem Linktool können Sie eine CSV-Datei aus dem MAM auswählen. Dabei werden der “CSV-Datei Titel”, die “CSV-Datei URL” und das “CSV-Datei Copyright” ausgefüllt. Optional können Sie einen “CSV-Datei Stand” hinterlegen, um diesen intern zu dokumentieren.

Alle Angaben zur CSV werden nicht im Frontend angezeigt.

Sobald die SimpleSearch veröffentlicht wird, werden die Daten der CSV in eine Datenbank einmalig eingelesen und sind für die Suche und Anzeige verfügbar. Jede Änderung an der CSV muss über eine Veröffentlichung der SimpleSearch erneut eingelesen werden.

Auf der rechten Seite unter “Automatischer Import von CSV-Dateien ohne Imperia” können Sie eine vollständige “URL für Automatikimport von CSV” in der Form “https://support.berlin.de/pfad/zur/datei.csv” hinterlegen, die jede Stunde auf Änderungen geprüft und bei einer Änderung neu eingelesen wird. Mit dieser Variante können auch größere CSV-Dateien mit mehr als 200 Zeilen eingelesen werden.

Neben der URL zu der CSV-Datei wird hier auch die Angabe einer “E-Mail-Adresse für Fehlermeldungen des Automatikimports” benötigt. Diese wird angeschrieben, wenn es Probleme beim Importieren der CSV-Datei gab.

Die CSV-Datei kann bei dieser Variante sowohl in Imperia hochgeladen als auch auf einem externen Webspeicher abgelegt werden. Bei einem externen Webspeicher ist wichtig, dass dieser eine, im Browser aufrufbare, URL bereitstellt und stets gut erreichbar ist. Mit dieser Variante ist es bspw. möglich, die Eingaben aus einem Formular mit Datenbank oder die Ausgaben einer Fachanwendung für die Nutzer*innen anzubieten.

Wenn eine CSV-Datei in die SimpleSearch eingelesen wird, wird die komplette Datenbank geleert und mit dem neuen Inhalt der CSV befüllt. Das bedeutet, dass nur vollständige CSV-Dateien in die SimpleSearch geladen werden sollten. Es findet kein Hinzufügen der Daten aus einer CSV zu bereits bestehenden Daten statt.

Je nachdem ob Sie die CSV einmalig oder per Automatikimport in der SimpleSearch eingebunden haben, ist der Vorgang zur Aktualisierung der Daten etwas unterschiedlich.

Aktualisierung beim einmaligen Einlesen

Hier laden Sie normalerweise als erstes die neue CSV-Datei ins MAM hoch. Sie können entweder die vorhandene CSV ersetzen oder eine neue mit einem neuen Dateinamen hochladen. Normalerweise sollte die vorhandene CSV aktualisiert werden.

Das Hochladen ins MAM ist aber bei dieser Variante nicht ausreichend, um die Inhalte der SimpleSearch zu aktualisieren. Damit die neuen Daten in der SimpleSearch landen, muss die SimpleSearch einmal bearbeitet, ggf. die mit neuem Dateinamen hochgeladene CSV eingebunden und veröffentlicht werden. Mit der Veröffentlichung der SimpleSearch wird auch die CSV veröffentlicht.

Nach der Veröffentlichung kann es je nach Menge an Zeilen in der CSV noch einige Minuten dauern, bis die Daten neu eingelesen sind.

Aktualisierung beim automatischen Import

Bei dieser Variante wird jede Stunde geprüft, ob in der CSV neue Inhalte vorhanden sind.

Wenn die CSV bspw. aus einem Formular mit Datenbank kommt, müssen Sie zur Aktualisierung der Daten keine Schritte vornehmen. Sobald ein neuer Datensatz vorhanden und die Zeit zum Einlesen erreicht ist, wird der neue Datensatz in die SimpleSearch übertragen.

Sie können auch eine CSV in Imperia hochladen und diese per automatischem Import einbinden. Dann ist wichtig, dass Sie nach der Aktualisierung der CSV im MAM diese immer manuell veröffentlichen. Solange die CSV-Datei nicht veröffentlicht ist, werden die Daten nicht eingelesen. Das Einlesen passiert dann weiterhin jede Stunde unabhängig davon, wann die CSV veröffentlicht wurde. Hier sollten Sie darauf achten, dass der Dateiname der CSV identisch bleibt und keine neue CSV mit neuem Dateinamen hochgeladen wird. Mit einem neuen Dateinamen funktioniert die Aktualisierung nicht automatisch.

Wenn die CSV nicht eingelesen werden kann, werden Ihnen Hinweise auf die bestehenden Probleme gegeben.

Wenn Sie die CSV auf der linken Seite eingebunden haben, sehen Sie diese Hinweise in der Vorschau.

Ist die CSV mit dem Automatik-Import auf der rechten Seite hinterlegt, wird an die hinterlegte E-Mail-Adresse eine E-Mail geschickt. Diese E-Mail wird bereits in der Vorschau der SimpleSearch ausgelöst.

Problem mit der Erreichbarkeit der CSV

Es wird ein Hinweis angezeigt bzw. eine E-Mail verschickt, wenn der Server, wo die CSV hochgeladen wurde, nicht erreichbar ist. Das kann bspw. passieren, wenn ein Problem mit den Berlin.de-Live-Seiten besteht. Hier können Sie normalerweise nichts redaktionell unternehmen.

Die wichtigere Variante ist der Hinweis bei fehlerhaften Spaltenbezeichnungen. Hier enthält der Hinweis bzw. die E-Mail wichtige Informationen, was redaktionell angepasst werden muss.

Hier ein Beispiel, um die jeweiligen Hinweise zu veranschaulichen.

In den Screenshots sehen Sie die folgenden Informationen zu den Spalten:

• Erlaubte Felder: test, messwert, stelle, jahr.
• Gefundene Felder: jahr, messwert, kommawert, stelle.
• Überflüssige Felder in der CSV (egal): kommawert.
• Überflüssige Felder redaktionell definiert (zu korrigieren): test.

Die “erlaubten Felder” zeigen die hinterlegten Bezeichnungen in den SimpleSearch-Tabellenspalten-Modulen.

Die “gefundenen Felder” entsprechen den Überschriften der Spalten in der CSV.

Bei “überflüssige Felder in der CSV (egal)” wird angezeigt, welche Felder in der CSV noch vorhanden, aber nicht mit einem Tabellenspalten-Flex-Modul definiert sind. Diese sind unproblematisch und können so bestehen bleiben.

Bei “überflüssige Felder redaktionell definiert (zu korrigieren)” wird angezeigt, welche Tabellenspalten-Module fehlerhaft definiert sind. In diesem Fall wurde in einem Tabellenspalten-Modul eingetragen, dass eine Spalte in der CSV “test” heißt, aber diese ist in der CSV nicht vorhanden.

Mit dieser Information können Sie die SimpleSearch oder die CSV anpassen. Es ist meistens einfacher, die SimpleSearch anzupassen und dort die Bezeichnung der Tabellenspalte zu verändern. Also in diesem Beispiel das Modul, wo “test” bei der “Spaltenüberschrift in CSV-Datei” steht, entfernen oder auf die in der CSV vorhandene Spaltenüberschrift “kommawert” ändern.