Nachdem wir uns im letzten Blogpost den Elastic Stack im Allgemeinen angesehen haben, wollen wir uns heute auf den Teil Elasticsearch konzentrieren. Gerade zum Thema Elasticsearch gibt es aufgrund der Mächtigkeit des Tools eine Vielzahl an Fakten und Features. Wie im Titel schon erwähnt, ist Elasticsearch das Herzstück des Elastic Stack. Elasticsearch ist eine Such- und Analytics-Engine, die als Kernaufgabe die Speicherung der (Log-)Daten übernimmt. Im Vordergrund stehen hier die hohe Performanz, die Relevanz von Daten kann granular geregelt werden und ein Elasticsearch Cluster kann problemlos skaliert werden.   Features von Elasticsearch Suchanfragen sind kombinierbar – egal, ob strukturiert oder unstrukturiert. Suchparameter können selbst gesetzt werden, als Beispiel Metriken oder Geodaten. Hier kann aber indviduell angepasst werden. Volltextsuche und Verstehen von Tippfehlern Ranking von Suchergebnissen – nach individueller Definition können Suchergebnisse sortiert werden, z. B. nach Datum, Beliebtheit, Häufigkeit des Auftretens von Begriffen. Die Einstellungen für diese Rankings können auch per Funktion definiert werden. Analysieren von Milliarden von Logfiles – mit Hilfe von Aggregationen kann mehr als nur eine Facette dargestellt werden. Die Analyse ermöglich das Erkennen von Zusammenhängen, Mustern und Trends sowie einen regelmäßigen Überblick. Hohe Performance – jedes Log File wird mit einem Index versehen. Daten werden automatisch […]

Die ist Beitrag 3 von 3 der Serie Offen gesucht! Offen gefragt! OpenSearchOpenSearch: Ordnung muss sein! III In der letzten Runde haben wir uns mit der Einlieferung der Daten und der ersten Schritte im OpenSearch Dashboards gewidmet. Heute wollen wir uns einmal mit der Haushaltung der Informationen befassen. Der erste wichtigste Unterschied ist die Bezeichnung. Im Elasticsearch sprechen wir vom ILM (Index Lifecycle Management), wohin gegen wir im OpenSearch Plugin von ISM (Index State Management) sprechen. Beide behandeln aber den selben Nenner „Policies“ für die Verwaltung der Vorhaltung der Daten. ISM erklärt Leider ist die Dokumentation zur ISM nach wie vor sehr Schlank. Alle Teile sind sehr knapp beschrieben. Eine ISM Policy gliedert sich wie folgt auf: Policy Info: ID und Beschreibung Error Notification: Benachrichtigungen bei Fehlschlag ISM Templates: Hier werden die Index-Pattern definiert, auf die die ISM Policy angewendet werden soll Hierbei ist wichtig, dass der Index initial mit einem Hyphen Suffix angelegt wird z.B./e.g.: „myindex-00001“ (Regex-Muster: `^.*-\d+$`) States: Mit States werden die einzelnen Phasen eines Index definiert. In den States werden „Actions“ und „Transitions“ gesetzt. Die Transition kann zum Beispiel einer Action Rollover folgen, um den  Index in den nächsten State zu setzen. In dem neuen State wird der […]

Mittels sogenannter Beats können verschiedene Logdaten und Informationen von Systemen direkt an Elasticsearch für die Speicherung übermittelt werden. In diesem Webinar wollen wir einmal aufzeigen, was Beats sind, wie diese funktionieren und welche Arten es hiervon gibt. Webinare Aktuell: https://www.netways.de/netways/webinare/ NETWAYS Konferenzen: https://www.netways.de/events Schulungen: https://www.netways.de/trainings/ Shop: https://shop.netways.de/ Blog: http://blog.netways.de/ NWS: https://nws.netways.de Social Media SlideShare: http://de.slideshare.net/netways YouTube: https://www.netways.de/youtube Facebook: https://www.facebook.com/netways Twitter: https://twitter.com/netways #Elastic #NETWAYS #Webinar

Die ist Beitrag 2 von 3 der Serie Offen gesucht! Offen gefragt! OpenSearchOpenSearch: Jetzt kommt was rein in Runde II Nach dem wir das Cluster erfolgreich in Betrieb genommen haben, wollen wir zunächst prüfen auf welchem Weg wir Informationen und Ereignisse aus dem klassischen Log-Management einliefern können. Laut der Kompabilitäts-Matrix der Projektseite sind wir hier aktuell etwas limitiert. Logstash und Filebeat sind somit in alten Versionen einsetzbar. Gerade beim Filebeat ist dies weniger schön, da einige Module und Funktionen in der unterstützen Version noch in einem Beta-Stadium sind. Auch werden längst nicht alle teile Unterstützt. Damit die beiden Elastic Stack Werkzeuge überhaupt mit dem OpenSearch reibungsloser zusammenspielen, sollte die folgende Einstellung für die Kompatibilität in der Konfiguration vorgenommen werden: [code lang=“plain“] override_main_response_version: true [/code] Am einfachsten funktioniert es mit dieser Konfiguration in eurer Docker-Compose Datei: [code lang=“plain“] environment: – cluster.name=opensearch-cluster – node.name=opensearch-node1 – discovery.seed_hosts=opensearch-node1,opensearch-node2 – cluster.initial_master_nodes=opensearch-node1,opensearch-node2 – bootstrap.memory_lock=true # along with the memlock settings below, disables swapping – compatibility.override_main_response_version=true – "OPENSEARCH_JAVA_OPTS=-Xms512m -Xmx512m" # minimum and maximum Java heap size, recommend setting both to 50% of system RAM [/code] Damit erspart ihr euch einiges an Frust 😉 Logstash Bei Logstash empfiehlt es sich auf keinen Fall das Projekt-Tarball zu verwenden! Für […]

Die ist Beitrag 1 von 3 der Serie Offen gesucht! Offen gefragt! OpenSearchOpenSearch – Runde I Worum geht es in der Serie? Wir wollen mit Euch erste Blicke in die frühen Versuche von OpenSearch und dessen Dashboard (OpenSearch Dashboards) werfen, welche je einen Fork durch AMAZON AWS von Elasticsearch-OSS 7.10.x (OpenSearch) und Kibana-OSS 7.10.x abbilden. Wie es dazu kam, dürft Ihr in diesem Blog-Post von mir lesen. Dieses „Community“ Projekt könnte man, aufgrund der Hintergründe, als Nebenprodukt des Bezahl-Dienstes „Elasticsearch“ in der Amazon AWS Cloud bezeichnen, da es den Fortbestand dieses Dienstes sichern soll. Dieser war aufgrund der „Wehrhaftigkeit“ von Elastic gefährdet. Nach über 8 Jahren Erfahrung mit Elastic Stack und Graylog, dachte ich mir zu Beginn des Jahres das wir mal mit OpenSearch in den Ring steigen. Mit der Zeit entwickelte sich der Trainings-Partner weiter und es gibt nun ein wenig her um davon zu berichten. Letzten Endes bleibt es aber auf unabsehbare Zeit dabei, dass OpenSearch und OpenSearch Dashboards, als „Open Source Community Projekt“ getarnte Quelle für den Amazon AWS Dienst dienen. Was bedeutet das es keine Support-Garantie, oder ähnliche Strukturen um diese Dienste aus dem Projekt-Kreis selbst geben wird. Allerdings treten schon die ersten Firmen auf, welche […]

Wenn Systeme gesized werden, fällt üblicherweise bald die Frage: „Was brauchen wir denn besonders viel? CPU? Ram? I/O?“ Elasticsearch ist ein schönes Beispiel, in dem man einfach antworten kann: „Alles!“ Es braucht CPU, Ram, I/O, Platz, Netzwerkdurchsatz und alles möglichst viel. Tatsächlich braucht es eigentlich möglichst viele Maschinen, die dann jeweils von allem etwas mitbringen – daher auch die Empfehlung, immer auf Hardware zu setzen, weil sonst irgendwas zum Flaschenhals wird (z.B. das SAN). Es gibt aber eine Ausnahme und schuld ist, wie so oft ( 😉 ): Java. Gibt man Java zu viel Ram, stellt es intern die Verwaltung seiner Pointer um und verliert dadurch so viel Performance, dass man noch ziemlich viel zusätzlichen Ram drauf schmeissen muss, um das wieder auszugleichen. Die genauen Zahlen variieren, liegen aber ungefähr so: Wenn man eine Schwelle überschreitet, die zwischen 30 und 32GB liegt, fällt die Performance so ab, dass man erst bei ca. 46GB wieder auf dem Stand von vor Überschreiten der Schwelle ist. Die ca. 16GB sind also verloren. Da die Schwelle aber variabel ist, trägt man entweder zu niedrig an oder überschreitet sie unbemerkt. Elasticsearch bietet dabei aber eine einfache Möglichkeit, herauszufinden, ob die Schwelle schon überschritten wurde: $ […]

Logstash - bzw. der ELK-Stack - bietet eine solide Grundlage auf Basis von Open Source Lösungen, um eine zentrale Verwaltung von Logdateien jeder Art zu realisieren und den ganzheitlichen Überblick über die IT-Landschaft sicherzustellen. Der Stack besteht dabei aus ElasticSearch, Logstash und Kibana (ELK) und erlaubt hierdurch eine flexible Skalierung - sowohl in die Breite als auch in die Tiefe. In diesem Webinar wollen wir die Komponenten grundlegend aufzeigen und einige Simple Ansätze zur Integration demonstrieren. Webinare Archiv Link: https://www.netways.de/webinare/webinare_aktuell/elk_grundlagen_der_zentralen_logdatenverwaltung/ Aktuell: https://www.netways.de/webinare/webinare_aktuell/ NETWAYS Konferenzen: https://www.netways.de/events_schulungen/home/ Schulungen: https://www.netways.de/events_schulungen/schulungen/home/ Shop: https://shop.netways.de/ Blog: http://blog.netways.de/ Social Media SlideShare: http://de.slideshare.net/netways Facebook: https://www.facebook.com/netways Google+: https://plus.google.com/+netways/ Twitter: https://twitter.com/netways