Elastic's InfoSec team implemented an OpenTelemetry-based monitoring pipeline to ingest Claude Code and Claude Cowork telemetry into Elasticsearch for real-time observability, detection, and incident response. The pipeline includes self-managed EDOT collector and Elastic Cloud Managed OTLP options, custom mappings and ingest pipelines to parse tool parameters, and enables use cases like tool-invocation auditing, session reconstruction, permission analysis, and EDR correlation. #ClaudeCode #ClaudeCowork

Nous sommes ravis d'annoncer le lancement de la version 7.3 de la Suite Elastic. D'autant que c'est encore un bon cru....

Light

Vielleicht dürfte dem einen oder anderen regelmässigen Besucher schon aufgefallen sein, dass Prometheus in unser Produktportfolio aufgenommen wurde. Als Ergänzung zu den anderen Monitoringanwendungen (Icinga2, ElasticStack, Graylog) bietet es eine gute Ergänzung für bestimmte Anwendungsszenarien die sonst noch nicht oder nicht ideal abgedeckt werden konnten. Die Installation ist zwar bei Prometheus prinzipiell sehr einfach (das statisch gelinkte Binary an den richtigen Ort kopieren und ausführen), aber das ist typischerweise nicht die beliebteste Art und Weise Software zu installieren, schliesslich müssen dann Updates immer wieder mit dem gleichen Prozedere ausgebracht werden. Das wäre ja an sich nicht weiter schwierig zu automatisieren, aber wofür das Rad neu erfinden, das ist schliesslich die Aufgabe eines Paketmanagers. Aus diesem Grund sind jetzt in den Netways Repositories Pakete für RHEL- und Debianartige Linux-Distributionen verfügbar. Für Debian(artige) gibt es Prometheus zwar schon paketiert aus den offizielen Quellen, aber aus Gründen der Konsequenz haben wir diese in der gleichen Version wie die RHEL-Pakete nochmals gebaut. Das Prometheus entspricht eins zu eins dem Build der von Prometheus auch auf Github verfügbar ist. Wir wünschen fröhliche Installation und wer noch Bugs/Probleme find, darf sie beh möchte uns darauf aufmerksam machen 🙂

Nachdem wir uns im letzten Blogpost den Elastic Stack im Allgemeinen angesehen haben, wollen wir uns heute auf den Teil Elasticsearch konzentrieren. Gerade zum Thema Elasticsearch gibt es aufgrund der Mächtigkeit des Tools eine Vielzahl an Fakten und Features. Wie im Titel schon erwähnt, ist Elasticsearch das Herzstück des Elastic Stack. Elasticsearch ist eine Such- und Analytics-Engine, die als Kernaufgabe die Speicherung der (Log-)Daten übernimmt. Im Vordergrund stehen hier die hohe Performanz, die Relevanz von Daten kann granular geregelt werden und ein Elasticsearch Cluster kann problemlos skaliert werden.   Features von Elasticsearch Suchanfragen sind kombinierbar – egal, ob strukturiert oder unstrukturiert. Suchparameter können selbst gesetzt werden, als Beispiel Metriken oder Geodaten. Hier kann aber indviduell angepasst werden. Volltextsuche und Verstehen von Tippfehlern Ranking von Suchergebnissen – nach individueller Definition können Suchergebnisse sortiert werden, z. B. nach Datum, Beliebtheit, Häufigkeit des Auftretens von Begriffen. Die Einstellungen für diese Rankings können auch per Funktion definiert werden. Analysieren von Milliarden von Logfiles – mit Hilfe von Aggregationen kann mehr als nur eine Facette dargestellt werden. Die Analyse ermöglich das Erkennen von Zusammenhängen, Mustern und Trends sowie einen regelmäßigen Überblick. Hohe Performance – jedes Log File wird mit einem Index versehen. Daten werden automatisch […]

Die ist Beitrag 3 von 3 der Serie Offen gesucht! Offen gefragt! OpenSearchOpenSearch: Ordnung muss sein! III In der letzten Runde haben wir uns mit der Einlieferung der Daten und der ersten Schritte im OpenSearch Dashboards gewidmet. Heute wollen wir uns einmal mit der Haushaltung der Informationen befassen. Der erste wichtigste Unterschied ist die Bezeichnung. Im Elasticsearch sprechen wir vom ILM (Index Lifecycle Management), wohin gegen wir im OpenSearch Plugin von ISM (Index State Management) sprechen. Beide behandeln aber den selben Nenner „Policies“ für die Verwaltung der Vorhaltung der Daten. ISM erklärt Leider ist die Dokumentation zur ISM nach wie vor sehr Schlank. Alle Teile sind sehr knapp beschrieben. Eine ISM Policy gliedert sich wie folgt auf: Policy Info: ID und Beschreibung Error Notification: Benachrichtigungen bei Fehlschlag ISM Templates: Hier werden die Index-Pattern definiert, auf die die ISM Policy angewendet werden soll Hierbei ist wichtig, dass der Index initial mit einem Hyphen Suffix angelegt wird z.B./e.g.: „myindex-00001“ (Regex-Muster: `^.*-\d+$`) States: Mit States werden die einzelnen Phasen eines Index definiert. In den States werden „Actions“ und „Transitions“ gesetzt. Die Transition kann zum Beispiel einer Action Rollover folgen, um den  Index in den nächsten State zu setzen. In dem neuen State wird der […]

Mittels sogenannter Beats können verschiedene Logdaten und Informationen von Systemen direkt an Elasticsearch für die Speicherung übermittelt werden. In diesem Webinar wollen wir einmal aufzeigen, was Beats sind, wie diese funktionieren und welche Arten es hiervon gibt. Webinare Aktuell: https://www.netways.de/netways/webinare/ NETWAYS Konferenzen: https://www.netways.de/events Schulungen: https://www.netways.de/trainings/ Shop: https://shop.netways.de/ Blog: http://blog.netways.de/ NWS: https://nws.netways.de Social Media SlideShare: http://de.slideshare.net/netways YouTube: https://www.netways.de/youtube Facebook: https://www.facebook.com/netways Twitter: https://twitter.com/netways #Elastic #NETWAYS #Webinar

Eine kurze Einführung in Mermaid. Ein JS Tool mit eigener, einfacher Syntax zum Darstellen von Beziehungen und Graphen.

Die ist Beitrag 2 von 3 der Serie Offen gesucht! Offen gefragt! OpenSearchOpenSearch: Jetzt kommt was rein in Runde II Nach dem wir das Cluster erfolgreich in Betrieb genommen haben, wollen wir zunächst prüfen auf welchem Weg wir Informationen und Ereignisse aus dem klassischen Log-Management einliefern können. Laut der Kompabilitäts-Matrix der Projektseite sind wir hier aktuell etwas limitiert. Logstash und Filebeat sind somit in alten Versionen einsetzbar. Gerade beim Filebeat ist dies weniger schön, da einige Module und Funktionen in der unterstützen Version noch in einem Beta-Stadium sind. Auch werden längst nicht alle teile Unterstützt. Damit die beiden Elastic Stack Werkzeuge überhaupt mit dem OpenSearch reibungsloser zusammenspielen, sollte die folgende Einstellung für die Kompatibilität in der Konfiguration vorgenommen werden: [code lang=“plain“] override_main_response_version: true [/code] Am einfachsten funktioniert es mit dieser Konfiguration in eurer Docker-Compose Datei: [code lang=“plain“] environment: – cluster.name=opensearch-cluster – node.name=opensearch-node1 – discovery.seed_hosts=opensearch-node1,opensearch-node2 – cluster.initial_master_nodes=opensearch-node1,opensearch-node2 – bootstrap.memory_lock=true # along with the memlock settings below, disables swapping – compatibility.override_main_response_version=true – "OPENSEARCH_JAVA_OPTS=-Xms512m -Xmx512m" # minimum and maximum Java heap size, recommend setting both to 50% of system RAM [/code] Damit erspart ihr euch einiges an Frust 😉 Logstash Bei Logstash empfiehlt es sich auf keinen Fall das Projekt-Tarball zu verwenden! Für […]

Die ist Beitrag 1 von 3 der Serie Offen gesucht! Offen gefragt! OpenSearchOpenSearch – Runde I Worum geht es in der Serie? Wir wollen mit Euch erste Blicke in die frühen Versuche von OpenSearch und dessen Dashboard (OpenSearch Dashboards) werfen, welche je einen Fork durch AMAZON AWS von Elasticsearch-OSS 7.10.x (OpenSearch) und Kibana-OSS 7.10.x abbilden. Wie es dazu kam, dürft Ihr in diesem Blog-Post von mir lesen. Dieses „Community“ Projekt könnte man, aufgrund der Hintergründe, als Nebenprodukt des Bezahl-Dienstes „Elasticsearch“ in der Amazon AWS Cloud bezeichnen, da es den Fortbestand dieses Dienstes sichern soll. Dieser war aufgrund der „Wehrhaftigkeit“ von Elastic gefährdet. Nach über 8 Jahren Erfahrung mit Elastic Stack und Graylog, dachte ich mir zu Beginn des Jahres das wir mal mit OpenSearch in den Ring steigen. Mit der Zeit entwickelte sich der Trainings-Partner weiter und es gibt nun ein wenig her um davon zu berichten. Letzten Endes bleibt es aber auf unabsehbare Zeit dabei, dass OpenSearch und OpenSearch Dashboards, als „Open Source Community Projekt“ getarnte Quelle für den Amazon AWS Dienst dienen. Was bedeutet das es keine Support-Garantie, oder ähnliche Strukturen um diese Dienste aus dem Projekt-Kreis selbst geben wird. Allerdings treten schon die ersten Firmen auf, welche […]

Erhalte eine Einführung in den Elastic Stack und lerne die grundlegenden Techniken der Log-Übertragung, -Aufbereitung, -Speicherung, und -Auswertung.

Der Talk von Robert Waffen "Vom Bordstein zur Skyline" auf der OSMC 2019 handelt von den Monitoring-Entwicklungsstufen des Unternehmens Publicis Pixelpark.

Vor mittlerweile einigen Wochen hatte ich eine „Elastic Stack“- Schulung bei Daniel. Bei der in wenigen Tagen alle Bestandteile des Stacks erst oberflächlich und dann in Tiefe bearbeitet worden sind. Elastic Stack ist ein Set von Tools, die zwar von der gleichen Firma entwickelt werden und entsprechend gut aufeinander abgestimmt sind, jedoch auch einzeln ihre Anwendungsmöglichkeit finden können. Dieser besteht aus: Kibana – ein Web-UI zur Analyse der Logs in dem u. a. Dashboards mit benutzerdefinierten Grafiken angelegt werden können. Elasticsearch – eine Suchmaschine beziehungsweise ein Suchindex. Logstash – ein Tool zum Verwalten von Events und Logs. Beats – werden von Elastic als anwendungsfallspezifische Daten-Shipper beworben. Übung macht den Meister Damit die Themen aus der Schulungen gefestigt werden wird uns in der Regel direkt ein Projekt zu teil, welches sich mit den Schulungsthemen beschäftigt. Nach der „Fundamentals for Puppet“-Schulung vom Lennart wurde mir ein Icinga-Puppet-Projekt zugewiesen und zwar eine kleine Test-Umgebung für mich selbst mit Puppet aufzubauen. Genau das Gleiche war auch nach der „Elastic Stack“-Schulung der Fall, ein kleineres Projekt mit Icinga-Logs bei dem ich einfach ein bisschen mit Grok Filtern rumspielen sollte. Spätestens da ist mir wieder bewusst geworden, dass die meisten unserer Consultants für sich irgendein Spezialgebiet […]