Installation unter Debian Bullseye

Beschreibung:

Installations von Elkstack unter Debian Bullseye.
Dies sind 3 Komponenten

• Elasticsearch
• Kibana
• Logstash
• Optional Filebeat,
  (wird benötigt wenn nicht über ssh auf die server zugegriffen werden soll.
  Eigentlich ist filebeat die Standardvariante, aber in restrikten Netzen geht halt nur ssh.)
  

Installation

Java Installation

Elastisearch und Logstash benötigen Java

apt update
apt install default-jdk gnupgp gnupgp2 curl net-tools

IPv6 deaktivieren

Dazu

nano nano /etc/sysctl.conf

Am Ende hinzufügen

net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1

Nun anwenden

systmctl -p

Nun reboot

reboot

Elasticsearch installation

Elastisearch repo und Keys hinzufügen
Auf dieser Seite schauen ob es eine neue Version gibt.
zur Erstellungszeit des Artikels war es die Version 8

https://www.elastic.co/guide/en/elasticsearch/reference/current/deb.html

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | apt-key add -
echo "deb https://artifacts.elastic.co/packages/8.x/apt stable main" | tee /etc/apt/sources.list.d/elastic-8.x.list

Dann Paketdatenbank aktualisieren und Paket installieren

apt update
apt install elasticsearch

beim Systemstart aktivieren und starten

systemctl enable elasticsearch
systemctl start elasticsearch

Nun noch Kennwort für die Elastic oberfläche festlegen

bash /usr/share/elasticsearch/bin/elasticsearch-reset-password interactive -u elastic

Nun wir ein neues Kennwort ausgeben.
Damit kann isch dann später angemeldet werden.

Ausgabe:

This tool will reset the password of the [elastic] user to an autogenerated value.
The password will be printed in the console.
Please confirm that you would like to continue [y/N]y


Password for the [elastic] user successfully reset.
New value: =7-xan*******

Installation Kibana

Kibana wird aus dem gleichen Repository installiert.
Also direkt eingeben, installieren.

apt install kibana

Nun die config bearbeiten, damit Kibana auf dem Interface lauscht.
Standard ist nämlich nur localhost

nano /etc/kibana/kibana.yml 

Dort die Zeile hinzufügen

server.host: "0.0.0.0"

Beim Systemstart aktivieren und gleich starten

systemctl enable kibana
systemctl start kibana

Installation Logstash

Logstash wird aus dem gleichen Repository installiert.
Also direkt eingeben, installieren

apt install logstash

Nun die Konfig erstellen dazu öffnen wir

nano /etc/logstash/conf.d/logstash.conf

Folgender Inhalt:
Password für den Elastic user anpassen (wurde zuvor in der Console ausgeben) und den path anpassen wenn gewünscht wir lassen diesen path aber so.
in den Path werden alle Logdateioen gesammelt, ausreichend großes Volume oder ein cephfs was erweitert werden kann ;-)

input {
  file {
    path => "/var/log/syslog-copies/*"
    start_position => "beginning"
    sincedb_path => "/var/log/syslog-copies/sincedb"
  }
}

output {
  elasticsearch {
  	ssl => true
    ssl_certificate_verification => false
    cacert => "/etc/elasticsearch/certs/http_ca.crt"
    hosts => ["localhost:9200"]
    user => "elastic"
    password => "1234567890"
    index => "syslog-%{+YYYY.MM.dd}"
  }
}

Nun noch das Verzeichnius unter path anlegen, hier bei uns

mkdir -p /var/log/syslog-copies/

beim Systemstart aktivieren und starten

systemctl enable logstash
systemctl start logstash

Ohne Filebeat Syslogs per SSH abholen, wenn Filebeat verwendet dann überspringen und bei Installation Filebeat weitermachen

ein sh Skript anlegen

nano /root/getsyslog.sh

Inhalt:
Diese Skript kopiert die Syslogs von den Servern in Unterverzeichnisse der mit den Namen der IPs in das Syslogserver Verzeichnis.
Möchte man einen speziellen Benutzer auf dem Zielsystem haben das nur logs lesen kann, dann in dem script den Benutzernamen anpassen, das heißt root durch einen anderen Namen ersetzen z.b elkstack. Die Benutzereinrichtung findest sich weiter unten, als Optional markiert.

  #!/bin/bash
   TARGET_DIR="/var/log/syslog-copies"

   SERVERS=("192.168.178.101" "192.168.178.102")

   for server in ${SERVERS[@]}
   do
     if [ ! -d "$$TARGET_DIR/syslog-$server" ]; then
       mkdir -p $TARGET_DIR/syslog-$server/
     fi
    
     scp root@$server:/var/log/syslog $TARGET_DIR/syslog-$server/
     #Hier können weitere Log Dateien angefügt werden zum Beispiel ssh logins
     scp root@$server:/var/log/auth.log $TARGET_DIR/syslog-$server/
   done
   chown -R logstash. $TARGET_DIR/

Dann noch das Skript ausführbar machen

chmod +x /root/getsyslog.sh

Nun per crontab -e das skript hinzufügen damit es jede 5 Minuten läuft

*/5 * * * * /root/getsyslog.sh

Damit das klappt muss der elkstack Server sich via Schlüsseldatei verbinden können.

Auf dem Elkstackserver ssh key erstellen, wenn nicht schon getan

ssh-keygen -t rsa -b 4096

Nun per ssh-copy id die den Schlüssel auf die zu überwachenden Server kopieren.

Optional, einen Benutzer nur für log lesen, mit den Namen elkstack und der gruppe logreaders auf dem zu Überwachenden Server einrichten.

adduser elkstack

Nun eine Gruppe erstellen, z.b logreaders. Dies wird eine Gruppe die nur Logs lesen darf.

groupadd logreaders

Nun den Benutzer der Gruppe hinzufügen.

usermod -aG logreaders elkstack

Nun der Gruppe logreaders rechte auf das /var/log Verzeichnis geben

setfacl -Rm g:logreaders:rx /var/log

(Nur bei Endian Systemen, muss in der SSH Config /etc/ssh/sshd_config  der Benutzer nochmals elkstack explizit eingetragen werden.
Sonst ist keine Anmeldung möglich, trotz Schlüssel)

...
AllowUsers root support provisioning elkstack
...

Installation Filebeat, kann übersprungen werden, wenn SSH benutzt wurde.

ss

Aufrufen der Oberfläche Kibana

Unter http://ip-hostname-elkstack:5601/ kann die Oberfläche aufgerufen werden.
beim ersten Start kommt der Willkommensbildschirm und die Abfrage eines Keys für Elsaticsearch.
Denn Kibana greift ja auf elasticsearch zu.

Diesen Key holen wir uns aus dem Terminal mittels:

bash /usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token --scope kibana

Ausgabe:

eyJ2ZXIiOiI4LjguMSIsImFkciI6WyIxOTIuMTY4LjE3***************************************************************************DZiNzZhMDJjZmQxNGI2NmM5ZDdiM2Q1NjYiLCJrZXkiOiJWMmM5bTRnQkNncGZnZ21pdnNsMDpsYll0ZlRCTlRvYTlYS1pUVlNDZ3NRIn0=
root@elkstack:/# 

Diesen Token kopieren und auf der Weboberfläche einfügen und auf configure Elastic klicken.

Nun muss ein Verifierzungscode eingeben werden.

Diesen holen wir uns auch wieder ausm Terminal

bash /usr/share/kibana/bin/kibana-verification-code

Ausgabe:

root@elkstack:/# bash /usr/share/kibana/bin/kibana-verification-code
Your verification code is:  889 ***
root@elkstack:/# 

nun den Code auf der Website eingeben

Nun abwarten

Nun der Loginscreen

Benutzername : elastic
Kennwort : Das Password aus dem Reset.

Nun sind wir im Login Screen und gehen Explore my Own

Nun auf das Burgermenü und dann ganz untel Stack Managment anklicken

 

 

 

IP-Adresse ändern. Sollte sich die IP vom Host ändern muss sie an folgenden stellen angepasst werden

Fehler

Kibana server is not ready yet. Wenn die Weboberfläche aufgerufen wird.

Meistens tritt dieser Fehler bei Fehlkonfiguration von den ips in den Konfigdateien.
Meist nach einem IP-Wechsel.

Dazu schauen wir in  die LOG