Centos 7 üzerine Graylog 3.0.2 Kurulumu

Bu Makalemizde, Open Source bir loglama çözümü olan Graylog v3.0’ın kurulumunu ele alacağız (v3.0.1) ve bunu sistemlerimizin sysloglarını merkezi bir konumda toplayacak şekilde yapılandıracağız. Graylog3, SSH girişlerini ve sıra dışı etkinliklerini izlemekten hata ayıklama uygulamalarına kadar birçok kullanım senaryosuna sahip güçlü bir günlük yönetimi ve analiz aracıdır. Elasticsearch, Java, MongoDB ve Scala’ya dayanmaktadır.

Graylog3 Dört ana bileşene sahiptir:

Graylog3 Server nodes: Mesajları alan ve işleyen ve diğer tüm sunucu dışı bileşenlerle iletişim kuran bir çalışan olarak hizmet eder. Performansı CPU gücünüz ile doğru orantılıdır.
Elasticsearch node: Tüm günlükleri / mesajları saklar. Performansı RAM ve disk I/O’ye bağlıdır
MongoDB: Meta verileri depolar ve fazla yüklenmez
Web Arayüzü (GUI): Kullanıcı arayüzü

Graylog3 bileşenlerinin en basti haliyle şeması aşağıdadır (mesajların diğer sunucularınızdan gönderildiğini unutmayın):

Çok temel bir kurulum için, tüm bileşenler yukarıdaki gibi aynı sunucuya kurulabilir.

Fakat EPS oranı yüksek çok sayıda sunucu ,Firewall ve network cihazı barındıran bir IT alt yapınız varsa , Graylog sunucusu, Elasticsearch veya MongoDB bileşenleri bir kesinti yaşanmamsı ve performans artışı için , Graylog3 Kurulumunu birden fazla makine ve DB üzerine aktarmak hem kesinti sırasında log kaybının önüne geçecek ve yüksek kullanılabilirlikle beraber performans artışı sağlayacaktır.

Çoklu sunucu kurulumu ile ilgil aşağıdaki örnek diagramları inceleyerek daha detaylı fikir edinebilirsiniz.

Sistem Gereksinimleri

• Centos 7 X64 işletim sistemi (Bu kurulumu centos 7 v18.10 üzerinde yapıyor olacağız.)
• 4 Gb ram
• 4 Core CPU
• Min 100 GB Disk
• Elasticsearch 5 veya 6
• MongoDB 3.6 or later (latest stable version is recommended)
• Oracle Java SE 8 (OpenJDK 8 also works; latest stable update is recommended)

Burada belirtmek istediğim özel bir nokta var bu tür sistemlerin kurulumlarını yapmadan önce ihtiyaçları ve kaynakları kurulum öncesi belirlemek önem taşıyor Log toplama işlemlerinde kritik konu disk kapasitesini belirlemek SIEM yada logManagement yazılımları çok kısa sürede büyük disk alanlarını doldurabiliyor. Kurulum sonrası iyice şişmiş diskler üzerinde disk genişletme gibi işlemlerle uğraşmak çok isteyeceğimiz bir durum değil.
Disk hesabı yapabilmeniz için aşağıdaki linkten sistem kaynaklarınızı belirterek ne kadar alana ihtiyacınız olduğunu yaklaşık olarak hesaplayabilirsiniz.

http://www.aspiretss.com/tools
https://www.trionlogics.com/EPS.html
https://siemsizingcalculator.logpoint.com/

İlk olarak Serverımızın EPEL(Extra Packages for Enterprise Linux) Yum deposunu güncelliyoruz.

#Eğer Repo bağlantısı yoksa aşağıdaki komutu çalışıtırıyoruz.
rpm -Uvh https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
yum repolist

# Çıktımız aşağıdaki gibi olacaktır.
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
 * base: mirror.radoreservers.com
 * epel: ftp.wrz.de
 * extras: mirror.muvhost.com
 * updates: mirror.muvhost.com
repo id                               repo name                                                            status
base/7/x86_64                         CentOS-7 - Base                                                      10,019
epel/x86_64                           Extra Packages for Enterprise Linux 7 - x86_64                       13,016
extras/7/x86_64                       CentOS-7 - Extras                                                       382
updates/7/x86_64                      CentOS-7 - Updates                                                    1,477
repolist: 24,894
[root@cacti ~]#sudo yum install epel-release -y

#Sistem güncellemesini gerçekleştirin ve sistemi yeniden başlatarak sistem değişikliklerini uygulayın
[root@root~]#sudo yum update -y && sudo shutdown -r now

Ön Hazırlıklarımızı tamamladığımıza göre kuruluma başlayabiliriz.

Gerekli paket kurulumları

Güvenli parola oluşturmak için Pwgen(PWDGenerate random passwords  ) Paketini kuruyoruz.

root@graylog01]# yum -y install wget pwgen

Elasticsearch çalışabilmesi için java ya ihtiyaç duyar makinemize Java kurulumunu yapıyoruz. Yani, OpenJDK veya Oracle JDK’yi yükleyin.

root@graylog01]# yum install -y java-1.8.0-openjdk-headless

Java Versiyonumuzu kontrol ediyoruz

[root@graylog01 ~]# java -version
openjdk version "1.8.0_212"
OpenJDK Runtime Environment (build 1.8.0_212-b04)
OpenJDK 64-Bit Server VM (build 25.212-b04, mixed mode)

Elastik Search kurulumu

Elasticsearch, Graylog kurulumundaki önemli bileşenlerden biridir. Graylog girişinden gelen verileri depolar ve bir kullanıcı Graylog dahili web arayüzü üzerinden istediğinde mesajları görüntüler. Elasticseach, esas olarak burada verileri / günlükleri indekslemek ve Graylog web arayüzü herhangi bir bilgi istediğinde arama işlevselliğini sağlamak için kullanılır.

Yüklemeden önce GPG ( GnuPG — GNU Privacy Guard) imzalama anahtarını alıyoruz.

root@graylog01]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

Elasticsearch paketinin en son sürümünü resmi depodan almak için bir depo dosyası oluşturun.

[root@graylog01]# nano /etc/yum.repos.d/elasticsearch.repo

aşağıdaki içeriği oluşturduğumuz dosyaya ekliyoruz.

[elasticsearch-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

Elasticsearch paket kurulumunu başlatıyoruz.

[root@graylog01]# yum install -y elasticsearch

Systemctl arka plan programını yeniden yüklüyoruz ve Elasticsearch’ün sistem başlangıcında otomatik olarak başlatılmasını sağlıyoruz.

systemctl daemon-reload
systemctl enable elasticsearch

Elasticsearch’ün Graylog kurulumuyla çalışmasını sağlamak için cluster adını graylog olarak ayarlamamız gerekir. Elasticsearch.yml dosyasını düzenleyin.

[root@graylog01]# nano /etc/elasticsearch/elasticsearch.yml

Cluster name bölümünü graylog olarak değiştiriyoruz.
cluster.name: graylog

Elastiksearch servisimizi restart ediyoruz.

systemctl restart elasticsearch

Elasticsearch’ün tamamen yeniden başlatılmasına izin vermek için 2 dakika verin. Elasticsearch, şimdi HTTP isteklerini işlemek için 9200 dinliyor olmalı. Cevabı kontrol etmek için CURL komutunu kullanın.

curl -X GET http://localhost:9200

Yukarıdaki komutun çıktısı aşağıdaki gibi olacaktır.

[root@graylog01 ~]# curl -X GET http://localhost:9200
{
  "name" : "N9zh8CH",
  "cluster_name" : "graylog",
  "cluster_uuid" : "0vWrOvqBSU20imDBjDv3iA",
  "version" : {
    "number" : "6.7.2",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "56c6e48",
    "build_date" : "2019-04-29T09:05:50.290371Z",
    "build_snapshot" : false,
    "lucene_version" : "7.7.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

Elasticsearch Cluster’ın sağlık kontrolü yapın.

curl -XGET 'http://localhost:9200/_cluster/health?pretty=true'

Çıktı aşağıdaki gibi olmalıdır.

[root@graylog02 ~]# curl -XGET 'http://localhost:9200/_cluster/health?pretty=true'
{
  "cluster_name" : "graylog",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 1,
  "number_of_data_nodes" : 1,
  "active_primary_shards" : 1,
  "active_shards" : 1,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

Elastiksearch Kurulumumuzu tamamladık.

MongoDB kurulumu

MongoDB yapılandırmaları ve meta bilgileri depolamak için bir veritabanı görevi görür. MongoDB’nin en son sürümünü almak için MongoDB’nin resmi deposunu kullanacağız.
https://docs.mongodb.com/manual/tutorial/install-mongodb-on-red-hat/

MongoDB nin Repo bağlantı dosyasını oluşturuyoruz.

nano /etc/yum.repos.d/mongodb-org-4.0.repo

Repostory bilgilerini dosyamıza ekliyoruz.

[mongodb-org-4.0]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/4.0/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-4.0.asc

Mongo DB kurulumunu aşağıdaki komut ile yapıyoruz.

yum install -y mongodb-org

#kurulum sonrası MongoDB servisimizi başlatıp açılışta otomatik açılmasını sağlıyoruz.

systemctl start mongod
systemctl enable mongod

Graylog kurulumu

Gray log paketimizin kurulumu için tüm ön gereksinimleri yükledik artık graylog3 paketinin kurulumunu yapabiliriz. Graylog sunucusu temel olarak çeşitli girdilerden gelen günlük mesajlarını kabul eder ve işler, graylog gelen loğları web arayüzünden görüntüleyeceğimiz bir ekran sunar.

Graylog 3.x reposunu indirip yüklüyoruz.

rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-3.0-repository_latest.rpm

Graylog 3.0 server kurulumunu aşağıdaki komut ile başlatıyoruz.

yum -y install graylog-server

Graylog server’ımızın default config dosyası “/etc/graylog/server/server.conf” yolunda yer almaktadır.

Günvenilir parola oluşturma işlemi

Gray log serverımız için pwgen aracı ile secret key ve parola oluşturacağız.
Secret Key oluşturuyoruz.

pwgen -N 1 -s 96

komut sonrası aşağıdaki gibi bir key çıktısı alacaksınız.

vq3K34N2PoJODtjiDuLMACwF5tI578RDKKrJ12tUzuq5m7Ft2Oiv3EhI690m273ebJMOdbcSJ63zTQA102r1LT1JCN1c7HcN

Yukarıdaki key’i config dosyasında “password_secret =” bölümüne gireceğiz. Graylog admin giriş parolasını belirliyoruz ben şifreyi “admin” olarak belirliyorum.

[root@graylog01 -]# echo -n yourpassword 1 sha256sum 
[root@graylog01 -]# echo -n admin 1 sha256sum 
8c6976e5b5410415bde908bd4deel5dfb167a9c873fc4bb8a81f6f2ab448a918 -

Aşağıdaki key’i config dosyasında “root_password_sha2 =” bölümüne gireceğiz.

8c6976e5b5410415bde908bd4deel5dfb167a9c873fc4bb8a81f6f2ab448a918

Graylog Config Dosyası Düzenleme

Parolamızı oluşturduğumuza göre config dosyamızı düzenlemeye başlayabiliriz.

nano /etc/graylog/server/server.conf

yukarıda oluşturduğumzu “password_secret”  ve “root_password_sha2” keylerimizi config dosyamızda ilgili satırlara ekliyoruz. Timezone bölümü default olarak UTC geliyor bunu Türkiye için değiştirmeniz gerekli aksi takdirde toplanan logların saati farklı UTC zamanına göre loglanır bu değişikliği buradan yapmamız gerekiyor.

config dosyasında “root_timezone” u değiştiriyoruz.

root_timezone = Asia/Kuwait

eğer farklı bir timezone seçmek isterseniz buradaki listeden seçebilirsiniz https://www.joda.org/joda-time/timezones.html
Admin hesabı için bir mail adresi belirliyoruz (isteğe bağlıdır.)

root_email = admin@yourdomain.com

Eğer graylog’u 1 host olarak kuruyorsanız aşağıdaki ayarı 1 yapınız eğer çoklu kurulum yapacaksanız ortamdaki nod sayınızı buraya girmelisiniz. Bizim yapımızda 1 adet Elastiksearch bulunuyor bu yüzden 1 yapıyoruz.

elasticsearch_shards = 1

Bu, indeksleriniz için kopya sayısını tanımlar. Elasticsearch cluster’ında yalnızca bir nod’a sahipseniz, 0 olarak ayarlayın.

elasticsearch_replicas = 0

Graylog Web interface configurasyon

config dosyamızı açıyoruz.

nano /etc/graylog/server/server.conf

Graylog Web Arabiriminin Graylog sunucusuna bağlanmasına izin vermek için girişleri değiştiriyoruz. Graylog serverımın ip adresi 192.168.1.96 aşağıdaki bölüme kendi serverınızın ip adresini giriniz.

config dosyamızı açıyoruz.

http_bind_address = 192.168.1.96:9000

Graylog servisimizi restart ediyoruz ve başlangıçta otomatik olarak başlamasını sağlıyoruz.

systemctl daemon-reload
systemctl restart graylog-server	
systemctl enable graylog-server

Sunucu başlangıç günlüklerini kontrol edebilirsiniz; Graylog ile ilgili sorunları gidermeniz sizin için yararlı olacaktır.

tailf /var/log/graylog-server/server.log

Eğer buraya kadar tüm adımları sorunsuz uyguladıysanız log dosyasında aşağıdaki mesajı görmelisiniz.

2019-02-25T21:00:23.157+05:30 INFO  [ServerBootstrap] Graylog server up and running.

Firewall Configurasyonu

Graylog 9000 portunu kullanır eğer iptable yada firewalld aktif ise aşağıdaki komut ile gerekli FW kuralını ekleyiniz.

Sudo firewall-cmd --permanent --add-port=9000/tcp
sudo firewall-cmd --permanent --zone=public --add-port=9000/tcp
sudo firewall-cmd --permanent --zone=public --add-port=12900/tcp
sudo firewall-cmd --permanent --zone=public --add-port=1514/tcp
firewall-cmd --reload

Selinux(Security Enhanced Linux)  Configurasyonu

Cacti uygulamasını çalıştırmak için selinux u kapamamız gerekiyor aşağıdaki komut ile Selnux durumunu görüntüleyebilirsiniz.

root@cacti]# sestatsu

Selinux(Security Enhanced Linux) ‘ı devre dışı bırakmak için aşağıdaki adımları takip ediniz.

[root@cacti]# nano /etc/selinux/config
SELINUX=enforcing satırını aşağıdaki şekilde değitiriyoruz
SELINUX=disabled

Bu işlemden sonra makinemizi reboot etmemiz gerekiyor.

Graylog Web erişimi

Graylog web erişimi için 9000 portunu dinlemektedir bu sebepten aşağıdaki linten erişim sağlaycağız.

http://yourserveripaddress:9000

Kullanıcı adı yöneticisi ve server.conf’ta root_password_sha2‘de yapılandırdığınız şifre ile giriş yapın.

Ben user bilgilerini aşağıdaki şekilde yapılandırdım

Username : admin
Parola        : admin

Giriş yaptıktan sonra aşağıdaki ekran bizi karşılıyor olacak.

Graylog input

Graylog’a gelen loglar harici kaynaklardan, yani syslog veya herhangi bir log sisteminden alacak şekilde yapılandırılması gerekir. Bu örnekte, UDP 514 numaralı bağlantı noktasında syslog’dan günlükleri almak için bir input ayarlayacağız. fakat bir problem var graylog’a tanımlanan inputlardan birine, 1024’ün altındaki TCP / UDP bağlantı noktalarına giriş yapmaya başlarsanız, Graylog gelen log kayıtlarını red eder ve günlüklerinde izin redd hatalarını görürsünüz. Bu sorunu çözmek için, 1514 numaralı bağlantı noktasında başlatılacak bir input oluşturacağız ve 514 portuna gelen talepleri güvenlik duvarı kuralları ile 514’ten 1514’e yönlendireceğiz.

Böylelikle Graylog sunucumuza 514 portundan yada 1514 portundan gelen tüm loglar ulaşıyor olacak.

Aşağıdaki Yolu izliyoruz.
System >> Inputs >> select Syslog UDP

Node: Select your Graylog Node
Title: Bir isim veriniz
Bind address: 0.0.0.0 (default bırakabilr yada Graylogserverınızın ip adresini girebilrisiniz)
Port: 1514

Bu işlemden sonra oluşturduğumuz input(connector) aşağıdaki gibi 1514 numaralı porttan gelen bütün paketleri dinlemeye başlayacaktır.

Rsyslog Yapılandırması

Rsyslog server 514 portunu dinler dolayısıyla loğlarını almak istediğiniz fakat defaultta değiştiremediğiniz network cihazlarından gelen loğları Graylog server’a aktaramazsınız bunun için rsyslog server Un 514 numaralı portuna gelen istekleri Graylog server’ın 1514 numaralı portuna yönlendireceğiz.

Rsyslog config dosyamızı açıyoruz.

nano /etc/rsyslog.conf

# Provides UDP syslog reception satırındaki açıklamaları “#” kaldırıyoruz ve udp dinlemeyi aktif ediyoruz.

$ModLoad imudp
$UDPServerRun 514

sayfanın en altına inerek aşağıdaki satırı ekliyoruz burada yukarıda oluşturduğumuz 1514 numaralı portu kullanacağız. Aşağıdaki komut ile Rsyslog server 514.porta UDP den gelen bütün girdileri Graylog serverımızdaki 1514 numaralı porta yönlendiriyor olacak.

*.* @10.0.11.95:1514

Yada Local host girebilirsiniz.

*.* @127.0.0.1:1514

Rsyslog servisimizi restart ediyoruz.

systemctl restart rsyslog

Rsyslog Firewall  ayarları

Graylog sunucusunda UDP 514 numaralı bağlantı noktasına(porta) gelen trafiği yönlendirmek için aşağıdaki yönlendirme komutlarını uyguluyoruz.

firewall-cmd --add-masquerade --permanent
firewall-cmd --add-forward-port=port=514:proto=udp:toport=1514 --permanent
firewall-cmd --reload

Güvenlik duvarında UDP 1514 bağlantı noktası numarasının Rsyslog’dan günlükleri almasına izin vermek için Graylog sunucusunda aşağıdaki komutları uygulayın.

firewall-cmd --permanent --add-port=1514/udp
firewall-cmd --reload

Graylog kurulacak paketler

http://docs.graylog.org/en/3.0/pages/integrations/setup.html

Graylog serverımızın input böümüne tanımlayacağımız cihaz yelpazesini arttırmak için aşağıcaki komutu kullanrak ek pluginleri ekleyebilirsiniz.

sudo yum install graylog-integrations-plugins graylog-enterprise-integrations-plugins

Graylog server kurulumumuz bu kadar.