了解 ELK 實時日誌平台的工作原理，並練習如何構建和使用它。
在排查線上異常的過程中，查詢日誌始終是不可或缺的一部分。 如今，大多數微服務架構都使用，日誌分散在不同的機器上，這使得查詢日誌變得極其困難。 要想做好工作，首先要磨刀。如果這個時候有乙個統一的實時日誌分析平台，可以說是雪地裡的碳交割，這肯定會提高我們線上排查的效率。 本文將為您介紹開源實時日誌分析平台ELK的構建與使用。
ELK 是乙個開源的實時日誌分析平台，由Elasticsearch、Logstash和Kiabana三部分組成。
Logstash 主要用於收集伺服器日誌，是乙個具有實時流水線功能的開源資料收集引擎。 Logstash 動態統一來自不同資料來源的資料，並將資料規範化到您選擇的目標。
從 Logstash 收集資料的過程主要分為三個部分：
輸入：資料（包括但不限於日誌）通常以不同的形式和格式儲存在不同的系統中，LogStash 允許您從各種資料來源（檔案、系統日誌、mysql、訊息中介軟體等）收集資料。 過濾器：實時解析和轉換資料，識別命名字段以構建結構，並將其轉換為通用格式。 輸出：Elasticsearch 並不是儲存的唯一選項，Logstash 提供了許多輸出選項。 Elasticsearch （ES） 是乙個分布式的 RESTful 搜尋和資料分析引擎，具有以下特點：
查詢：允許您執行和組合多種型別的搜尋（結構化搜尋、非結構化搜尋、地理搜尋、指標搜尋），並更改搜尋方式。 分析：借助 Elasticsearch 聚合，您可以全面了解資料並探索趨勢和模式。 速度：非常快，可以實現上億級資料，毫秒級的回報。 可擴充套件性：在膝上型電腦或數百或數千台託管 PB 級資料的伺服器上執行。 彈性：在分布式環境中執行，在設計時考慮到了這一點。 靈活性：多種用例。 歡迎數字、文字、地理、結構化、非結構化，歡迎所有資料型別。 Kibana 使海量資料易於理解。 它很簡單，具有基於瀏覽器的介面，可讓您快速建立和共享動態資料儀表板，以跟蹤 Elasticsearch 中的實時資料變化。 此外，它也易於設定，因此您可以在幾分鐘內安裝 Kibana 並開始探索 Elasticsearch 的索引資料，而無需額外的基礎設施。
以上三個元件在《ELK協議棧介紹與架構》一文中都有詳細描述，這裡不再贅述。 在 ELK 中，三個元件的大致工作流程如下圖所示，Logstash 從每個服務收集日誌並將其儲存在 Elasticsearch 中，然後 Kiabana 從 Elasticsearch 查詢日誌並將其展示給終端使用者。
圖1ELK 的近似工作流程
通常我們的服務部署在不同的伺服器上，所以如何從多個伺服器收集日誌資訊是乙個關鍵點。 本文中提供的解決方案如下圖所示：
圖2本文提供了乙個 ELK 實現
如上圖所示，整個 ELK 執行如下：
在微服務（生成日誌的服務）上部署乙個 logstash，作為 shipper 角色，主要負責從機器上服務生成的日誌檔案中採集資料，並將訊息推送到 Redis 訊息佇列。 此外，伺服器還部署了 Indexer 角色的 Logstash 角色，主要負責從 Redis 訊息佇列中讀取資料，在 Logstash 流水線中對其進行解析和處理，然後輸出到 Elasticsearch 集群進行儲存。 Elasticsearch主備節點之間的資料同步。 在單台伺服器上部署 Kibana，從 Elasticsearch 讀取日誌資料並顯示在網頁上。 通過這張圖，我相信你對我們將要構建的 ELK 平台的工作流程以及所需的元件有乙個大致的了解。 讓我們一起開始構建它。
本節介紹如何使用 Indexer 角色構建 ELK 日誌平台，包括 Logstash、Elasticsearch 和 Kibana。 要完成此部分，您需要執行以下操作：
作為教程，Ubuntu 機器或虛擬機器省略了 Elasticsearch 集群的設定，而是在同一臺機器上安裝 Logstash（Indexer）、Elasticsearch 和 Kibana。 在 Ubuntu 上安裝 JDK，請注意 Logstash 要求 JDK 在 1對於 7 或更高版本，有關如何在 Ubuntu 上安裝 JDK 的詳細資訊，請參閱“在 Ubuntu 上安裝 JDK1”。8“ 這段文字。 Logstash、Elasticsearch、Kibana 安裝包，您可以在此頁面找到它們**。 解壓縮 zip 包：
tar -xzvf logstash-7.3.0.tar.gzcd logstash-7.3.0elk@elk:~/elk/logstash-7.3.0$ bin/logstash -e 'input }output }'圖3logstash 啟動成功日誌。
在控制台中輸入hello logstash，以下效果表示 LogStash 安裝成功。
清單 1驗證 logstash 是否成功啟動
hello logstashtar -xzvf elasticsearch-7.3.0-linux-x86_64.tar.gzcd elasticsearch-7.3.0 bin elasticsearch 顯示更多顯示更多 icon在啟動 elasticsearch 的過程中，我遇到了兩個問題，這裡列出來是為了方便排查。 問題一：記憶體太小，如果你的機器記憶體小於Elasticsearch設定的值，就會報錯如下圖所示。 解決方法是修改 elasticsearch-73.0/config/jvm.選項檔案中的以下配置適合您機器的記憶體大小，如果修改後仍然報告此錯誤，您可以重新連線到伺服器並重試。 圖4記憶體太小，導致 Elasticsearch 啟動錯誤**！圖4記憶體太小，導致 Elasticsearch 啟動錯誤**！/ibm_articles_img/build-elk-and-use-it-for-springboot-and-nginx_images_image004.png）**問題 2** 如果以 root 使用者身份啟動，將報告如下圖所示的錯誤。解決方案當然是新增乙個新使用者來啟動 Elasticsearch，線上新增新使用者的方法有很多種，這裡就不贅述了。 圖5root 使用者在啟動 Elasticsearch 時出現錯誤**！圖5root 使用者在啟動 Elasticsearch 時出現錯誤**！/ibm_articles_img/build-elk-and-use-it-for-springboot-and-nginx_images_image005.png)問題一：如果機器記憶體小於Elasticsearch設定的值，則報錯如下圖所示。 解決方案是，修改elasticsearch-7.3.0/config/jvm.options檔案中的以下配置適合您機器的記憶體大小，如果修改後仍報此錯誤，可以重新連線到伺服器重試。
圖4記憶體太小，導致 Elasticsearch 啟動錯誤**！
問題二，如果您正在使用root如果使用者啟動它，它將報告如下圖所示的錯誤。 解決方案當然是新增乙個新使用者來啟動 Elasticsearch，線上新增新使用者的方法有很多種，這裡就不贅述了。
圖5root 使用者在啟動 Elasticsearch 時出現錯誤**！
啟動成功後，將設定另乙個會話視窗以執行curl http://localhost:9200命令，如果出現如下結果，則表示Elasticsearch安裝成功。
清單 2檢查Elasticsearch是否成功啟動
elk@elk:~$curl http://localhost:9200,"tagline" : "you know, for search"}tar -xzvf kibana-7.3.0-linux-x86_64.tar.gzconfig/kibana.yml，它指定了有關 Elasticsearch 的資訊。
清單 3Kibana 配置資訊
Elasticsearch主機位址：elasticsearchhosts: "http://ip:9200"允許遠端訪問伺服器host: "0.0.0.0"Elasticsearch 使用者名稱 這其實是我在伺服器上啟動 elasticsearch 時用的使用者名稱username: "es"Elasticsearch 認證密碼 這其實是我在伺服器上啟動 Elasticsearch 時用的密碼password: "es"cd kibana-7.3.0-linux-x86_64/bin./kibanahttp://ip:5601如果出現以下螢幕，則表示Kibana安裝成功。
圖6Kibana 發布成功螢幕
ELK 日誌平台安裝完成後，我們將通過具體示例來了解如何使用 ELK，下面將介紹如何將 Spring Boot 日誌和 NGINX 日誌交給 ELK 進行分析。
首先我們需要建立乙個Spring Boot專案，我寫了一篇關於如何使用AOP統一處理Spring Boot web日誌的文章，本文中的Spring Boot專案就是基於這篇文章，原始碼可以在這裡獲取。 在專案中resources目錄spring-logback.xml配置 檔案。
清單 4Spring Boot 專案 logback 的配置
logback for demo mobile ..d [%thread] %5level %logger $ msg%n ..rolling_file之appender以指定格式輸出日誌檔案。 以及以上pattern標籤是特定日誌格式的配置，通過上面的配置，我們指定了時間、執行緒、日誌級別、記錄器（通常是列印日誌的類的完整路徑）等資訊的輸出，以及服務的名稱。
打包專案並將其部署到 ubuntu 伺服器。
清單 5打包和部署 Spring Boot 專案
打包命令 mvn package -dm**entest.skip=true 部署命令 j**a -jar sb-elk-start-00.1-snapshot.jarlogback在配置檔案中，我將日誌儲存在/log/sb-log.log檔案， 執行more /log/sb-log.log命令，則表示部署成功。
圖7Spring Boot 日誌檔案
Spring Boot 專案部署成功後，我們還需要在當前部署的機器上為shipper 角色安裝和配置 Logstash。 Logstash 的安裝過程已經在 ELK 平台設定部分進行了介紹，因此我不會在這裡詳細介紹。 安裝完成後，我們需要為 Logstash 編寫乙個配置檔案，以支援從日誌檔案中收集日誌並輸出到 Redis 訊息管道中，如 shipper 的配置所示。
清單 6為託運人角色配置 logstash
input }output }Redis （英語）data_type可用值為channel跟list二。 channel是 Redis 的發布-訂閱通訊模式list是 Redis 的佇列資料結構，兩者都可用於實現系統之間訊息的有序非同步通訊。 channel比較list這樣做的好處是消除了發布者和訂閱者之間的耦合。 例如，在 Redis 中持續讀取記錄的索引器現在想要新增第二個索引器（如果使用）list，前一條記錄由第乙個索引器選取，下一條記錄由第二個索引器選取，從而在兩個索引器之間產生競爭，導致任何一方都不讀取完整日誌。 channel這是可以避免的。 這在 shipper 角色的配置檔案和下面將提到的索引器角色的配置檔案中都使用channel
配置完 Shipper 角色的 Logstash 後，我們還需要配置 Indexer 角色 Logstash，支援從 Redis 接收日誌資料，並通過篩選條件儲存在 Elasticsearch 中，如下圖所示。
清單 7索引器角色的日誌儲存配置
input }filter \=%ms|)"} }output elasticsearch }logback日誌內容：
清單 8Spring Boot 專案輸出的日誌
2019-08-11 18:01:31.602 [http-nio-8080-exec-2] info c.i.s.aop.WeblogaspAspect SB-ELK - 介面日誌 POST 請求測試介面結束呼叫：耗時 = 11ms，result=BaseResponsemessage欄位是儲存收集的資料的 logstash 字段match =這意味著將處理日誌內容。 Grok 實際上也通過正規表示式解析資料，如上所示timestamp_iso8601notspace等等都內建在 grok 中patterns，哪些是內建在 grok 中的patterns可以在這裡檢視。 我們可以使用 grok 偵錯程式來測試解析後的字串的正確性，避免了在真實環境中對解析規則正確性的重複驗證。 完成以上步驟後，我們已經完成了整個ELK平台的搭建和Spring Boot專案的整合。 讓我們按照以下步驟做一些事情，看看效果。
1. 啟動 Elasticsearch，啟動命令在 ELK 平台建設部分提到，這裡不再贅述（Kibana 啟動也是一樣）。 2. 以索引器角色啟動 Logstash。
進入 logstash 解壓目錄，執行如下命令：bin logstash -f indexer-logstashconf4. 為託運人角色啟動 Logstash。
進入logstash解壓目錄，執行以下命令：bin logstash -f shipper-logstashconf6. 在瀏覽器中訪問http://ip:5601開啟 Kibana Web 介面，並新增它，如下圖所示logback指數。
圖8在 Kibana 中新增 Elasticsearch 索引
7. 輸入discover介面，選擇logbackindex，您可以看到日誌資料，如下圖所示。
圖9ELK 日誌檢視
相信大家已經通過以上步驟成功搭建了自己的ELK實時日誌平台，並連線了logback日誌。 但是，在實際場景中，幾乎不可能只有一種型別的日誌，所以讓我們在上述步驟的基礎上訪問 nginx 的日誌。 當然，這一步的前提是我們需要在伺服器上安裝 nginx，具體安裝過程在網路上有描述，這裡就不贅述了。 檢視nginx的日誌如下（nginx的訪問日誌預設開啟。/var/log/nginx/access.log檔案）。
清單 9nginx 的訪問日誌
192.168.142.1 - 17/aug/2019:21:31:43 +0800] "get /weblog/get-test?name=elk http/1.1"200 3 "" "mozilla/5.0 (windows nt 10.0; win64; x64)applewebkit/537.36 (khtml, like gecko) chrome/76.0.3809.100 safari/537.36"清單 10Grok nginx 訪問日誌的解析規則
% \"% %http/%" % "%" "%"input redis }filter if [type] == "nginx" }output if [type] == "nginx" }
在以上步驟中，ELK 的啟動過程是將三個元件的啟動命令一一執行。 而且也是在前台啟動的，這意味著如果我們關閉會話視窗，元件就會停止，導致整個 ELK 平台無法使用，這在實踐中是不現實的，剩下的就是如何讓 ELK 在後台執行。 正如《Logstash 最佳實踐》一書中所建議的那樣，我們將使用主管來管理 ELK 的啟動和停止。 首先，我們需要安裝 supervisor 並在 ubuntu 上執行它apt-get install supervisor能。 安裝成功後，我們還需要在 supervisor 的配置檔案中配置 ELK 的三個元件（其配置檔案預設/etc/supervisor/supervisord.conf檔案）。清單 12麋鹿在後台啟動
[program:elasticsearch]environment=j**a_home="/usr/j**a/jdk1.8.0_221/"directory=/home/elk/elk/elasticsearchuser=elkcommand=/home/elk/elk/elasticsearch/bin/elasticsearch[program:logstash]environment=j**a_home="/usr/j**a/jdk1.8.0_221/"directory=/home/elk/elk/logstashuser=elkcommand=/home/elk/elk/logstash/bin/logstash -f /home/elk/elk/logstash/indexer-logstash.conf[program:kibana]environment=ls_heap_size=5000mdirectory=/home/elk/elk/kibanauser=elkcommand=/home/elk/elk/kibana/bin/kibanasudo supervisorctl reload整個 ELK 啟動已完成，預設情況下會自動啟動。 當然，我們也可以使用它sudo supervisorctl start/stop [program_name]以管理單個應用。
在本教程中，我們主要了解什麼是ELK，然後通過實際操作與您一起構建ELK日誌分析平台，並訪問logback和nginx日誌。 您可以在 GitHub 上找到原始碼 ** 和 logstash 配置檔案。