డాకర్‌లో లాగ్‌స్టాష్

Dakar Lo Lag Stas



లాగ్‌స్టాష్ అనేది ఓపెన్ సోర్స్ డేటా ప్రాసెసింగ్ పైప్‌లైన్, ఇది వివిధ మూలాల నుండి లాగ్ డేటాను సేకరించడానికి, ప్రాసెస్ చేయడానికి మరియు ఫార్వార్డ్ చేయడానికి మిమ్మల్ని అనుమతిస్తుంది.

ఈ ట్యుటోరియల్‌లో, ప్రాథమిక కాన్ఫిగరేషన్‌తో డాకర్ కంటైనర్‌లో లాగ్‌స్టాష్‌ను అమలు చేసే ప్రక్రియ ద్వారా మేము మీకు మార్గనిర్దేశం చేస్తాము.

అవసరాలు:

మేము ట్యుటోరియల్‌ని ప్రారంభించే ముందు, మీరు ఈ క్రింది వాటిని కలిగి ఉన్నారని నిర్ధారించుకోండి:







  1. మీ హోస్ట్ మెషీన్‌లో డాకర్ ఇన్‌స్టాల్ చేయబడింది (వెర్షన్ 23 మరియు అంతకంటే ఎక్కువ సిఫార్సు చేయబడింది)
  2. మీ మెషీన్‌లో డాకర్ కంపోజ్ ఇన్‌స్టాల్ చేయబడింది

ఇచ్చిన అవసరాలను తీర్చడంతో, మేము ట్యుటోరియల్‌తో కొనసాగవచ్చు.



లాగ్‌స్టాష్ కాన్ఫిగరేషన్ ఫైల్‌ను సెటప్ చేయండి

లాగ్‌స్టాష్ డేటా ఎలా పొందాలో, ఫిల్టర్ చేయబడి, అవుట్‌పుట్‌కి ఎలా పంపబడుతుందో నిర్వచించడానికి కాన్ఫిగరేషన్ ఫైల్‌లను ఉపయోగిస్తుంది. మీరు అధికారిక డాక్యుమెంటేషన్‌లో సూచించగలిగే విధంగా మీరు కాన్ఫిగర్ చేయగల వివిధ రకాల ఎంపికలు ఉన్నాయి.



మా ఉదాహరణ కోసం, మేము లాగ్ ఫైల్ నుండి డేటాను ఇంజెస్ట్ చేసే ప్రాథమిక కాన్ఫిగరేషన్‌పై దృష్టి పెడతాము, సరిపోలే రికార్డ్‌ల కోసం దాన్ని ఫిల్టర్ చేస్తాము మరియు డేటాను ఫైల్‌కి అవుట్‌పుట్ చేస్తాము.





“logstash.conf” అనే ఫైల్‌ని సృష్టించండి మరియు కాన్ఫిగరేషన్‌ను ఈ క్రింది విధంగా జోడించండి:

ఇన్‌పుట్ {
ఫైల్ {
మార్గం => '/var/log/apache/access.log'

start_position => 'ప్రారంభం'

sincedb_path => '/dev/null'

నిర్లక్ష్యం_ఓల్డర్ => 0
}
}

ఫిల్టర్ {
అయితే [సందేశం] =~ 'లోపం' {
గ్రోక్ {
మ్యాచ్ => { 'సందేశం' => '%{COMBINEDAPACHELOG}' }
}
}
}

అవుట్‌పుట్ {
ఫైల్ {
మార్గం => '/var/log/apache/error_logs.log'
}
}

కింది వాటిలో చూపిన విధంగా మునుపటి ఫైల్ కాన్ఫిగరేషన్‌ను నిర్వచిస్తుంది:

  1. ఇన్‌పుట్ విభాగం – ఇన్‌పుట్ విభాగం /var/log/apache/access.logలో ఉన్న Apache లాగ్ ఫైల్‌ను చదవడానికి ఫైల్ ఇన్‌పుట్ ప్లగిన్‌ని ఉపయోగిస్తుంది.
    • లాగ్‌స్టాష్ పూర్తి ఫైల్‌ను మొదటి నుండి చదవడానికి అనుమతించే ప్రారంభ స్థానాన్ని మేము ప్రారంభంలో సెట్ చేస్తాము.
    • Sincedb_path – విలువను /dev/nullకి సెట్ చేయడం ద్వారా Logstash యొక్క sincedb ట్రాకింగ్‌ను నిలిపివేయడానికి ఈ పరామితి మమ్మల్ని అనుమతిస్తుంది. లాగ్‌స్టాష్ ఎల్లప్పుడూ ఫైల్ ప్రారంభం నుండి చదువుతుందని ఇది నిర్ధారిస్తుంది.
    • Ignore_older – ఈ పరామితి యొక్క విలువను 0కి సెట్ చేయడం వలన లాగ్ ఫైల్ యొక్క అన్ని ఎంట్రీలను ప్రాసెస్ చేయడానికి Logstashని అనుమతిస్తుంది.
  2. ఫిల్టర్ విభాగం – ఫిల్టర్ విభాగంలో, లాగ్ సందేశం ERROR అనే పదాన్ని కలిగి ఉందో లేదో తనిఖీ చేయడానికి మేము ఫిల్టర్ నమూనాను నిర్వచించాము. ఫైల్‌లో మరింత ఖచ్చితమైన మ్యాచ్‌ల కోసం ఫిల్టర్ బ్లాక్‌లను ఫిల్టర్ చేయడానికి మీరు షరతులను సర్దుబాటు చేయవచ్చు.
    • షరతు నెరవేరినట్లయితే, Apache లాగ్‌లను అన్వయించడానికి Logstashలో అంతర్నిర్మిత నమూనా అయిన COMBINEDAPACHELOG నమూనాను ఉపయోగించి Apache లాగ్ లైన్‌ను అన్వయించడానికి మేము grok ఫిల్టర్‌ని ఉపయోగిస్తాము.
  3. అవుట్‌పుట్ విభాగం - మ్యాచింగ్ ఎంట్రీల కోసం అవుట్‌పుట్ ఆకృతిని నిర్వచించడానికి ఈ విభాగం మమ్మల్ని అనుమతిస్తుంది.
    • మా సందర్భంలో, మేము వాటిని పాత్ పరామితిని ఉపయోగించి /var/log/apache/error_logs.log ఫైల్‌కు వ్రాస్తాము.

ఇది మాకు ప్రాథమిక లాగ్‌స్టాష్ కాన్ఫిగరేషన్‌ను అందించాలి, ఇది కొన్ని ప్రాథమిక లాగ్‌స్టాష్ వర్కింగ్‌లను ప్రదర్శించడానికి అనుమతిస్తుంది.

దయచేసి కింది అందించిన డాక్యుమెంటేషన్ రిసోర్స్‌లో లాగ్‌స్టాష్ పైప్‌లైన్‌లను సృష్టించడం మరియు కాన్ఫిగర్ చేయడం గురించి మరింత చూడండి:

https://www.elastic.co/guide/en/logstash/current/configuration.html

డాకర్‌ఫైల్‌ను సృష్టించండి

మేము లాగ్‌స్టాష్ కాన్ఫిగరేషన్‌లను నిర్వచించిన తర్వాత, మేము కొనసాగవచ్చు మరియు కంటైనర్‌ను ఎలా అమలు చేయాలో తెలుసుకోవచ్చు. “logstash.conf” ఫైల్ ఉన్న అదే డైరెక్టరీ లోపల, “Dockerfile” అనే కొత్త ఫైల్‌ను సృష్టించండి.

ఈ ఫైల్‌ను సవరించండి మరియు ఈ క్రింది విధంగా నమోదులను జోడించండి:

docker.elastic.co/logstash/logstash నుండి:8.9.2

logstash.conf /usr/share/logstash/pipeline/logstash.conf కాపీ చేయండి

ఇచ్చిన ఉదాహరణలో, మేము వెర్షన్ 8.9.2ని ఉపయోగించి బేస్ ఇమేజ్‌ని అధికారిక లాగ్‌స్టాష్ ఇమేజ్‌గా నిర్వచించాము.

ఆ తర్వాత మనం సృష్టించిన “logstash.conf” ఫైల్‌ని ఇమేజ్‌లోని /usr/share/logstash/pipeline/logstash.confకి కాపీ చేస్తాము.

డాకర్ చిత్రాన్ని రూపొందించండి

తరువాత, డాకర్‌ఫైల్ మరియు లాగ్‌స్టాష్ కాన్ఫిగరేషన్ ఫైల్‌ను కలిగి ఉన్న డైరెక్టరీకి నావిగేట్ చేయండి. చిత్రాన్ని నిర్మించడానికి కింది ఆదేశాన్ని అమలు చేయండి:

$ డాకర్ బిల్డ్ -టి custom-logstash-image .

లాగ్‌స్టాష్ కంటైనర్‌ను అమలు చేయండి

ఇప్పుడు మనం డాకర్ చిత్రాన్ని నిర్మించాము, ఈ క్రింది విధంగా డాకర్ “రన్” ఆదేశాన్ని ఉపయోగించి మనం లాగ్‌స్టాష్ కంటైనర్‌ను అమలు చేయవచ్చు:

$ డాకర్ రన్ -డి --పేరు logstash-server custom-logstash-image

ఇది మేము మునుపటి దశలో నిర్మించిన చిత్రాన్ని ఉపయోగించి లాగ్‌స్టాష్ కంటైనర్‌ను అమలు చేయాలి.

లాగ్‌స్టాష్ కంటైనర్ లాగ్‌లను ధృవీకరించండి

లాగ్‌స్టాష్ సరిగ్గా నడుస్తోందని ధృవీకరించడానికి, మీరు కింది ఆదేశాన్ని ఉపయోగించి కంటైనర్ లాగ్‌లను తనిఖీ చేయవచ్చు:

$ డాకర్ లాగ్‌లు < కంటైనర్_పేరు >

అవుట్‌పుట్:

ముగింపు

ఈ ట్యుటోరియల్‌లో, కస్టమ్ కాన్ఫిగరేషన్ ఫైల్‌ని ఉపయోగించి డాకర్‌గా రన్ అయ్యే లాగ్‌స్టాష్ సర్వర్‌ను మీరు త్వరగా ఎలా సెటప్ చేయవచ్చో తెలుసుకున్నారు. చిత్ర పరామితులు మరియు కాన్ఫిగరేషన్ ఎంపికలపై డాక్యుమెంటేషన్‌ను తనిఖీ చేయాలని మేము సిఫార్సు చేస్తున్నాము.