NHN cloud instance 로 openstack 구축하고 모니터링하기 #1

앞서 작성했던 글을 보면,

devstack 이 설치되는 서버의 사양이 굉장히.. 높아야 한다

4코어에 적어도 4G램..

불가하다 나의 예산으로는

 

그래서 멘토님께서 nhn 리소스를 사용가능하게 해주셨다!!

감사하옵니다!!

 

인스턴스 만드는건 여타 csp 플랫폼과 같아서, 생략하도록 하겠다. 

 

여기에는 록키도 있구,, 윈도우 서버도있어서 ( ec2 에도 있는지는 제대로 안봐서 잘 모르겠다)

이 기회에 록키로 해볼까 싶었지만,

그냥 익숙한 우분투로 해보겠다. 

(이미 일전에 설치 해 보았으니까!)

사양은 다음과 같이 설정해줬다. 

 

 

요런식으로!

 

 

여튼 지난 게시물마냥 또 again ..설치를 해줌

https://pinetree0308.tistory.com/237

Openstack 설치 및 모니터링 환경 구성하기 #1

 

 

아 또 오류가 작렬이라....해결해야함.. ;; 

언제쯤 난 모니터링을 해볼 수 있는것인가,,

미치겠네 

 

오류 직면 )

- designate 관련된 것만 local.conf 에 추가하기만 하면 오류 남

근데? 추가 안하면 또 

 

뭐 아래와 같은 오류남

 

ModuleNotFoundError: No module named 'designatedashboard' 오류는 OpenStack의 Horizon 대시보드에서 designatedashboard 모듈을 찾지 못해 발생한 것입니다. 이 문제를 해결하기 위해 다음 단계를 시도해 보세요.

어쩌자는거지..

잉 근데 접속은 되네;..

 

 

어..된ㄷ...ㅏ...

뭐지...

 

ELK로 오픈스택 로깅하기 

진짜로 모니터링 해보자.

 

1) 설치 

일단 다  docs 보고 설치함 

 

1. Elastic Search 설치

https://www.elastic.co/guide/en/elasticsearch/reference/8.15/targz.html

Install Elasticsearch from archive on Linux or MacOS | Elasticsearch Guide [8.15] | Elastic

 

2. Kibana 설치 

https://www.elastic.co/guide/en/kibana/8.15/targz.html

Install Kibana from archive on Linux or macOS | Kibana Guide [8.15] | Elastic

 

3. Logstash 설치

https://www.elastic.co/guide/en/logstash/8.15/installing-logstash.html

Installing Logstash | Logstash Reference [8.15] | Elastic

 

보다보니.. 공고에서 익숙한 APM 을 발견 ( apache ,php ,mysql 말고 성능테스트용)

한번도 써본적이 없는데, 기회가 되면 홈서버에서는 이걸 사용해봐야겠다.

 

 

공식문서에서는 로그스태시를 제외하고 다 패키지 파일 설치라서,,,

apt 패키지 설치를 이용하기 위해 다음 블로그를 참고했다.

https://velog.io/@chan9708/ELK-ELK-Stack-%EC%84%A4%EC%B9%98

[ELK] ELK Stack 설치

현재 버전은 8.x 이니 참고해서 수정해주어 설치하면된다.

 

설정 도중에 생긴 오류)

외부 접속 설정시에 본인의 private ip 를 잘 확인해주어서 설정해줘야한다.

기본값인 이거를 

0.0.0.0 으로 하던가,, 내 ip 로 하던가 하면됨 

 

이 yml 파일 설정에는 다음과 같은설정도 가능하다.

https://hunnie.co.kr/74

 

 

 

 

음 굳굳

 

통신 확인

ubuntu@devstack-song:~$ curl -u elastic:비밀번호 -X GET "https://localhost:9200" -k
{
  "name" : "devstack-song",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "GkS5NzYDSdaujy3DgqBkCw",
  "version" : {
    "number" : "8.15.3",
    "build_flavor" : "default",
    "build_type" : "deb",
    "build_hash" : "f97532e680b555c3a05e73a74c28afb666923018",
    "build_date" : "2024-10-09T22:08:00.328917561Z",
    "build_snapshot" : false,
    "lucene_version" : "9.11.1",
    "minimum_wire_compatibility_version" : "7.17.0",
    "minimum_index_compatibility_version" : "7.0.0"
  },
  "tagline" : "You Know, for Search"
}

 

비밀번호 몰라서 초기화 명령어 사용

sudo /usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic

 

나머지도 비슷하게 설치해주면됨

 

ELK 파이프라인 설정 

https://velog.io/@chan9708/ELK-ELK-Stack-%EC%84%A4%EC%B9%98

 

자세한 설명 : 공식문서

 

어.. 잘 된듯 

블로그 대로 따라했다.

알고보니 이 블로그!! 같은 클둥이..분의 블로그였다. 클클은 언제나 내게 도움만 주는구나

어 이 블로그도 같은 내용이..

 

 

요기서 configure manually 설정을 해준다.

 

으잉

 

미치겠다.

오 여기서 확인가능

 

근데, 키바나 로그인 설정을 config 파일에 안해둬서, 접속이 안되는 이슈 발생

/etc/kibana/kibana.yml 에서 위와같이 설정해줘야하고,

유저 네임과 비밀번호도!! 설정해줘야함!!

sudo bin/elasticsearch-reset-password --username kibana_system

 

sudo bin/elasticsearch-reset-password --username kibana_system -i

 

뭐.. 어디서부터 문제였는지도 모르겠음

토큰 발급도 받아보려고 다음 docs 따라했으나, 일부 명령어 동작 불가 상태로 다시 pw 설정으로 복귀..

됐다...

실질적으로 kibana yml 에서 건드린건

elasticsearch.hosts: ['https://localhost:9200']

이거 뿐임...

pw, username 다 설정안해도 알아서 로그인때 됨

 

로그인은 총 2번했는데, 

로그인 1차 -> kibana_system 으로진행

로그인 2차 -> elastic 유저 아이디 비번으로 진행

 

흑흑

 

 

이제 nova 의 로그를 수집해보장

이 블로그들을 참고할 것임

정말 머나먼 여정이 될 것임

두려움

https://younngjun.tistory.com/128

[OpenStack] OpenStack과 ELK 연동 실습(feat. DevStack)

https://techpicnic.tistory.com/258

openstack- ELK 로그수집 및 관리

https://www.kangtaeho.com/46

Elastic Stack 오픈스택에 설치하기

 

 

 

과정은 다음과 같음 

https://younngjun.tistory.com/128

 

 

로그를 일단 수집해보자.

sudo journalctl -f -o short-iso --unit devstack@n-* > nova.log

 

logstash의 conf 파일을 변경할 경우 꼭 다음 명령을 실행하여 변경 사항을 적용하고 재실행해야 한다.

sudo systemctl daemon-reload
sudo systemctl restart logstash

/etc/logstash/conf.d$ sudo vim nova_log.conf

input {
  file {
    path => "/opt/stack/logs/nova.log"
    start_position => "beginning"
    codec => plain { charset => "UTF-8" }
  }
}

filter {
  if "Action: 'create'" in [message] {
    grok {
      match => { "message" => "\[%{TIMESTAMP_ISO8601:timestamp}\] %{LOGLEVEL:severity} %{GREEDYDATA:message}" }
    }
    date {
      match => [ "timestamp", "ISO8601" ]
      target => "@timestamp"
    }
  }
}

output {
  elasticsearch {
    hosts => ["http://192.168.0.75:9200"]
    index => "devstack-nova-%{+YYYY.MM.dd}"

  }
}
~

 

 

근데 난 Kibana 대시보드를 볼수가없음.

5601, 9200 포트두개 다 접근하면 다 elastic 대시보드가 뜸... 

무엇이 문제일고 

진짜 모르겠다. 

 

그래서 걍 인터그레이션을 추가해봄

 

Fleet Agent 추가해줌

 

이 블로그를 보면 수동설치 할 수 잇는것같긴 한데 ui가 있으니..ui를 보며 안내하는대로 해보겠다.

agent 는 잘 돌아가고있다.

 

 

이제.. agent 연결확인 + kibana 대시보드 구성만 하면되는데,

그건 다음 글에서 이어서 하겠다.