cloud

[ Monitoring ] 프로메테우스 기반 모니터링 구축해보기 #1
·
Cloud
1. 아키텍처 구성프로메테우스는 다른 vm 에 구축된 서비스/시스템의 메트릭, 로그를 수집해야한다는 것을 감안해서 구축해야한다. [VM1] Node Exporter 컨테이너 (포트 9100)[VM2] Node Exporter 컨테이너 (포트 9100)[모니터링 서버 VM] Prometheus 컨테이너 (포트 9090) + Grafana 컨테이너 (포트 3000) 2.  모니터링 서버 vm 설정 2.1 Prometheus 구성config 예제 파일 https://github.com/prometheus/prometheus/blob/release-3.1/config/testdata/conf.good.yml prometheus/config/testdata/conf.good.yml at release-3.1 · ..
[ Monitoring ] 인프라 모니터링 파이프라인 설계하기 #3
·
Cloud
지난번에는 대략적으로 로깅까지 알아보았던 기록을 남겨뒀는데요, 이번에는 지난번에 미처 못다룬 로그수집뿐만아니라 제가 어떤것에 중점을 두고 설계했는지,최종 아키텍처에 대해 이야기해보겠습니다. 로그모니터링 시스템WHY ?버그 및 장애 발생 시 해당 로그를 분석하여 원인을 빠르게 파악 및 해결이슈 발생 시, 당시 사용자의 행동(데이터 요청 등) 확인보안 이슈 또는 시스템의 취약점 파악사용자의 요청과 응답 사이의 시간이 기록되어 성능 저하 발생 지점 파악비즈니스 의사 결정에 로그 데이터 활용 가능오픈소스 로그 모니터링 스택으로는 ELK(Elasticsearch, Logstash, Kibana) 스택과 PLG(Promtail, Loki, Grafana) 스택이 있다. Elasticsearch는 데이터 검색 엔진,..
CloudClub 7기 리크루팅 홍보 및 5~6기 회고
·
Cloud
지난 2~4기 정리글 ( 굉장히 빠르게 후다닥닥 적어서 ,,ㅎ 민망하군뇨) 을 이어서7기 리크루팅을 맞아 5~6기 회고를 진행해보려고 합니다본격 회고 시작 전에,, 홍보하나 하고가겠습니다.7기 리크루팅 시작!!저는 이번 7기는 .. 세월이 흐르고 흘러서 회장으로 참여합니다.2기때부터 애정을 갖고 참여해온클라우드 클럽이 조금 더 지속가능한 단체로, 커뮤니티로써 심지를 단단히 할 수 있도록 기여해볼 예정이에요! 7기 리크루팅이 궁금하시다면? 아래 접은글 참고해주세요! 더보기 [☁️Cloud Club 7기 리크루팅☁️]안녕하세요,폭 넓은 클라우드 인프라 경험을 추구하는 Cloud Club(클클)입니다.저희 클클은 클라우드 기술에 관심이 있는 대학생과 현직자가 모여 함께 성장하는 vendor-neutral 클라..
[ Monitoring ] 인프라 모니터링 파이프라인 설계하기 #2
·
Cloud
지난 글에서, 모니터링을 하는 방식에는 2가지가 존재한다고 했었습니다.모니터링 방식에는 2가지 방식이 존재합니다가져오거나(pull-based monitoring system) 받거나(push-based monitoring system) 이를 기억하고, 인프라 모니터링 도구인 프로메테우스 먼저 공부해보겠습니다.프로메테우스Prometheus는 대상(Target)으로부터 메트릭 값을 받아오는 모니터링 시스템즉, Pull-based monitoring system입니다.Pull 기반은 Target에 직접적으로 접근하여 데이터를 Scraping 하며 그 대상이 되는 Target은 데이터를 노출 시킬 방법이 필요하며 Prometheus는 이러한 니즈에 대해 생태계가 잘 구축되어있습니다.CNCF 오픈소스 모니터링 솔..
[ Monitoring ] 인프라 모니터링 파이프라인 설계하기 #1
·
Cloud
클라우드 '만' 편식하다보니 모니터링을 제대로 해보지 못했었는데, 모니터링에 대해 공부하고, 설계할 기회가 생겨서 정리해둔 글을 덧붙이며 작성해봅니다. 꽤나 많은 내용을 단시간내에 공부했었기 때문에 장편(시리즈..)이 될듯 합니다. ‼️ 제 글이 정답은 아닙니다. 모니터링 초보의 설계..이니 참고정도만 부탁드려요 ‼️  컴퓨터 화면이 다크모드일 경우 글자가 안보일 수 있습니다. ㅜㅜ가장 먼저, 인프라 모니터링 vs 어플리케이션 모니터링부터 간단하게 알아보았습니다.어떤 차이점이 있는지 알고싶었습니다. 인프라 모니터링 vs 어플리케이션 모니터링 ? 인프라 모니터링정의: 인프라 모니터링은 서버, 네트워크 장비, 데이터베이스 등 IT 인프라의 성능과 가용성을 모니터링하는 것입니다.주요 기능: 하드웨어 성능(예:..

CS

[ Network ] Cisco 스위치와 ipTime 라우터로 실습하기
·
Computer Science
네트워크 개념을 이해하고자 실습을 진행해보았다. 사전에 준비된 장비는 Cisco 스위치 1대ipTime 스위치 1대 ( 게이트웨이, dhcp 용) Mission 1 ) DHCP 기능을 동작하게 해라! 조건)- DHCP 설정 조건 : 10.10.10.0/24- DHCP로 할 수 있는 IP 할당 범위 지정하기- 스위치에 통신 할 때 VLAN 10 할당하기- 2개의 PC 를 스위치에 붙여서 ping 통신하기  과정 요약 ) 라우터(공유기) 설정 페이지에서 dhcp 설정 및, ip 대역을 설정해준다.각 pc 에 랜선을 꽂아 스위치의 1,2번 포트에 연결해준다.스위치에 putty 로 serial 포트로 접속하여 vlan 10을 생성해준다.윈도우 pc 방화벽 (icmp) 열어줬다.우리는 스위치에서 직접 dhcp 통..
[ Security ] SSL 암복호화
·
Computer Science
아익... 이모티콘 못생겼다.... HTTPS 의 통신 과정    대칭키 ) - 하나의 키로 데이터를 암복호화 함- 해당 키 노출시 치명적인 문제 발생 비대칭 키 )- 공개키와 개인키로 암복호화 수행- 공개키로 데이터 암호화 하면, 반드시 개인키로만 복호화 가능하고, 개인키로 데이터를 암호화 하면 공개키로만 복호화 가능함. 개인키는 비밀키 또는 비공개 키라고도 불린다. 비대칭키는 보안성이좋지만, 구현어렵고 암복호화 속도 느리다.   암호화 - 개인 키, 복호화 - 공개 키인증을 위한 목적이다. 즉, 서버에서 개인 키로 데이터를 암호화해서 보냈고 클라이언트에서 공개 키로 복호화가 된다면 해당 서버는 클라이언트 입장에서 신뢰할 수 있다고 판단할 수 있다.  HTTPS 는 응용 계층 프로토콜인 HTTP 와 전..
[ Server & OS ] Window 기본 명령어
·
Computer Science
윈도우 명령어에 대해 정리해보자.현업에서 네트워크에 대해 장애 대응이나 오류 발생시 어떤 명령어들을 치는지를 파악해본다. [ 네트워크 명령어 ]ipconfig /all: 아이피, mac 주소 확인 netstat -an : 네트워크 연결 상태 확인실질적으로 해당 서버에 네트워크를 접속한 정보를 볼 수가 있다. 접속 / 접속 시도 / 접속 종료 / 등방화벽 로그를 보거나 하면 되지만, 트래픽이 방화벽을 제대로 타지 않을 때 로컬로 직접명령어를 입력한다고 한다. 특정 포트가 열려 있는지, 리스닝 상태인지, 통신이 되면 상태값이 바뀌기 때문에 보고 알아두면 좋다.-an 은 옵션이다.[ 옵션 목록 ]-a : 현재 다른 PC와 연결(Established)되어 있거나 대기(Listening) 중인 상태-l (list..
[ Server & OS ] 가상화, 가상화 소프트웨어
·
Computer Science
가상화란?- 물리적인 하드웨어를 추상화하여 논리적으로 여러개인것처럼 가상으로 쪼개서 사용하거나, 여러개의 실물 컴퓨팅 자원들을 묶어서 하나의 자원인것처럼 사용하는 것이다.   하이퍼바이저 : 물리적인 하드웨어를 논리적으로 가상화할 수 있게 해주는 것가상화 계층을 구현해주는 소프트웨어입니다. 하드웨어 위에서 가상머신을 생성하고, 필요한 만큼 자원 할당해주고, 가상머신들의 요청을 처리해주는 일종의 가상화 매니저라고 보시면된다.하이퍼바이저는 type1 과 type 2 로 나뉜다. type1 ) type1 은 host os 없이 하이퍼바이저가 guest os 를 관리하는 것이다. 베어메탈형 하이퍼바이저라고도 불린다.여기서 kvm, hyper-v 를 예로 들 수 있다. type2 )type2 는 host os 위..
[ Network ] 이중화 ,고가용성, 로드밸런싱
·
Computer Science
이중화란?시스템의 가용성을 높이기 위해 장비를 다중화 시키는 것을 말합니다. 이중화 구성은 가용성을 높여주기 때문에, 고가용성이라는 용어와 혼재하여 사용하기도 합니다.가용성이란 쉽게말해 하나의 서버 장비가 문제가 생겨도 다른 장비에서 서비스가 될 수 있도록 구현하는 것을 말합니다.  Active-Active / Active-Standby 등의 종류가 있습니다.모두 가동되는 방식 / 두대중 하나만 가동이 되고 하나는 장애 발생시를 대비해서 준비상태로 대기시키는것을 의미합니다.  AWS의 RDS를 사용하면 Active-Standby형태의 HA구성을 쉽게 할 수 있습니다. Multi-AZ기능을 사용하면 동기(sync)방식으로 다른 AZ에 standby 서버와 데이터를 동기화합니다. 고가용성이란? 가용성이란, ..

openstack

NHN cloud instance 로 openstack 구축하고 모니터링하기 #1
·
Openstack
앞서 작성했던 글을 보면,devstack 이 설치되는 서버의 사양이 굉장히.. 높아야 한다4코어에 적어도 4G램..불가하다 나의 예산으로는 그래서 멘토님께서 nhn 리소스를 사용가능하게 해주셨다!!감사하옵니다!! 인스턴스 만드는건 여타 csp 플랫폼과 같아서, 생략하도록 하겠다.  여기에는 록키도 있구,, 윈도우 서버도있어서 ( ec2 에도 있는지는 제대로 안봐서 잘 모르겠다)이 기회에 록키로 해볼까 싶었지만,그냥 익숙한 우분투로 해보겠다. (이미 일전에 설치 해 보았으니까!)사양은 다음과 같이 설정해줬다.   요런식으로!  여튼 지난 게시물마냥 또 again ..설치를 해줌https://pinetree0308.tistory.com/237 Openstack 설치 및 모니터링 환경 구성하기 #11. Dev..
Openstack 설치 및 모니터링 환경 구성하기 #1
·
Openstack
1. Devstack 설치Devstack 이란?DevStack 은 빠르고 쉽게 오픈스택의 핵심 컴포넌트를 구축하기 위한 스크립트이다,OpenStack 프로젝트의 다양한 기능을 테스트하기 위한 용도로도 사용된다.주요 구성요소DevStack을 이용하면 다음과 같은 구성 요소들을 쉽게 구성할 수 있다.Nova: 가상의 서버를 생성 및 관리Glance: 서버의 이미지 생성 및 관리Cinder: 블록 스토리지를 생성 및 관리Neutron: 가상의 네트워크 생성 및 관리Keystone: 사용자에 대한 인증Swift: 오브젝트 스토리지를 구성Horizon: Horizon 대시보드를 통해 GUI 환경에서 오픈스택의 구성요소들을 컨트롤 가능swap 설정sudo fallocate -l 8G /swapfilesudo chm..
Openstack 기여하기 #4
·
Openstack
저번에 어디까지했는지 당최 기억이안나서 간만에 적어본다.메인테이너이신 스테판님을 직접 만난뒤로 리뷰가 달렸다. 리뷰에서 수정사항을 제시하고 + functional test 코드를 요구하셔서수정사항 제시받은것 먼저 컨벤션을 맞춰준다. 글구,, 예전의 나는 왜 유닛테스트중에 테스트 프록시는 수정하지 않았었을까?근데 메인테이너님이 따로 지적 안해주셨으니 그냥 ..일단 안해야지 functional 테스트 코드는 이런식으로 짰다. (물론 zone 코드의 도움을 받았다.)# Licensed under the Apache License, Version 2.0 (the "License"); you may# not use this file except in compliance with the License. You ma..
swift - 오브젝트 스토리지 동작 원리
·
Openstack
| 본 글은 조성수 멘토님 특강을 필기한 내용입니다. 급하게 받아적다보니 내용 검수가 제대로 되어있지 않습니다 ( 차후 다듬을 예정)오브젝트 스토리지, 블록 스토리지와 어떤 차이점이 있는지를 알아야 한다. 오브젝트 스토리지의 가장 큰 특징 : 무한한 공간을 제공한다.오브젝트 스토리지 톺아보기오브젝트 : 데이터 바이너리와 메타데이터의 조합데이터 : 이미지, 비디오, 문서와 같은 실제 데이터메타데이터 : 데이터에 대한 부가적인 설명 ( GPS 좌표, 글쓴이, 사진기 정보 등)오브젝트는 고유 식별자를 가진다.어디에 저장이 될지 결정하는 지시자로 쓰인다. 다른말로는 분산 파일 시스템이라고도 한다.오브젝트 스토리지는 폴더 구조가 없다.파일 스토리지와 다르게 오브젝트 스토리지는 폴더 구조를 가지지 않는다.HTTP ..
Openstack 기여하기 #3
·
Openstack
지금 리뷰 올린 것까지 끝난 열어분! openstacksdk에 신규 피처를 추가하는 경우 다음의 .rst 문서에도 추가한 기능에 대한 내용을 넣어주어야 합니당! 다음의 3개 파일에 자신이 넣은 dns 기능이 있는지 확인해보시고 없다면 다시 추가해서 review를 한번 더 올려주세요! https://opendev.org/openstack/openstacksdk/src/branch/master/doc/source/user/resources/dns/index.rsthttps://opendev.org/openstack/openstacksdk/src/branch/master/doc/source/user/resources/dns/v2https://opendev.org/openstack/openstacksdk/src..

HomeLab

쏭's Lab 구성하기 제 4편 - 개발자/사용자의 홈랩 외부 접속 어떻게 해야 할까? [MetalLB 삽질]
·
HomeLabK8sWorld
이번 글도 역시, 제가 생각했던 흐름대로 적어보겠습니다. 저는 외부에 노출하고, 사용자가 접속하기 위해서는 LB 를 띄우면 되는것이 아닌가?라는 생각을 가지고 있었습니다.왜냐, 사용자가 ddns -> ~~ -> ingress 의 과정으로 접속할 것이라고 생각했기 때문이죠(물론 이 생각은 이후에 바뀌지만,, 이러한 고민 과정이 중요하다고 생각해서 글로 남깁니다.) 때문에 단순히 nodeport svc 를 띄워서 사용자가  private ip:port 로 접근할 수 있도록 유도하는게 굉장히 불편할 것 같다는 생각이 들었고, 그렇기에, 일단 LB 서비스부터 찾아봤습니다. 그래서 LB + Nodeport -> cluster ip (서비스 포트) 요런식으로 구성하기 위해 csp 사의 lb 서비스는 온프렘에서 쓰기..
쏭's Lab 구성하기 제 3편 - 각 노드에 k8s 구축하기
·
HomeLabK8sWorld
kubeadm 을 이용해서 각 노드에 k8s 를 설치해봅시다.sudo kubeadm init --control-plane-endpoint=master.local --ignore-preflight-errors=all  위 명령어는 master 노드에 입력했습니다.  트러블 슈팅 ) 오류가 발생했는데, 해당 오류는 endpoint 의 오류였습니다. 자칫.. 저 위 명령어 그래도 치시지 마시고 본인의 서버별 이름 설정에 따라 쳐주시길..  두번째 오류위 오류는 기억이 안나지만,,,설정이 꼬인걸로 판단했었습니다.해결 방법은 kubeadm 설정을 초기화 했습니다.다시 명령어 입력해보면 제대로 get node 나오는걸 확인가능  CNI 설정특성/플러그인CiliumWeave NetCalicoFlannel주요 장점최신..
쏭's Lab 구성하기 제 2편 - 네트워크 구성 및 환경 구축
·
HomeLabK8sWorld
여러모로 많이 바빴어서 노션에 적던 글을 따로 정리할 시간이 없어 이제야 적네요 Window OS 를 엎고, Ubuntu 설치1. ubuntu server 다운 https://releases.ubuntu.com/22.04/2. refus를 다운받아서 부팅디스크로 변환해준다. 저는 여기서 옵션들 하나하나가 뭘 의미하는지 몰라 헤맸었는데, 그래서 모르는 개념들을 짚고 넘어가보았습니다. 디스크 드라이브를 사용하기 전에, 파티션 작업을 해야 합니다. 드라이브에 파티션 데이터를 저장하는 두가지 다른 방법은 MBR(마스터 부팅 기록)과 GPT (GUID 파티션 테이블)입니다.여러분의 운영 체제는 어떤 섹터가 각각의 파티션에 속했는지, 어떤 파티션이 이 정보로 부팅 가능한지, 어떤 것이 파티션이 실제 드라이브의 시작..
쏭's Lab 구성하기 제1편 - 환경 조사 및 설계
·
HomeLabK8sWorld
매번 하고는 싶었는데 시작할 계기도 없고, 엄두도 안났던 홈서버 k8s 클러스터 구축,드디어 클라우드 클럽에서 윤태님이 만든 스터디에 참여하게되었습니다. 제가 이걸 하게된 이유는, 이짤에 담겨있습니다.인프라 엔지니어가 되고싶어도, CS 지식이나 실무경험 , 트러블 슈팅 경험, 내가 직접 OS 를 깊게 다뤄본 경험이 턱없이 부족했기에,,,뭐라도 해보려고 합니다.아무래도 클라우드 동아리이다보니 대부분의 멤버들이 " 하드웨어까지 해야해?! " 라는 일부 멤버들이 있었지만,저는 굴하지 않았습니다.클라우드가 만들어진 이유도 결국 하드웨어에서 시작되었으니...   일단 홈서버 구축전, 저의 아기자기한(?) 자취방 환경을 파악해봤습니다. 네트워크 환경공유기 종류 및 스펙 조사 (최대 전송 속도, iptime처럼 옵션..
리촬리
촬리의늘솔길
상단으로

티스토리툴바