pipeline 만들어놓아야 데이터 가져오는데에 중요함. 데이터뷰가 생성이되었다는 소리는 대시보드를 사용할 수 있다는뜻
kibana
·
✍2021,2022/클라우드
앞 생성과정은 추후 다시 하며 적겠다. 카테고리를 확인할 수 있다. 대시보드 오...간지 음. 근데 그냥 따라하고있어서 추후 한번 알아봐야할것 같음. 데이터 모인 사이트 https://www.kaggle.com/ Kaggle: Your Machine Learning and Data Science Community Kaggle is the world’s largest data science community with powerful tools and resources to help you achieve your data science goals. www.kaggle.com https://www.data.go.kr/ 공공데이터 포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 ..
ELK-2(ElasticSearch)
·
✍2021,2022/클라우드
Logstash 다양한 소스( DB, csv파일 등 )의 로그 또는 트랜잭션 데이터를 수집, 집계, 파싱하여 Elasticsearch로 전달 Elasticsearch Logstash로부터 받은 데이터를 검색 및 집계를 하여 필요한 관심 있는 정보를 획득 Kibana Elasticsearch의 빠른 검색을 통해 데이터를 시각화 및 모니터링 소스컴파일 - 정확히 어우 졸려 윈도우는 무거움 리눅스의 정리 x window --- X Window 설치 명령어 sudo apt install ubuntu-desktop-minimal 명령으로 터미널 명령어들이 조금 다름 윈도우 f4, --- ElasticSearch란? Elasticsearch는 Apache Lucene( 아파치 루씬 ) 기반의 Java 오픈소스 분산..
ELK -DAY1
·
✍2021,2022/클라우드
- 메모리가 제한적이니까 디스크를 메모리처럼 쓰는것 - 스왑메모리 디스크를 메모리처럼 쓰는것. - 필드에서는 y,y이런식으로 바로바로 깔지않는다고함. - 디렉토리마다의 용도가 다름 - 부트영역, 루트영역, ..등 -> 리눅스 파티션 1. swqp 파티션 2. boot 파티션 3. /파티션 4. home 파티션 홈페이지를 운영하는 서버라면, 홈 디렉토리 - 파일포맷을 무엇으로 할지도 결정해야한고 함 하드 레이드 구성 - RAID :복수의 HDD를 하나의 드라이브와 같이 인식시키거나 표시시키거나 하는 기술 https://www.synology.com/ko-kr/support/RAID_calculator?hdds=18%20TB|16%20TB RAID Calculator | Synology Inc. 이 RAID..
flask 실습
·
✍2021,2022/클라우드
pip install virtualenv 여러군데 공유하고 작업할 수 있게 기능을 터미널을 이용해 깔아줌 virtualenv env 액티베이트 환경 설정 \env\Scripts\activate.bat 어우 이거 안되어가지고는 스택오버플로우 당근찾아줌 다음. fpip3 install flask flask-sqlalchemy 쳐줌 플라스크가깔아짐 from flask import Flask app = Flask(__name__) @app.route('/') def index(): return "Hello, world!" if __name__ == "__main__": app.run(debug=True) 왜 매번 해도 매번 까먹는건지...복습좀하자.. 근데 솔직히 css는 부트..그거 있잖어 코드스니펫 body..
도커 공부
·
✍2021,2022/클라우드
vscode에서 XHR오류가 떠서 VSIX파일을 Visual Studio Store (?) 에서 확장 프로그램을 따로 다운받은뒤 연동해줬다. 뭔노무 오류가 이렇게 많은지.. 근데 이 외의 환경을 만들기가 어려워서 AWS IDE (Cloud 9)을 사용해보기로 했다. 윈도우 환경에서는 이게 낫다고해주셔서.. cloud 9 을 설명에 따라만들려고 하자마자 오류가 나버린다. Create Failed 오류.. 공식문서에서는 명확하게 안나와있고 어우 영어 울렁증 생길뻔했는데 다행히도 stackoverflow덕분에 https://stackoverflow.com/questions/64078610/cant-create-an-environment-on-aws-cloud-9 Cant create an environment..