Java Backend

문제상황 이미지 리사이징에 요구되는 연산 서버의 메모리를 128M 으로 지정하였을 경우, 이미지 리사이징 연산이 Out of Memory 오류를 발생시킵니다. 만약 다건의 이미지 리사이징 요청이 발생하게 된다면? 요구사항 왜 필요하나요? 이미지의 크기, 해상도, 요청 횟수에 따라 어느정도의 메모리가 필요한지 알아야 합니다. 적정 수준의 메모리 설정을 확인하여 확장 한 뒤, 다량의 요청에도 서버가 Out of Memory 를 발생시키지 않도록 후처리가 필요합니다. 실험 설계 성능 검사 툴 VisualVM intelliJ 와 연동도 가능하고, 프로세스별로 관제가 가능하여 선별하였습니다. 사용법 1. 아래 사이트에서 visual vm 설치 https://visualvm.github.io/download.htm..

목적 호출이 굉장히 오래(1분 남짓) 걸리는 외부 서비스 api를 비동기 + 정기 배치 로 동작시키기 위해 주기적으로 비어있는 Thread에 api 호출 task 를 밀어넣는 로직이 필요하다. Flow Chart 사용자가 행위를 한다. 행위로부터 Front 는 Server에 API 호출을 위한 리소스를 전달한다. Server은 DB에 외부 서비스 API 호출을 위한 배치 잡 데이터를 넣는다. 서버는 DB로부터 조건을 충족한(EX) 수행하지 않음, 수행 되었으나 반환값이 오지 않음 등) 데이터를 배치 잡 리스트에 추가한다. DB는 서버에 수행해야하는 배치 잡 리스트를 반환한다. 배치 잡 리스트를 수행한다.( 외부 서비스 API 호출 ) 외부 서비스 서버는 서버에 결과를 반환한다. 분석 Flow Chart ..

해당 카테고리에서 Kibana - ElasticSearch - Logstash - filebeat 를 통해 Log 분석을 위한 ELK Stack 을 구성하였다. 또한 아래의 글에서 분석하기 위한 Log 들을 저장히기 위해 Spring 설정을 해주었다. 이제 남은건 넘어온 Log 들을 어떻게 분석하고, 시각화 하는지 알아내는 것이다. Spring에서 Log 저장 ELK Stack은 Log들을 분석하기 위해 만들어졌다. 그렇다면 이 Log들은 어떻게 얻는가? 나는 Spring 환경의 Log들을 분석하기 위해 ELK Stack을 구성하고 있기 때문에, Spring에서 쌓이는 Log들을 파일로 저장 pmj6541.tistory.com 솔직히 이 과정이 젤 힘들었다.. Kibana 에서 볼때는 너무 많은 내용이 ..

ELK Stack은 Log들을 분석하기 위해 만들어졌다. 그렇다면 이 Log들은 어떻게 얻는가? 나는 Spring 환경의 Log들을 분석하기 위해 ELK Stack을 구성하고 있기 때문에, Spring에서 쌓이는 Log들을 파일로 저장하는 방법을 고려해야 한다. 알아보자. Spring 에서 콘솔에 출력되는 Log들을 저장하기 위해선 logstash.logback 의존성을 추가해주어야 한다. pom.xml 파일을 보자. 다음과 같이 추가한다. version은 검색하고 적절히 Stable 한 버전을 입력하자. 23.05.04 기준 7.3버전도 잘된다. 그 후에 필요한건. Log들을 어떻게 저장할지, 출력할지 정해주는 logback.xml 파일을 만드는 것이다. 예시 파일은 다음과 같고, Spring 프로젝트..

앞의 내용에서 kibana, elasticsearch, logstash 를 연결해주었다. 그리고 마지막으로 filebeat를 이용해 저장된 log를 주기적으로 logstash로 보내주도록 만들어야 한다. filebeat 1. 우선 filebeat 를 설치해준다. Download Filebeat • Lightweight Log Analysis Download Filebeat, the open source data shipper for log file data that sends logs to Logstash for enrichment and Elasticsearch for storage and analysis. www.elastic.co 2. 설치시 C:\ProgramData\Elastic 이 위치에 Be..

앞서 이 세가지의 구성으로 ELK Stack을 구성한다고 하였다. 그렇다면 이걸 어떻게 연결할 수 있을까? 답은 '세가지의 config 파일들로 연결이 된다' 이다. 1. LogStash # Sample Logstash configuration for creating a simple # Beats -> Logstash -> Elasticsearch pipeline. input { beats { port => 5044 } } output { elasticsearch { hosts => ["http://localhost:9200"] index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}" #user => "elastic" #password..

자 우선 ELK의 핵심이 되는 Kibana (시각화), ElasticSearch (수집 및 분석) 이 두가지를 설치해보자. Download Elasticsearch Download Elasticsearch or the complete Elastic Stack (formerly ELK stack) for free and start searching and analyzing in minutes with Elastic. www.elastic.co Download Kibana Free | Get Started Now Download Kibana or the complete Elastic Stack (formerly ELK stack) for free and start visualizing, analyzing, ..

ELK의 목적은 단순하다. 로그를 분석한다. 여기서 주목할 것은 어떻게? 약자를 들여다 보자. E ElasticSearch L LogStash K Kibana 위 세가지 요소로 구성 되어 로그를 분석하기 위한 기술이다. 전체 구조는 다음 그림과 같다. 순서대로 들여다보자. 1. 서비스 진행에 따라 로그가 생성된다. 당장 Spring Boot 를 실행 해보면 Console 창에 생성되는 것이 바로 log 이다. 2. 이 생성된 Log를 LogStash 를 이용해 Json, CSV, TSV 등 분석하기 좋게 가공한다. 3. 보기 좋게 가공된 Log가 있지만 너무나도 양이 많다! 우리는 이것을 분류하고, 원하는 내용을 찾을 필요가 있다. 따라서 ElasticSearch를 활용해 방대한 양의 Log 들을 정리해..

EC2인스턴스에서 Object Detection 모델을 돌리기 위해 이것저것 설정 하던 중, 용량이 가득 차버렸다.. 먼저 해당 인스턴스 스토리지를 들어가 주고, 이 세부정보에서 수정 버튼을 누르고 30 -> 60으로 바꾸어 주면 스토리지 용량 할당 성공! 이제 인스턴스 내에서 파티션 할당을 해주어야 한다. ㄴ $ lsblk 자 보면 nvme0 n1 용량이 아까 설정해 둔 60G로 되어있지만, 파티션은 30G만 할당되어 있다. ㄴ$ sudo growpart /dev/nvme0n1 1 파티션 번호가 1이니 인자에 1을 추가하고 nvme0n1의 1번 파티션 크기를 늘려준다 ㄴ $ lsblk 바뀐 결과! 마지막으로, 파일 시스템 크기를 확장해주면 된다! ㄴ $ sudo resize2 fs /dev/nvme0n..