kibana 를 이용하여 시각화 하기 3
앞선 두개의 글에서 kibana를 활용하여 데이터를 시각화 하는 방법에 대해 알아보았다. 이번글에서는 kibana가 제공하는 여러가지 시각화 툴을 이용하여 다양한 형태의 통계자료를 만들어 보고자 한다. Line 차트를 이용해 통근 소요시간에 대한 그래프를 그려보았는데 평균적으로 출근과 퇴근하는데 걸리는 시간을 계산해보았다. Visualize - Data -
아카이브: 2018
kibana 를 이용하여 시각화 하기 2
지난 글에서는 ES에 저장된 데이터에 몇개의 필드를 추가하는 방법에 대해 알아 보았다. 이번글에서는 수집된 데이터를 이용해 그래프를 통한 시각화를 해보도록 하자. Kibana 왼쪽 메뉴에서 Visualize를 선택한 뒤 “+” 버튼을 누르면 다음과 같은 화면이나온다. Line 차트를 선택하고 차트에 사용되어질 데이터가 들어있는 index를 선택해주면 그
kibana 를 이용하여 시각화 하기 1
앞서 logstash 를 이용해 source data를 가공하여 ES에 저장하였다. 데이터를 ES에 저장한 뒤에는 꼭 index를 생성해주어야 하는데 logstash가 데이터를 ES 에 저장하는 순간 ES 상에는 index 가 생성되고 mapping 까지 완료된 상태이다. 그러나 kibana 를 통해 접속해보면 index가 나와있지 않는데 kibana가 관
logstash를 이용하여 source 데이터 가공하기
이전 글에서 ES에 대한 소개와 ELK 설치에 대해 알아보았다. 본글에서는 source data를 가공하고 logstash 를 이용하여 ES에 저장하는 방법에 대해 알아보고자 한다. Source Data 편집1편에서 언급했던 교통카드 이용 정보는 다음과 같이 총 9개의 필드가 있다. 사용일 카드번호 승차역(입구) 승차시간 하차역(출구) 하차시간 사용금
Spring-boot JPA 이용하기
spring boot JPA 기본 설정이 끝났으면 실제 DB를 불러와 데이터를 조회 해보자 먼저 해야할 일은 properties 파일에 설정을 추가해주는 것이다. resource 폴더 하위에 보면 application.properties 파일이 기본적으로 생성되어있을 것이다. 개인적으로 properties 형식 보단 yml을 선호하여 yml 파일 기준으로
Spring-boot JPA 초기 설정방법
Spring boot 를 이용하여 신규 프로젝트를 진행할 때 JPA를 활용하는 방법에 대해 적어본다. 제일 먼저 프로젝트를 신규로 생성 해주어야 하는데 https://start.spring.io 페이지에서 제공되는 템플릿을 이용하여 maven 프로젝트를 하나 생성해 주었다. 기본 프로젝트를 생성 하였다면 Intellij 에서 제공하는 JPA entity
ELK 소개 및 간략 셋팅방법
지난 글에서는 Elastic Search를 이용해 통근시간을 분석해 보자는 목표를 세우고 필요한 데이터를 수집하는 방법에 대해 알아 보았다. 이번글에선 데이터 분석에 활용되는 ELK(Elasitc Search, Logstash, Kibana)의 간략한 소개와 설치 및 셋팅 방법에 대해 알아보자. 우선 rawData 분석에 활용되는 Elastic Searc
Elastic Search를 통근시간 분석 목표설정
ElasticSearch를 보고있던중 이걸로 뭘 해야 할지 고민하던중 평소 극심한 출퇴근길 혼잡에 시달렸는데 나의 출퇴근길에 대한 통계를 내보면 재밌을것 같다는 생각이 들었다. 보통 위 그림처럼 네이버,다음,티맵 등에서 제공하는 교통정보는 개인에게 특화된 정보가 아니라 어는정도 정확 하긴하지만 좀더 개인에게 특화된 교통정보를 제공 해주면 좋을것 같다는 생
Linux 서버에서 VPN 자동접속 하는방법
Linux 에서 VPN 접속 끊어지면 자동으로 reconnect 하는 스크립트 nmcli 명령어를 사용하였다 123456789101112#!/bin/bashwhile [ "true" ]do VPNCON=$(nmcli con show | grep 'VPN' | cut -f1 -d " ") if [[ $VPNCON != "VPN" ]]
logstash와 kafka 연동시 Multiple Topic 사용하기
ELK 를 구축할때 kafka 로 프로세스별 log 데이터를 밀어넣은 다음 kafka - logstash 를 연동하여 ElasticSearch로 보내도록 구현중이다. logstash 에서 여러개의 kafka Topic 을 처리하는 방법에 대해서 정리한 내용이다 A123 process => topic : A1 B123 process => topic