logstash를 이용하여 source 데이터 가공하기
이전 글에서 ES에 대한 소개와 ELK 설치에 대해 알아보았다. 본글에서는 source data를 가공하고 logstash 를 이용하여 ES에 저장하는 방법에 대해 알아보고자 한다. Source Data 편집1편에서 언급했던 교통카드 이용 정보는 다음과 같이 총 9개의 필드가 있다. 사용일 카드번호 승차역(입구) 승차시간 하차역(출구) 하차시간 사용금
아카이브: 2018/8
Spring-boot JPA 이용하기
spring boot JPA 기본 설정이 끝났으면 실제 DB를 불러와 데이터를 조회 해보자 먼저 해야할 일은 properties 파일에 설정을 추가해주는 것이다. resource 폴더 하위에 보면 application.properties 파일이 기본적으로 생성되어있을 것이다. 개인적으로 properties 형식 보단 yml을 선호하여 yml 파일 기준으로
Spring-boot JPA 초기 설정방법
Spring boot 를 이용하여 신규 프로젝트를 진행할 때 JPA를 활용하는 방법에 대해 적어본다. 제일 먼저 프로젝트를 신규로 생성 해주어야 하는데 https://start.spring.io 페이지에서 제공되는 템플릿을 이용하여 maven 프로젝트를 하나 생성해 주었다. 기본 프로젝트를 생성 하였다면 Intellij 에서 제공하는 JPA entity
ELK 소개 및 간략 셋팅방법
지난 글에서는 Elastic Search를 이용해 통근시간을 분석해 보자는 목표를 세우고 필요한 데이터를 수집하는 방법에 대해 알아 보았다. 이번글에선 데이터 분석에 활용되는 ELK(Elasitc Search, Logstash, Kibana)의 간략한 소개와 설치 및 셋팅 방법에 대해 알아보자. 우선 rawData 분석에 활용되는 Elastic Searc
Elastic Search를 통근시간 분석 목표설정
ElasticSearch를 보고있던중 이걸로 뭘 해야 할지 고민하던중 평소 극심한 출퇴근길 혼잡에 시달렸는데 나의 출퇴근길에 대한 통계를 내보면 재밌을것 같다는 생각이 들었다. 보통 위 그림처럼 네이버,다음,티맵 등에서 제공하는 교통정보는 개인에게 특화된 정보가 아니라 어는정도 정확 하긴하지만 좀더 개인에게 특화된 교통정보를 제공 해주면 좋을것 같다는 생