2019/12 4

elastic kibana 깨달은점. (data visualization)

키바나는 엘라스틱서치 내의 데이터를 가져와서 시각화를 해주는 도구이다. elk, efk스택 등등이라고 부르는 것들중 하나이고.. 무슨 내용을 적을까 하다가 보면서 깨달은 점을 간단하게 적기로 했다. 키바나의 경우에는 처음에 한번 데이터 넘기고 그 데이터로 그래프 그리면서 개념 이해하는게 너무 어려워서.. 보고 잘 동작하는 코드와 간단한 설명을 적음. (키바나는 얼마 안해봐서 틀린 개념등이 있으면 댓글로 알려주시면 감사하겠습니다.) 우선 엘라스틱 서치가 기본으로 설치되어 있다고 가정한다. 설치는 찾아보면 있으니 따로 안적음. 이후로 엘라스틱 서치로 데이터를 주기적으로 쏠 프로그램을 짠다. 키바나는 엘라스틱 서치의 데이터를 가져와서 시각화하기때문에 엘라스틱 서치로 데이터를 쏴주고, 키바나에서 가져와야 한다...

data engineering 2019.12.26

intellij, pycharm git 단축키 설정.

파이참을 쓰는데 인텔리제이도 똑같을테니 제목을 저리 지음. 내용은 단축키 설정에 관한건데 굳이 git 단축키라고 제목을 적은 이유는 딱히 깃 단축키말고는 다른 단축키를 지정해서 효과를 못봤기에 깃 단축키 지정이라고 적었다. 티켓 시스템 + 깃으로 버전관리하는 회사들 대부분이 버전 관리를 할 때에 아래와 같은 프로세스로 진행한다. git pull -> git make new branches from master -> 작업 -> commit -> push -> merge 물론 순서가 바뀌거나 조금 다를수도 있지만 이게 일반적인데, 파이참에서 깃 풀을 하려면 마우스로 아래와 같은 과정을 거쳐야 한다.깃 풀 말고도 새 브랜치를 따거나, 커밋을 할때도 마찬가지이다. 근데 맨날 똑같은 작업을 하다 보니 매번 반복되..

selenium cron to text

cron포맷을 영어 텍스트로 변환해야 할 일이 생겼다. 그러니까 예로 * * * * * 같은 경우 every minute 같은거로. 구글링을 하니 아예 파이썬 전용 pip라이브러리가 있다. 한 3개정도 찾았는데 ex) https://pypi.org/project/cron-descriptor/ 크론 구문이 복잡해지면 얘가 잘 파싱하지를 못한다.(얘말고도 다른것들도 한가지씩 문제가 있었다.) 문제되는 케이스 예시.(에러 발생) # -*- coding: utf-8 -*- from cron_descriptor import get_description, ExpressionDescriptor print(get_description("3 0-3,7-23/3 * * *")) 실제로 크론탭 작업시에는 https://cr..

Python/2.7 for fun. 2019.12.05

json.loads 에러시 위치 찾는 방법 꿀팁

https://stackoverflow.com/questions/19519409/how-to-get-error-location-from-json-loads-in-python 의 내용을 가져옴. 정규식으로 소스 코드 안의 api의 결과값으로 보이는 json을 파싱하는 프로그램을 만들었다고 가정해보자. api의 결과값을 잘 가져온것 같은데 json.loads로 파싱해보면 에러가 나는 경우가 많다. 예로.. import json s = r'[{"prodNo":374834551334,"prodNm":"나주곰탕 600g x 8인분","saleStatus":"A","salePrice":12500,"discountYn":"N","discountPrice":0,"optUseYn":"N","optTextList":[],..