2018/12 4

Breaking Wechall Crackcha using tensorflow(keras) 1. collecting the data.

예전. 대략 3년전에 http://qkqhxla1.tistory.com/382?category=602369 글에서 wechall 의 캡챠를 깨기 위해 많은 노력을 했었다. 그러다 도저히 방법론 자체를 잘 모르겠어서... 포기했다. 최근에 tensorflow를 공부하던 도중 keras를 사용해서 숫자 인식하는 코드가 많은것을 보고.. tensorflow도 공부해볼겸 다시 도전했다. 바로 이전글에서 이것저것 삽질하면서, 또 스스로 데이터를 수집하고 트레이닝을 시켜보면서 깨달은건 어떤 알고리즘을 사용하느냐보다는, 좋은 데이터가 '많이' 들어갔을때 좋은 결과를 낸다는거다. 엄청난 삽질을 해가며 데이터를 가공하고, 넣고, 예측 테스트를 했는데 예측률이 90%가 넘었을때의 기쁨은 진짜 어떤걸로도 표현할 수가 없을것..

MNIST Handwritten Digit Recognition in Keras(Tensorflow)

파이썬 3 기반입니다. https://nextjournal.com/gkoehler/digit-recognition-with-keras 에서 읽은 글을 다시 제가 정리했습니다. 위 글도 좋긴 한데 굳이 쓸때없는 pyplot를 이용한 그래프 그리기와, 변수명 등을 너무 대충 지어서 가독성이 떨어지기에 공부하면서 다시 정리했습니다. (예로 : (X_train, y_train), (X_test, y_test) = mnist.load_data()) 새로 정리한 글에서는 신경 네트워크 만드는 부분과 데이터 넣는법, 만드는 법을 중점적으로 적겠습니다. tensorflow에도 keras가 들어왔기에 tensorflow의 keras를 쓰겠습니다. 목적은 다른 머신러닝을 돌리기 위한 적당한 코드 이해입니다. 여기에서는 m..

mongodb slow query check.(and kill slow query)

https://medium.com/@igorkhomenko/troubleshooting-mongodb-100-cpu-load-and-slow-queries-da622c6e1339 서버에서 갑자기 cpu가 100%까지 치솟았다. 몽고디비가 cpu가 높은 원인이었고, 여러 프로그램에서 몽고에 접근하고 있어서 도대체 어떤 프로그램에서 어떻게 접근하는 프로세스가 문제인지 확인할수가 없었다. 구글링에 검색해보니 위 명령어가 나왔다. db.currentOp({"secs_running": {$gte: 3}}) 치면 엄청나게 유용하다. 오래걸리는 쿼리가 접근하는 컬렉션과, 필터를 어떤식으로 걸었는지가 다 나온다. 아래는 위 블로그 주인이 적은거 그대로 가져다 붙임.db.currentOp({“secs_running”: ..

data engineering 2018.12.06

2018-12-02 일요일.

분명히 내가 공부한 기술 적는 기술 블로그였는데... 어느순간 만사가 귀찮아지고 일기장이 되버렸다. 2년 산 사당 자취방을 떠난다. 작은방 1억에 관리비 15 전세를 살고있는데 집주인이 전세비를 올린다고 해서 그냥 옮긴다고 했다. 솔직히 관리비가 비싸서 불만이었는데 올린다고 하니까 짜증나서 그냥 옮겼다. 집을 어디로갈까 찾다가 회사 위쪽 구의역 근처가 싸다는 얘길 들어서 그날 바로 부동산을 보러 갔었는데 운이 좋았는지 내가 간날 매물이 있었다. 평수는 지금과 비슷하지만 1억 천에 관리비가 5로 싸졌다. 전세 천 올라간건 별로 문제가 안되고 관리비가 싼게 좋아서 바로 계약을 했다. 내년이면 이제 3년차다. 누군가에게는 회사 일에 대해 익숙해진 시점이라고 생각하지만 내가 볼땐 전문성을 갖추고, 작은 프로젝트..