2019/06 4

docker 동작 기본, 알아둘것

현재 도커에서 아래의 파일들만을 중점으로 사용하고 있다. 동작 방식으로 정리해놓음. 1. docker-compose.yml https://docs.docker.com/compose/overview/ 를 참조한다. yml파일이며 컨테이너적 환경을 정의하기 위해 사용한다. 도커 이미지는 어떤걸 사용할건지, logging은 어쩔건지, 배포는 어떻게 할건지 등등을 정의한다. 2. Dockerfile https://docs.docker.com/engine/reference/builder/ Dockerfile은 어떤 도커 이미지를 만들때(containerization) 기본 실행 환경에 대한 정의를 한다. 예로 FROM ubuntu:18.04 RUN mkdir /go RUN apt-get update && \ ap..

data engineering 2019.06.14

mysql partitioning, index

mysql에서 파티셔닝이과 인덱스는 둘다 querying속도를 빠르게 만들어줍니다. mysql 테이블을 튜닝? 할 일이 생겼는데 파티셔닝이나 인덱스를 걸어서 속도를 올려야 했습니다. 근데 사실 이 두개가 속도를 빠르게 한다는건 알고있었지만 어떤점이 다른지 궁금해서 이것저것 찾아보다 좋은 글을 가져와서 정리합니다.. 가장 유용했던 답변은 https://blog.naver.com/hykzephyr/221463212941 에서 찾을수 있었습니다.글 내용이 너무 좋아서 블로그에서 퍼왔습니다. 문제가 되거나 퍼온게 마음에 안드실 경우 댓글로 적어주시면 글 내리도록 하겠습니다. 파티션이란 MySQL 서버의 입장에서는 데이터를 별도의 테이블로 분리해서 저장하지만 사용자 입장에서는 여전히 하나의 테이블로 읽기와 쓰기를..

data engineering 2019.06.08

mysql join.

종종 헷갈려서 적어놓음. http://www.mysqltutorial.org/mysql-join/ 정리. INSERT INTO t1(id, pattern) VALUES(1,'Divot'), (2,'Brick'), (3,'Grid'); INSERT INTO t2(id, pattern) VALUES('A','Brick'), ('B','Grid'), ('C','Diamond'); 예시를 들 테이블은 이런 구조. 1. cross join. 두 모든 테이블의 결과를 cross로 가져옴. N * N의 컬럼 갯수가 나옴. SELECT t1.id, t2.id FROM t1 CROSS JOIN t2; 2. inner join. 두 모든 테이블의 결과중 교집합만 가져옴. SELECT t1.id, t2.id FROM t1 ..

data engineering 2019.06.01

ssh warning 무시하는 방법.(git pull, push등등이 WARNING뜨면서 안될때.)

회사에서 일을 하다 집에 와서 일하다보면 vpn으로 연결해서 하는데, 망이 달라서그런지 ssh접속시 아래와 같은 에러가 뜬다.Warning: the ECDSA host key for 'xxxxx.net' differs from the key for the IP address 'x.x.x.x' 그리고 접속하겠으면 yes를 누르라는게 추가로 뜬다.(회사에서 접속하면 안뜸.) 이것말고도 git pull을 받아오거나 push를 할 때 WARNING!!이 뜨면서 pull이나 push가 안된다고 종종 뜬다. 깃랩서버가 두개의 서버로 구성되어있을경우 원래의 키를 가지고 있는 서버에서 pull이나 push를 할때까지 계속 요청을 넣어봐야 한다. 근데 귀찮다. 이런 경우 어차피 회사의 도메인이라 믿을수 있으면.. sud..