이전에 적었듯이 kubernetes cli는 배우는데 러닝 커브가 높아서 gui로 kubernetes를 컨트롤 해주는 rancher라는걸 쓰고 있다.(하드하게 쓰는게 아니라 그런지 쓸만하다.)
현재 쓰고있는 몇개 앱만 캡쳐 떠왔다. 카프카, 젠킨스 등 이것저것 잘 쓰고 있는데.. 이번에는 스파크를 설치해야 할 일이 생겼다. Apps탭이니 당연히 여기도 스파크가 있을줄 알고 Launch버튼을 눌러 스파크를 찾아봤다.
찾아봤는데 이 4개밖에 안뜬다. 맨 처음 Helm-incubator의 스파크는 deprecated되었다고 하고 선택지가 두번째 Helm spark밖에 없었다. 근데 가장 최신 버전을 설치했는데 스파크 버전이 1.5이다.....
helm chart를 들어가봤더니 업데이트가 안된지 상당히 오래되었다. helm chart
지금 스파크가 3.0까지 나왔는데 1.5는 너무 구버전이고, 내가 원하는 기능이 1.5에는 없었다. 그래서 docker spark 3.0 등으로 검색해보니 bitnami spark를 찾을수 있었다 : https://hub.docker.com/r/bitnami/spark/
그후 아 저거 도커니까 저거로 어떻게 만들어봐야지... 하고있었는데 중간에 bitnami chart주소가 있었다.
https://github.com/bitnami/charts/tree/master/bitnami/spark
오 그럼 이것도 우리 쿠버네티스에 차트주소 추가하면 편하게 클릭 몇번으로 만들수있는거 아냐?라고 생각했다.
맨 위의 Apps에서 찍은 스크린샷에서 Manage Catalogs를 누른다.
딱봐도 여기에 추가하면 될것같다. Add Catalog를 누르고 이름은 bitnami, 주소는 https://github.com/bitnami/charts를 입력해줬다. 몇번 로딩이 돌더니 잘 추가가 된다. 그리고 Apps에서 다시 spark를 검색한 결과 bitnami spark가 추가되었다!
bitnami spark최신버전을 클릭 몇번으로 설치한 후 쉘을 실행시켜서 버전을 본 결과
3.0.0버전이다. 성공했다.
catalogs, helm in rancher : https://rancher.com/docs/rancher/v2.x/en/catalog/
근데 https://hub.helm.sh/ 요기에 들어가서 검색해보면 어디에 차트가 있는지, 어떤걸 추가하면 되는지 다나온다. 여기가 가장 좋음,
'data engineering' 카테고리의 다른 글
spark mongo data processing, write csv to s3 삽질 정리. (1) | 2020.09.21 |
---|---|
mongodb set ttl (0) | 2020.08.15 |
kubernetes HostPort, NodePort, cluster IP (0) | 2020.07.28 |
Vault. (0) | 2020.07.16 |
kafka set credentials (0) | 2020.07.13 |