archives

  • 홈
  • 태그
  • 미디어로그
  • 위치로그
  • 방명록

2021/05/17 2

spark + scala mongo to mysql 8+(jdbc), 궁금증 몇개

공부용으로 간단하게 만든 코드를 올린다. 코드를 짜면서 어떤걸 유의해야 되었는지 등을 더 적는다. 제목 그대로 몽고에서 데이터를 가져와서 가공했다고 가정하고, jdbc를 사용해서 mysql(8+버전)으로 삽입하는 예제이다. scalaApp2.scala import org.apache.spark.sql.SparkSession import org.apache.spark.sql.SaveMode import java.util.Properties object scalaApp2 { def main(args: Array[String]): Unit = { val spark = SparkSession.builder.appName("get data").getOrCreate() val (mongo_user, mongo_pa..

data engineering 2021.05.17

(비공개) spark performance tuning guide

보호되어 있는 글입니다.

data engineering 2021.05.17
1
더보기
프로필사진

프로그래밍 좋아합니다. 자료 퍼가실때는 참조만 적어주세요..

  • study (975)
    • setting, git, shell etc (21)
    • machine learning, image (27)
    • data engineering (94)
    • Python (140)
      • 2.7 information (74)
      • 2.7 simple coding(+ c++) (42)
      • 2.7 for fun. (24)
    • web (27)
      • back + front (22)
      • etc (5)
      • kotlin (0)
    • algorithm (210)
      • theory (51)
      • problem solving (159)
    • webhacking (180)
      • sql, sql injection (98)
      • client (28)
      • etc (54)
    • systemhacking (34)
      • practice (25)
      • background (9)
    • private (241)
      • 면접 (0)
      • memo (56)
      • Vancouver diary (77)
      • business trip (10)
      • normal diary (81)
      • English (17)

Tag

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2021/05   »
일 월 화 수 목 금 토
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

  • Hide
  • 지훈현서님 (python developer)
  • 백준 온라인 저지 블로그.(매우 유용)

티스토리툴바