난 spark를 hue안에서 코딩하는거로 처음 접해서 아래와 같이 메모장같은 불편한곳에서 코딩을 했다. 일단 바빠서 그냥 저기에 코딩을 하지만, 당연히 인텔리제이같은 ide에 익숙해져서 너무 불편하다. 심지어 '를 하나 빼먹는다거나 해도 틀렸다고 말을 안해준다. 거기에 한번 잘 돌아가는지 테스트하는데 드는 비용이 너무 크다. 프로세스 탭에 가서 로그를 살펴보고 어쩌구... 처음에는 급해서 그냥 저 위에서 짰다. 알고리즘적으로 검증이 필요한 부분은 spark를 다운받아서 pyspark를 실행시킨 후 쉘에서 한줄 한줄.. 실행시켜가며 로직을 확인 후 코드에 넣고 돌려봐서 검증. 하는 식으로 했었는데.. 뭔가 코드는 자꾸 틀리고, 어디가 틀리는지 확인하기도 힘들고 한번 돌리는게 너무 짜증나서 로컬에서 테스트를..