MongoDB Spark Connection 테스트

금일은 Mongodb 랑 Spark하는 방법에 대해서 알아보겠다. 2020년 Mongodb에서 Spark 3.x 지원을 하기 시작했다. 2020년 7월쯤 Spark 3.x 으로 먼저 업그레이드를 한 뒤... Mongodb에서 Spark 3.x를 지원하지 않아서 멘붕에 빠진적이 있었다. 하긴 Spark 3.0이 6월 18일이니까, 너무 바로 다음달 7월에 적용한다는게, 지금 생각해보면 무리였다. 당시 나온 Spark 3.0은 소개글이다. Spark3.0이 Spark 2.4 대비 성능이 2배이상 차이가 난다. 그래서 아무생각 없이 무조건 업그레이드를 해야겠다고 생각했다.. 결국 그 생각이 화근이 되어 당시 Spark3.0 를 업글은 없던 일이 되었다.. 그 후, 한달 뒤, 2020년 8월쯤에 해당 서비스를 ..

2021.07.15