금일은 Spark에서 PostgreSQL 을 연결하는 방법에 대해 알아보겠다. Spark랑 연결하는 방법에는 여러가지 있는데, 그중 하나가 jdbc 를 활용하는 것이다. PostgreSQL은 jdbc를 활용해야, Spark에서 데이터를 읽어 올 수 있다. 그럼 먼저 필요한 Postgre jdbc를 다운받자. [신버전] - 최근 페이지를 보니 깨져서 다시 올린다. ( 구버전은 읽지 말길 ) https://jdbc.postgresql.org/download/#older-versions Download | pgJDBC Download Binary JAR file downloads of the JDBC driver are available here and the current version with Maven ..

금일은 Mongodb 랑 Spark하는 방법에 대해서 알아보겠다. 2020년 Mongodb에서 Spark 3.x 지원을 하기 시작했다. 2020년 7월쯤 Spark 3.x 으로 먼저 업그레이드를 한 뒤... Mongodb에서 Spark 3.x를 지원하지 않아서 멘붕에 빠진적이 있었다. 하긴 Spark 3.0이 6월 18일이니까, 너무 바로 다음달 7월에 적용한다는게, 지금 생각해보면 무리였다. 당시 나온 Spark 3.0은 소개글이다. Spark3.0이 Spark 2.4 대비 성능이 2배이상 차이가 난다. 그래서 아무생각 없이 무조건 업그레이드를 해야겠다고 생각했다.. 결국 그 생각이 화근이 되어 당시 Spark3.0 를 업글은 없던 일이 되었다.. 그 후, 한달 뒤, 2020년 8월쯤에 해당 서비스를 ..