금일은 spark 개발환경을 구축해보겠다. 매번 개인 PC에서 Spark개발 환경을 구성했다. 그때마다 환경 변수 잡는게 너무 귀찮았다. 그리고 꼭 한번에 되지 않는다. ( windows 어려워.. ) 심지어 spark 개발자를 키우기도 해야하는 입장에서 개발환경을 잡는것은 참으로 귀찮은 일이다. 그러다가 갑자기 구글이 제공하는 colab에서 구축할 수있지 않을까 라는 생각을 했다. colab이란 구글이 제공해주는 python개발 환경이다. 구글 아이디만 있으면, python 개발 환경을 무료로 사용할 수 있다. 분석팀 대리가 알려준 환경인데, 꽤 쓸만하다. 그럼 한번 초간단 spark 개발화경을 구축해보겠다. 0. colab를 시작한다. python 개발자라면 알것이다. 딱 jupyter noteboo..

오늘은 postgreSql + NIFI 를 활용한 데이터 추출 방법을 알아보겠다. ( nifi는 그냥 나만 알고 싶어서, 공유를 잘 안하는데, 한번 남겨보겠다. ) 음, nifi는 내가 자주 사용하는 오픈소스 ETL툴이다. ( CDC 에 최적화된 느낌 ) 아마 국내에서 nifi를 가장 먼저 회사에 적용한 사람 중 한명이 내가 아닐까 생각이 든다. 현재는 카카오에서 사용해서 유명하지만, 우리 회사도 나름 빠르게 nifi를 적용한 회사 중 하나이다. 우리 회사 내에는 신기술 덕후들이 많아서... ( 그중에 한명이 나...) 참고로 우리회사는 IT회사가 아니고 제조업이다 ㅋㅋ 서론이 길었다. 그만큼 NIFI 전문가라는 걸 티내고 싶었다. 설명에 들어가겠다. 최대한 자세히 캡쳐했으니, 잘 따라오길 바란다. 1...

오늘은 주철밥집!! 철그릴에 다녀왔다. 위치는 아래와 같다. 삼성역에서 뭐 먹을까 고민하다 해당 음식점을 찾았다. 위치는 삼성역 현대백화점 가장 높은 층이다 ㅎㅎ 식당은 그리 크지 않지만, 맛하나는 훌륭하다. 메뉴도 주철밥 위주로 깔끔하다. 채끝 주철밥이 메인 음식 같은데, 그날따라 3번 통오징어 제육 주철밥이 눈에 들어왔다. 그리고 사이드 메뉴로 으깬 수미 감자를 시켰다. 수미 감자 가격은 4000원으로 착하다. 하지만, 존맛이니 꼭 먹어보길 추천한다. 그리고 조리 시간도 길지 않다. 조금 기다리니, 요리가 나왔다. 처음에는 긴가민가 하고, 들어간 식당이였는데, 요리가 나온 뒤, 확실한 맛집이라고 생각이 들었다. 통오징어 제육 주철밥은 오징어 한마리와 제육이 세팅되어서 나온다. 그리고 반찬으로 갓김치와..

오늘은 매번 구굴에서 검색하는... python 기초 문법을 정리하겠다.. 그것은 바로 datetime 관련 type 변환이다.... 매번 찾아보는 문법이 있는데... 바로 아래 문법이다.. ( 참 드럽게 안 외워진다...>< ) 그래서 이번에 내가 정리하기로 했다!!! 서론이 길었다. 바로 본론으로 들어가겠다. 중요 문법은 빨강색으로 표시해 놓았다. 시간 없는 사람들은 그것만 보면 좋을 것이다. 1. import datetime 을 한다. import datetime 2. 현재 시간을 구한다. ( 현재시간 / utc 시간 ) now = datetime.datetime.now() utc = datetime.datetime.utcnow() 3. 특정 시간의 더해본다. timedelta를 활용해서 값을 더한..

금일은 Mongodb 랑 Spark하는 방법에 대해서 알아보겠다. 2020년 Mongodb에서 Spark 3.x 지원을 하기 시작했다. 2020년 7월쯤 Spark 3.x 으로 먼저 업그레이드를 한 뒤... Mongodb에서 Spark 3.x를 지원하지 않아서 멘붕에 빠진적이 있었다. 하긴 Spark 3.0이 6월 18일이니까, 너무 바로 다음달 7월에 적용한다는게, 지금 생각해보면 무리였다. 당시 나온 Spark 3.0은 소개글이다. Spark3.0이 Spark 2.4 대비 성능이 2배이상 차이가 난다. 그래서 아무생각 없이 무조건 업그레이드를 해야겠다고 생각했다.. 결국 그 생각이 화근이 되어 당시 Spark3.0 를 업글은 없던 일이 되었다.. 그 후, 한달 뒤, 2020년 8월쯤에 해당 서비스를 ..

음, 오늘은 티스토리에서 지도를 첨부하는 방법을 알아보겠다. 방법은 엄청 간단하다 ㅎㅎ 옛날에는,,, 링크 복사해서 html로 복사해서..어쩌구 저쩌구,,, 서론이 길었다.. 바로 알아보자!! 1. 메뉴바 상단에 [...] 을 눌러준다. 아래 사진을 참조하면 쉽다. 2. 지도를 클릭해 준다. 3. 주소 입력 후, 첨부 클릭 4. 아래처럼 첨부된 지도를 확인한다. ( 참고로 처음 등록시 이미지처럼 나옴, 저장하면 지도로 변경 됨 ) 심플하다.. ㅎㅎ 이런걸 글로 남겨야 하나 싶지만.... 내가 검색해 봤으니, 남들도 검색해 볼거 같아서 정리해 보았다 ㅎㅎ 그럼 이만~!!!