it(89)
-
AWS CDK Lambda & Athena
CDK Module 선분석 일단 Athena에 해당되는 CDK module이 있는지 봅니다. 먼저 CDK API 문서를 엽니다: API Reference · AWS CDK 그리고 Athena를 찾아서 overview page를 엽니다: @aws-cdk/aws-athena module · AWS CDK 보면 다음과 같이 나와있습니다. 이렇게 CFN-resource만 있으므로 이 CDK code는 CloudFormation (CFN)의 wrapper 수준이라는 것을 알 수 있습니다. 자세한 사항은 CFN의 Athena module을 참고해야 합니다. CFN doc: AWS resource and property types reference - AWS CloudFormation CFN Athena doc: A..
2022.04.26 -
AWS AutoGluon 샘플( Tabular Prediction( 소득 예측 ) )
0. auto gluon 이란 ? - aws에서 개발한 ML 이다. - 무슨 모델을 선택할지 정하지 않고 ML를 만들 수 있다. - 특정 모델을 선택해서 ML를 만들 수 있다. from autogluon.tabular import TabularDataset, TabularPredictor 1-1. 학습 데이터를 불러온다. train_data = TabularDataset('https://autogluon.s3.amazonaws.com/datasets/Inc/train.csv') subsample_size = 500 train_data = train_data.sample(n=subsample_size, random_state=0) train_data.head() – train_data = TabularDa..
2022.04.26 -
AWS API Gateway Private Rest 만들기
실습 과정 VPC Endpoint 생성 → Private Rest API 생성→ 프록시 Lambda 생성 → Private Rest API 서비스 및 메소드 생성 → VPC 권한 정책 수정 → Rest API 배포 [ Private Rest API 생성하기 ] AWS VPC Endpoint 생성 API Gateway 용 VPC 엔드포인드 생성이 필요 통신 하고자 하는 VPC 와 연결 필요 서비스 이름을 execute로 검색후 execute-api 선택 VPC 항목에 연결하고자 하는 VPC ID 선택 AWS 콘솔에서 API Gateway 검색 후 신규 API 생성 API 이름 : 사용할 API 이름 정의 설명 : API 설명 작성 엔트포인트 유형 : Private (Regional, Edge optimiz..
2022.04.09 -
NIFI PostgreSQL Connection 방법 ( ExecuteSQLRecord )
오늘은 postgreSql + NIFI 를 활용한 데이터 추출 방법을 알아보겠다. ( nifi는 그냥 나만 알고 싶어서, 공유를 잘 안하는데, 한번 남겨보겠다. ) 음, nifi는 내가 자주 사용하는 오픈소스 ETL툴이다. ( CDC 에 최적화된 느낌 ) 아마 국내에서 nifi를 가장 먼저 회사에 적용한 사람 중 한명이 내가 아닐까 생각이 든다. 현재는 카카오에서 사용해서 유명하지만, 우리 회사도 나름 빠르게 nifi를 적용한 회사 중 하나이다. 우리 회사 내에는 신기술 덕후들이 많아서... ( 그중에 한명이 나...) 참고로 우리회사는 IT회사가 아니고 제조업이다 ㅋㅋ 서론이 길었다. 그만큼 NIFI 전문가라는 걸 티내고 싶었다. 설명에 들어가겠다. 최대한 자세히 캡쳐했으니, 잘 따라오길 바란다. 1...
2021.07.20 -
python datetime to unix time, string변환하기
오늘은 매번 구굴에서 검색하는... python 기초 문법을 정리하겠다.. 그것은 바로 datetime 관련 type 변환이다.... 매번 찾아보는 문법이 있는데... 바로 아래 문법이다.. ( 참 드럽게 안 외워진다...>< ) 그래서 이번에 내가 정리하기로 했다!!! 서론이 길었다. 바로 본론으로 들어가겠다. 중요 문법은 빨강색으로 표시해 놓았다. 시간 없는 사람들은 그것만 보면 좋을 것이다. 1. import datetime 을 한다. import datetime 2. 현재 시간을 구한다. ( 현재시간 / utc 시간 ) now = datetime.datetime.now() utc = datetime.datetime.utcnow() 3. 특정 시간의 더해본다. timedelta를 활용해서 값을 더한..
2021.07.17 -
티스토리 지도 첨부하기
음, 오늘은 티스토리에서 지도를 첨부하는 방법을 알아보겠다. 방법은 엄청 간단하다 ㅎㅎ 옛날에는,,, 링크 복사해서 html로 복사해서..어쩌구 저쩌구,,, 서론이 길었다.. 바로 알아보자!! 1. 메뉴바 상단에 [...] 을 눌러준다. 아래 사진을 참조하면 쉽다. 2. 지도를 클릭해 준다. 3. 주소 입력 후, 첨부 클릭 4. 아래처럼 첨부된 지도를 확인한다. ( 참고로 처음 등록시 이미지처럼 나옴, 저장하면 지도로 변경 됨 ) 심플하다.. ㅎㅎ 이런걸 글로 남겨야 하나 싶지만.... 내가 검색해 봤으니, 남들도 검색해 볼거 같아서 정리해 보았다 ㅎㅎ 그럼 이만~!!!
2021.07.13