보호되어 있는 글입니다.
ALL
1. aws console 로그인 하고 검색창에 ec 검색후 '인스턴스 시작'하기를 누른다. 리전은 서울로 하여 트래픽과 동시에 비용을 줄이고자 함 (계정이 없다면 회원가입하기) 2. 이름 지정 하기 만들 ec2 서버의 이름을 지정한다. 3. 이미지 선택하기 ubuntu lts 22.04 버전으로 선택하여 프리티어를 사용하였다. 4. 인스턴스 유형 프리티어로 사용하기 위해 t2.micro로 설정함 5. 키페어 만들기 키페어가 있어야 만든 인스턴스에 로그인할 수 있다. '새 키 페어 생성'을 눌러 키를 생성하자 이름은 알아보기 쉽게 정한 후 '키페어 생성' 을 누르면 다운로드 창이 뜨며 키가 다운로드 된다. 이때 키 보관 위치를 잘 지정해두고 기억해야한다. 로그인 시 필요하기 때문이다 6. 네트워크 설정 ..
로컬 환경(Windows)에서 만든 Python 기반의 크롤러 프로젝트를 Docker image로 만들어 이를 EC2에서 실행하고자 한다. 원래는 github 프로젝트를 clone하여 프로젝트를 가져와 이를 실행할까 생각했는데, (1) 현재 프로젝트가 100% 완성되지 않아서 수정으로 여러번 배포가 될 것이기도 하고, (2) 크롤링을 위해서 환경 구축하는데 시간을 줄이고자 docker image화 하여 배포하는 것으로 선택하였다. 로컬에서의 작업 프로젝트 환경 구성은 다음과 같다. 주요 정보들은 config 폴더에, 실행 결과는 result 와 prev_result 폴더에, 로깅으로 기록되는 로그 파일은 logs 폴더에, 그리고 나머지 .py 파일은 클래스 및 test 코드 이다. 1. requremen..
댓글 크롤러를 만드는 중에 발생한 에러를 슬랙에 알리고 싶었다. 발생한 에러를 새롭게 만든 에러클래스로 가져와 text파일과 slack 모두에 기록하고 알리는 코드를 짜는것이 목표다. 먼저 slack bot을 만들고 이를 workspace에 설치하여 파이썬으로 chat 보내는 코드를 작성해보자! Slack APP 만들기 1. test를 위한 슬랙 워크스페이스 만들기 2. https://api.slack.com에서 app을 from scratch로 만든다. 3. workspace는 1번에서 만든 워크스페이스로 지정하고 app 이름을 설정한다. 'create app'을 누르면 바로 만들어지고, 만든 메인 app 설정 홈으로 오게 된다. 아래 내리면 App ID와 Client ID 정보를 확인할 수 있다. 4..
개요 ✅ 목표 YouTube Data API를 통해 등록한 구글 계정에서 구독한 YouTube Channel을 불러와, 해당 채널의 가장 최근 영상의 상세 정보를 불러온다. ✅ 준비 과정 및 개발 과정 사용할 구글 계정으로 YouTube에 접속하여 몇몇의 채널의 구독하기 YouTube Data API 키 발급받기 OAuth2 인증받기 : OpenSSL 인증서 발급 받아 flask 실행 서버를 https가 되게 함 코딩하기 Redirect URL 등록 후 client_secret.json 프로젝트에 적용하기 서버 실행하기 ✅ 코드 전문 https://github.com/HyeM207/YouTube-Data-API-Test 230331 YouTube API 연결 1. YouTube Data API 키 발급받..
보호되어 있는 글입니다.
