전체 글

오류난 상황 설명 외부(Colab)에서 s3 객체를 불러오고 싶었는데, 다음과 같은 오류가 떴다. getFileStatus on s3a://(버킷명/(불러올파일).json: com.amazonaws.services.s3.model.AmazonS3Exception: Forbidden (Service: Amazon S3; Status Code: 403; Error Code: 403 Forbidden; Request ID: ---; S3 Extended Request ID: 찾아보니, 이는 S3버킷 권한 문제로 인해 발생한 것이라고 한다. 저 당시 나는 "분명 S3버킷 생성할 때 모두 public으로 설정했는데 그러면 되어야 하는거 아니야? ? ? " 이랬는데, 이는 권한하고는 다른 문제인 것으로 보인다. 해..

제곧내 데이터 적재를 EC2를 통해 S3까지 성공했지만, 금전적인 문제로 Spark 처리는 로컬로 하게 되었다😂 코랩에서 Spark를 사용하여 S3의 json 파일을 읽어오고자 한다. 01. S3 버킷 권한 설정 이를 위해서는 먼저 S3의 권한을 public으로 변경해야만 한다. 권한 설정은 따로 글로 정리해두었다 "S3버킷 권한 설정 : https://hyem207.tistory.com/90 [AWS S3 오류] Forbidden (Service: Amazon S3; Status Code: 403; Error Code: 403 Forbidden; 사건 설명 외부(Colab)에서 s3 객체를 불러오고 싶었는데, 다음과 같은 오류가 떴다. getFileStatus on s3a://(버킷명/(불러올파일).j..

기본적인 Django tests.py 파일 Django에서 앱을 만들면 앱 폴더가 생기고 그 안에 테스트 코드를 작성할 수 있는 tests.py 파일이 포함되어 있다. 그래서 해당 파일에 테스트 코드를 작성하고 실행할 때 python manage.py test 코드만 치면, 장고가 알아서 모든 test 파일 위치를 찾아내 실행시켜준다. python manage.py test 그러나 이번 프로젝트를 하며 앱이 여러개이기도, 테스트 코드를 기능별로 파일로 나눠 작성하고 싶었기에 tests 폴더를 만들기로 결정했다. Tests 폴더 만들기 app 단위로 개발하고 테스트 코드를 돌릴 것이기에, app 폴더 안에 tests 폴더를 만들었다. 이때 test가 아닌 tests 로 꼭 이름을 설정한다. 그런 다음 아래..

Django는 파이썬 로깅 라이브러리 logging을 이용하여 로깅할 수 있다. 로깅을 사용하려면 settings.py에 개별 설정을 해주면 된다. settings.py에 로깅 설정 추가 settings.py에 아래 로그 설정 코드를 넣어준다. LOGGING = { 'version': 1, 'disable_existing_loggers': False, 'filters': { 'require_debug_false': { '()': 'django.utils.log.RequireDebugFalse', }, 'require_debug_true': { '()': 'django.utils.log.RequireDebugTrue', }, }, 'formatters': { 'django.server': { '()': '..

beautifulsoup 특징 beautifulsoup 으로 html 원소가 안 가져왔다. 툴 특성상 동적 페이지의 원소는 못 가져오기에, 해당 페이지가 정적 페이지인지 확실히 알아보려고 한다. 정적 페이지 판단법 해당 페이지로 가서 f12 > 설정 버튼 > Debugger의 'disable Javascrip' 체크하기 설정하고 새로고침 누르면 정적인 부분만 보여 element가 안 보이는 것을 확인할 수 있다. 해결을 위해 동적 웹페이지도 스크랩할 수 있는 selenium을 사용해야겠다.

처음에 ec2와 s3를 돌리던 aws 계정이 프리티어 한도를 거의 넘어갈뻔하여, 계정을 새로 파서 다시 환경 세팅을 했다. 환경 세팅을 다 마친 후 파이썬 스크립트를 nohup으로 백그라운드 키고 창을 닫으니 아래와 같은 오류가 발생했다. nohup python3 main.py & # 오류 target frame detached (failed to check if window was closed: disconnected: Unable to receive message from renderer) 처음 ec2에서는 안 떴는데 이상해서 구글링 해보니, 크롬 드라이버 버전 문제라는 stackoverflow를 봤는데 내 상황과 달랐다. 만능 ChatGPT에게 물어보니 이유를 빠르게 알아챌 수 있었다. 읽고 보니,..