beautifulsoup 특징
beautifulsoup 으로 html 원소가 안 가져왔다.
툴 특성상 동적 페이지의 원소는 못 가져오기에, 해당 페이지가 정적 페이지인지 확실히 알아보려고 한다.
정적 페이지 판단법
해당 페이지로 가서 f12 > 설정 버튼 > Debugger의 'disable Javascrip' 체크하기
설정하고 새로고침 누르면 정적인 부분만 보여 element가 안 보이는 것을 확인할 수 있다.
해결을 위해 동적 웹페이지도 스크랩할 수 있는 selenium을 사용해야겠다.
'#️⃣ Project 및 개발일지 > 개발일지' 카테고리의 다른 글
| [Django] Test 코드 작성하고 실행하기 with Coverage (0) | 2023.05.03 |
|---|---|
| [Django] 장고 Logging하기 (0) | 2023.05.03 |
| [오류해결] Selenium 사용시 target frame detached (failed to check if window was closed: disconnected: Unable to receive message from renderer) 에러 - screen 사용 (0) | 2023.05.03 |
| [AWS EC2] SSH 연결: Permission denied (publickey) 오류 해결 (0) | 2023.04.26 |
| [Docker] Python 크롤러 프로젝트 Docker image로 EC2로 배포하기 (0) | 2023.04.24 |
beautifulsoup 특징
beautifulsoup 으로 html 원소가 안 가져왔다.
툴 특성상 동적 페이지의 원소는 못 가져오기에, 해당 페이지가 정적 페이지인지 확실히 알아보려고 한다.
정적 페이지 판단법
해당 페이지로 가서 f12 > 설정 버튼 > Debugger의 'disable Javascrip' 체크하기
설정하고 새로고침 누르면 정적인 부분만 보여 element가 안 보이는 것을 확인할 수 있다.
해결을 위해 동적 웹페이지도 스크랩할 수 있는 selenium을 사용해야겠다.
'#️⃣ Project 및 개발일지 > 개발일지' 카테고리의 다른 글
| [Django] Test 코드 작성하고 실행하기 with Coverage (0) | 2023.05.03 |
|---|---|
| [Django] 장고 Logging하기 (0) | 2023.05.03 |
| [오류해결] Selenium 사용시 target frame detached (failed to check if window was closed: disconnected: Unable to receive message from renderer) 에러 - screen 사용 (0) | 2023.05.03 |
| [AWS EC2] SSH 연결: Permission denied (publickey) 오류 해결 (0) | 2023.04.26 |
| [Docker] Python 크롤러 프로젝트 Docker image로 EC2로 배포하기 (0) | 2023.04.24 |
