JavaScript와 동적 웹 크롤링
웹 페이지는 HTML, CSS, JavScript 이 3가지가 결합되어 만들어집니다.
HTML은 웹 페이지의 구조를 정의하고, CSS는 웹 페이지의 스타일을 정의합니다.
JavaScript는 언어는 웹 페이지를 동적(Dynamic)으로 만듭니다.
여기서 동적
이라는 단어의 의미는 사용자와 상호작용하거나, 특정 이벤트에 반응하여 웹 페이지의 콘텐츠가 바뀌는 것을 의미합니다.
예를 들어, 사용자가 버튼을 클릭했을 때 새로운 내용이 나타나거나, 스크롤할 때 추가적인 콘텐츠가 로드되는 것들이 JavaScript의 역할입니다.
이런 동적 콘텐츠는 페이지가 처음 로드될 때는 보이지 않다가, JavaScript가 실행되면서 화면에 나타납니다.
BeautifulSoup의 한계
BeautifulSoup은 HTML
을 분석해 데이터를 가져옵니다.
하지만 JavaScript
를 활용해 동적으로 생성된 콘텐츠는 BeautifulSoup으로 가져올 수 없습니다.