Selenium으로 미국 주가 지수 크롤링하기
이번 수업에서는 지금까지 배운 Selenium 지식을 활용해 실무 수준의 웹 크롤링을 실습해보겠습니다.
실습 화면의 코드는 Selenium을 사용하여 Yahoo Finance
웹사이트에서 Americas
섹션의 테이블 데이터를 추출하고, 그 데이터를 pandas
라이브러리를 이용해 정리하여 출력하는 예제입니다.
코드를 단계별로 차근차근 살펴보겠습니다.
1. 필수 라이브러리 임포트
라이브러리 불러오기
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pandas as pd
import time
-
selenium: 웹 자동화 및 스크래핑을 위한 라이브러리입니다. 웹 페이지에서 요소를 찾고 상호작용할 수 있습니다.
-
pandas: 데이터를 표 형식으로 다룰 수 있는 라이브러리로, 엑셀과 비슷한 방식으로 데이터를 분석할 때 유용합니다.
-
time: 시간 관련 함수를 제공하는 파이썬 내장 모듈입니다.