HTML 및 JSON 응답 처리하기
웹 API를 사용하거나 웹 페이지를 크롤링할 때, 서버로부터 받는 응답은 다양한 형식을 가질 수 있습니다.
1. HTML 응답
웹 페이지의 경우, 응답은 대개 HTML 형식으로 옵니다. 정적인 HTML 데이터는 BeautifulSoup과 같은 라이브러리로 데이터를 파싱하고 추출할 수 있습니다.
이 경우 requests로 HTML 페이지를 요청한 후, BeautifulSoup로 파싱하고 원하는 데이터를 추출합니다.
HTML 데이터 추출 예제
import requests
from bs4 import BeautifulSoup
response = requests.get('https://example.com')
soup = BeautifulSoup(response.text, 'html.parser')
# 웹 페이지 제목 추출
title = soup.find('title').text
2. JSON 응답
서버에서 전달하는 API 응답은 대부분 JSON 형식입니다.
JSON 응답을 받으면 response.json() 메소드를 사용해 파이썬 객체로 변환할 수 있습니다.
객체 변환은 파이썬의 딕셔너리(dictionary) 형태로 이루어지며, 이렇게 변환된 데이터는 파이썬 코드로 쉽게 활용할 수 있습니다.
여기서 Python의 json 모듈을 사용하여 JSON 데이터를 파이썬 객체로 변환할 수 있습니다.
JSON 데이터 활용 예제
import requests
from bs4 import BeautifulSoup
response = requests.get('https://httpbin.org/get')
# JSON 데이터 파싱
data = response.json()
url = data['url']
# JSON 데이터 출력
print(data)
print('-' * 20)
# JSON 데이터 활용
print("Host:", url)
실습
화면 오른쪽 코드 실행 버튼을 누르고, 크롤링 결과를 확인하거나 코드를 수정해 보세요!
다음 내용이 궁금하다면?
코드프렌즈 PLUS 멤버십 가입 or 강의를 등록해 주세요!