본문으로 건너뛰기
실습하기

HTML 및 JSON 응답 처리하기

웹 API를 사용하거나 웹 페이지를 크롤링할 때, 서버로부터 받는 응답은 다양한 형식을 가질 수 있습니다.


1. HTML 응답

웹 페이지의 경우, 응답은 대개 HTML 형식으로 옵니다. 정적인 HTML 데이터는 BeautifulSoup과 같은 라이브러리로 데이터를 파싱하고 추출할 수 있습니다.

이 경우 requests로 HTML 페이지를 요청한 후, BeautifulSoup로 파싱하고 원하는 데이터를 추출합니다.

HTML 데이터 추출 예제
import requests
from bs4 import BeautifulSoup

response = requests.get('https://example.com')
soup = BeautifulSoup(response.text, 'html.parser')

# 웹 페이지 제목 추출
title = soup.find('title').text

2. JSON 응답

서버에서 전달하는 API 응답은 대부분 JSON 형식입니다.

JSON 응답을 받으면 response.json() 메소드를 사용해 파이썬 객체로 변환할 수 있습니다.

객체 변환은 파이썬의 딕셔너리(dictionary) 형태로 이루어지며, 이렇게 변환된 데이터는 파이썬 코드로 쉽게 활용할 수 있습니다.

여기서 Python의 json 모듈을 사용하여 JSON 데이터를 파이썬 객체로 변환할 수 있습니다.

JSON 데이터 활용 예제
import requests
from bs4 import BeautifulSoup

response = requests.get('https://httpbin.org/get')

# JSON 데이터 파싱
data = response.json()

url = data['url']

# JSON 데이터 출력
print(data)

print('-' * 20)

# JSON 데이터 활용
print("Host:", url)

실습

화면 오른쪽 코드 실행 버튼을 누르고, 크롤링 결과를 확인하거나 코드를 수정해 보세요!

다음 내용이 궁금하다면?

코드프렌즈 PLUS 멤버십 가입 or 강의를 등록해 주세요!