requests 패키지로 웹 페이지 데이터 수집하기
파이썬에서 웹 데이터를 수집할 때 가장 많이 사용되는 패키지 중 하나가 바로 requests입니다.
이 패키지는 HTTP 요청을 간편하게 보내고, 서버의 응답을 받아 처리하는 데 유용합니다.
이번 자료에서는 requests 패키지의 소개와 설치 방법, 그리고 GET
과 POST
요청을 활용한 데이터 수집 실습을 다뤄보겠습니다.
requests 패키지 소개 및 설치
requests 패키지는 파이썬에서 매우 간편하게 HTTP 요청을 보낼 수 있도록 돕는 패키지입니다.
주로 아래와 같이 데이터를 수집하기 위한 GET 요청, 데이터를 전송하기 위한 POST 요청을 보내기 위해 사용합니다.
1. GET 요청으로 데이터 수집하기
GET 요청을 특정 웹 페이지의 HTML을 가져 올 수 있습니다.
아래 코드는 GET 요청을 사용해 웹 페이지의 HTML을 가져오는 간단한 예시입니다.
GET 요청으로 웹 페이지 HTML 가져오기
import requests
# 요청할 URL
url = 'https://www.example.com'
# GET 요청 보내기
response = requests.get(url)
# 서버 응답 확인
if response.status_code == 200:
# HTML 내용 출력
print(response.text)
else:
print(f"Failed to retrieve data: {response.status_code}")
위 코드에서는 requests.get()
함수를 사용해 지정한 URL의 데이터를 가져옵니다.
이후 response.text
를 통해 서버로부터 받은 HTML을 출력합니다.
2. POST 요청으로 데이터 전송하기
POST 요청은 서버에 데이터를 보낼 때 사용됩니다.
예를 들어, 로그인 정보를 서버에 제출하거나, 양식을 통해 데이터를 전송할 때 주로 사용됩니다.
아래 코드는 POST 요청을 사용해 데이터를 서버로 전송하는 간단한 예시입니다.
POST 요청으로 데이터 전송하기
import requests
# 요청할 URL
url = 'https://www.example.com/login'
# 전송할 데이터
data = {
'username': 'your_username',
'password': 'your_password'
}
# POST 요청 보내기
response = requests.post(url, data=data)
# 서버 응답 확인
if response.status_code == 200:
print("Login successful!")
print(response.text)
else:
print(f"Failed to login: {response.status_code}")
이 코드에서는 requests.post()
함수를 사용해 서버에 로그인 데이터를 전송합니다.
전송이 성공하면 서버로부터의 응답을 확인할 수 있습니다.
다음 내용이 궁금하다면?
코드프렌즈 PLUS 멤버십 가입 or 강의를 등록해 주세요!