콘솔워크

[나도코딩 웹스크래핑] User-Agent 본문

프로그래밍/python

[나도코딩 웹스크래핑] User-Agent

콘솔워크 2021. 1. 12. 23:29
반응형
# useragent 가져오는 사이트 주소
# https://www.whatismybrowser.com/detect/what-is-my-user-agent

import requests
url = "https://uipath.tistory.com"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"}

res = requests.get(url, headers=headers)
res.raise_for_status()
print(len(res.text))

with open("uipath.tistory.html", "w", encoding="utf8") as f:
    f.write(res.text)

requests할 때 headers 부분에 User-Agent 부분을 삽입하면

User-Agent를 통해서 내가 크롬 브라우저에서 request 한 것과 같은 효과를 누릴 수 있다.

반응형
저작자표시 비영리 변경금지

'프로그래밍 > python' 카테고리의 다른 글

[Python dataframe] Union and Union ALL  (0) 2021.01.15
[Python dataframe] 값이 없는 데이터 filtering notnull  (0) 2021.01.12
[Python dataframe] 특정컬럼의 특정 값 변경 (replace)  (0) 2021.01.12
[나도코딩 웹스크래핑] Python Requests  (0) 2021.01.12
Python 정규식 기초  (0) 2021.01.12
'프로그래밍/python' Related Articles more