Study/Python28 [Python] Selenium 기초 조작법 Selenium 라이브러리 브라우저를 자동제어하여 크롤링을 자동화 시키는 라이브러리 동적크롤링을 진행할 때 사용 반드시 한 번 설치가 필요 In [7]: # 라이브러리 설치 !pip install selenium In [8]: # 셀레니움 최신버전 업데이트 !pip install -U selenium In [9]: # 브라우저의 역할을 해주는 라이브러리 from selenium import webdriver as wb # 컴퓨터용 키보드 from selenium.webdriver.common.keys import Keys # 선택자의 구분자 역할을 해주는 라이브러리 from selenium.webdriver.common.by import By In [10]: # 1. 크롬창을 실행 driver = wb... 2023. 8. 31. [Python] 크롤링 쇼핑몰 리뷰 수집하기 바디럽 쇼핑몰의 상품 리뷰 모아보기 # 페이지를 요청하기 위한 용도 import requests as req # html 데이터를 만들기위한 용도 from bs4 import BeautifulSoup as bs In [2]: url='https://bodyluv.kr/product/%EB%B0%94%EB%94%94%EB%9F%BD-%EB%94%A5%EC%8A%AC%EB%A6%BD-%EC%BF%A8-%EC%9D%B4%EB%B6%88-v2-%EC%95%88%ED%8B%B0%EB%B2%84%EA%B7%B8/437/category/1/display/2/#prdReview' h = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.3.. 2023. 8. 30. [Python] 크롤링 멜론차트 데이터 수집 import requests as req from bs4 import BeautifulSoup as bs In [2]: # 1. req를 통해서 멜론차트 정보를 요청(클라이언트(사용자)) # - 서버(웹페이지): 요청받은 값에 대한 정보를 클라이언트에게 제공 # 이미지, 동영상, 글자, 화면 / html 문서로 넘어옴 # python의 requests가 하는 건 중간에 넘어오고 있는 html문서 가져오기 head = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36'} res = req.get("https://www.melon.c.. 2023. 8. 29. [Python] 크롤링 Request 사용법 (멜론, 뉴스 제목 데이터 수집) # req -> 파이썬에서 브라우저의 역할을 대신해줌 import requests as req In [3]: # 1. req를 통해서 네이버 페이지 정보를 요청 # 2. response -> 응답코드를 넘겨받는다. # 200, 300 -> '통신에 성공했습니다.' # 400 -> 클라이언트 요청의 문제가 있다. # 500 -> 서버의 문제가 있다 res = req.get("http://www.naver.com") In [4]: a = res.text 멜론사이트를 요청 In [5]: # 응답코드 406은 요청의 문제가 있다 # 멜론 서버에서 들어온 요청이 브라우저가 아닌 컴퓨터임을 인지 # 사람인척 속이면 된다 (개발자 모드 -> 네트워크 -> 헤더) req.get("https://www.melon.com.. 2023. 8. 28. 이전 1 ··· 4 5 6 7 다음
