파이썬27 [Python] 크롤링 (한솥도시락 메뉴 수집해보기) from selenium import webdriver as wb from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys In [1]: # 1. 브라우저를 실행하고 한솥사이트로 이동 driver = wb.Chrome() driver.get("https://www.hsd.co.kr/menu/menu_list") In [2]: # 2. 상품이름 수집 title = driver.find_elements(By.CSS_SELECTOR, ".h.fz_03") for i in title : print(i.text) In [3]: # 3. 상품가격 수집 price = driver.find_elements(By... 2023. 9. 1. [Python] 크롤링 쇼핑몰 리뷰 수집하기 바디럽 쇼핑몰의 상품 리뷰 모아보기 # 페이지를 요청하기 위한 용도 import requests as req # html 데이터를 만들기위한 용도 from bs4 import BeautifulSoup as bs In [2]: url='https://bodyluv.kr/product/%EB%B0%94%EB%94%94%EB%9F%BD-%EB%94%A5%EC%8A%AC%EB%A6%BD-%EC%BF%A8-%EC%9D%B4%EB%B6%88-v2-%EC%95%88%ED%8B%B0%EB%B2%84%EA%B7%B8/437/category/1/display/2/#prdReview' h = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.3.. 2023. 8. 30. [Python] 크롤링 Request 사용법 (멜론, 뉴스 제목 데이터 수집) # req -> 파이썬에서 브라우저의 역할을 대신해줌 import requests as req In [3]: # 1. req를 통해서 네이버 페이지 정보를 요청 # 2. response -> 응답코드를 넘겨받는다. # 200, 300 -> '통신에 성공했습니다.' # 400 -> 클라이언트 요청의 문제가 있다. # 500 -> 서버의 문제가 있다 res = req.get("http://www.naver.com") In [4]: a = res.text 멜론사이트를 요청 In [5]: # 응답코드 406은 요청의 문제가 있다 # 멜론 서버에서 들어온 요청이 브라우저가 아닌 컴퓨터임을 인지 # 사람인척 속이면 된다 (개발자 모드 -> 네트워크 -> 헤더) req.get("https://www.melon.com.. 2023. 8. 28. 이전 1 ··· 4 5 6 7 다음
