베트남에서 개발자 하려고 아둥바둥

크롤링을 하다보면 화면에는 보이지 않더라도 페이지 소스 에는 display:block을 사용해서 안보이도록 작성된 태그가 있다 이럴때 조건을 정하는 방법이다 첫번째 방법 :같이 스터디 하시는 분께서 힌트를 주셔서 알아낸 방법 ### no_result = driver1.find_element(By.CSS_SELECTOR,"#_noresult") ### lists_interPark = driver1.find_element(By.CSS_SELECTOR,"#_SHOPListLi") items_interPark = lists_interPark.find_elements(By.CSS_SELECTOR, ".goods") link_arr_interPark = [] if no_result.is_displayed(): pr..

백엔드/파이썬 2023. 2. 15. 13:08

셀레니움 사용시 XPATH 와 LINK_TEXT 사용법 차이 (+ PARTIAL_LINK_TEXT) #(1) XPATH 사용 driver.find_element(By.XPATH,'//*[@text="VIEW"]').click() #(2) LINK_TEXT 사용 driver.find_element(By.LINK_TEXT,"VIEW").click() #(3) PARTIAL_LINK_TEXT 사용 driver.find_element(By.PARTIAL_LINK_TEXT, "인플루").click() 1,2둘다 코드 길이는 큰 차이가 없음 검색의 결과도 동일함 차이점은 클릭이 가능한 텍스트의 경우에만 LINK_TEXT로 크롤링이 가능함 클릭 되지 않는 텍스트 부분을 찾아야 하는 경우 XPATH를 통해 찾을수 있음..

백엔드/파이썬 2023. 2. 8. 15:55

크롤링 할 때 웹페이지를 스크롤 다운해야 하는 경우가 생긴다 이럴때 자바스크립트 메소드를 활용하면 된다 Scroll To driver.execute_script("window.scrollTo(0, Y)") 여기서 Y는 스크롤 높이(height)를 입력하면 된다 페이지 끝까지 가려면 document.body.scrollHeight를 사용함 for i in range(5): driver.execute_script("window.scrollTo(0,document.body.scrollHeight)") time.sleep(2) 상기와 같이 반복문을 활용하면 페이지 끝까지 스크롤 하는 작업을 5번 반복하여 데이터를 가져온다

백엔드/파이썬 2023. 2. 6. 12:16

크롬 드라이버 버전이 자주 업데이트 되는데 이를 내 컴퓨터에 매번 적용하는것이 번거롭다 이를 위해 자동업데이트가 될 수 있도록 VSC에 코드를 입력해보자 *전제 조건은 크롬 드라이버 첫 설치는 꼭 직접 1회를 하고 난 뒤어야 한다 먼저 터미널에 하기와 같이 입력 pip install webdriver-manager 설칙가 완료되면 from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager import time service = Service(ChromeDriverManager().install()) driver ..

백엔드/파이썬 2023. 2. 6. 11:44

list 의 형식은 보통 하기와 같다 list = [ 1,2,3,4 ] list를 원하는 형식으로 재가공할때 list comprehension를 사용하면 코드가 간결해진다 1. 기본 구조: 표현식 2. 표현식 + for문 + 조건문 3. 조건문 + for문 4. 중첩 for문 5. 중첩 List Comprehension 1. 기본 구조 : 표현식 + for문 1. 리스트에서 변수 하나씩 가져오기 2. 변수에 대한 표현식 계산 3. 새로운 리스트에 저장 4. result 에 리턴 array = [ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9 ] # array의 제곱값을 구하는 리스트 result = [ n*n for n in array ] # [0, 1, 4, 9, 16, 25, 36, 49, 64..

백엔드/파이썬 2023. 2. 2. 15:40

멜론 사이트를 활용한 실시간 차트 100개 크롤링 하기 list_50=soup.select(".lst50") list_100=soup.select(".lst100") list_all=list_50+list_100 for rank,i in enumerate(list_all,1): title= i.select_one(".ellipsis.rank01") print(f"{rank}{title.text}") print() 상기와 같이 enumerate까지 활용하면 순위까지 표시가능함 결과는 하기와 같다 거슬리는 부분이 줄바꿈을 입력하지 않았음에도 위와 같이 표시된다. 그 이유는 title의 텍스트가 작성된 태그 위치가 div(class= ellipsis rank01) > span > a 태그에 위치 즉 자손 태그..

백엔드/파이썬 2023. 2. 1. 20:26

bs4를 활용한 웹 크롤링에서 html 의 클래스를 활용할 수 있다. titles = soup.select(".api_txt_lines.total_tit") 위와 같이 쓰면 검색시에 나온 제목의 class 명을 가져온 것이다. 만약 여러개의 class를 가져와야 될 경우에는 titles = soup.select(".api_txt_lines.total_tit") names = soup.select(".sub_txt.sub_name") for result in zip(names,titles): print(type(result)) print(result[0].text) print(result[1].text) print(result[1]['href']) print() 위처럼 zip 함수를 활용할 수 있다. zi..

백엔드/파이썬 2023. 1. 31. 19:56

bs4를 사용해서 바로 크롤링 하는경우. sample_naver= requests.get(address) naver_html = sample_naver.text soup = BeautifulSoup(naver_html, "html.parser") naver_logo= soup.select_one(".logo_naver").text print(sample_naver.request.headers) 위와 같이 ***.request.headers로 확인해보면 User Agent가 파이썬 정보를 그대로 표시한다 만약 크롤링하고자 하는 웹사이트에서 크롤링을 막아둔 상태라면? 문제가 생긴 이유 중 1개는 위와 같은 User Agent 이름 때문일 수 있다. (다른 많은 가능성이 존재하므로 1개라고 적음) 이를 미리 ..

백엔드/파이썬 2023. 1. 31. 16:05