베트남에서 개발자 하려고 아둥바둥

셀레니움 사용시 XPATH 와 LINK_TEXT 사용법 차이 (+ PARTIAL_LINK_TEXT) #(1) XPATH 사용 driver.find_element(By.XPATH,'//*[@text="VIEW"]').click() #(2) LINK_TEXT 사용 driver.find_element(By.LINK_TEXT,"VIEW").click() #(3) PARTIAL_LINK_TEXT 사용 driver.find_element(By.PARTIAL_LINK_TEXT, "인플루").click() 1,2둘다 코드 길이는 큰 차이가 없음 검색의 결과도 동일함 차이점은 클릭이 가능한 텍스트의 경우에만 LINK_TEXT로 크롤링이 가능함 클릭 되지 않는 텍스트 부분을 찾아야 하는 경우 XPATH를 통해 찾을수 있음..

백엔드/파이썬 2023. 2. 8. 15:55

멜론 사이트를 활용한 실시간 차트 100개 크롤링 하기 list_50=soup.select(".lst50") list_100=soup.select(".lst100") list_all=list_50+list_100 for rank,i in enumerate(list_all,1): title= i.select_one(".ellipsis.rank01") print(f"{rank}{title.text}") print() 상기와 같이 enumerate까지 활용하면 순위까지 표시가능함 결과는 하기와 같다 거슬리는 부분이 줄바꿈을 입력하지 않았음에도 위와 같이 표시된다. 그 이유는 title의 텍스트가 작성된 태그 위치가 div(class= ellipsis rank01) > span > a 태그에 위치 즉 자손 태그..

백엔드/파이썬 2023. 2. 1. 20:26

bs4를 사용해서 바로 크롤링 하는경우. sample_naver= requests.get(address) naver_html = sample_naver.text soup = BeautifulSoup(naver_html, "html.parser") naver_logo= soup.select_one(".logo_naver").text print(sample_naver.request.headers) 위와 같이 ***.request.headers로 확인해보면 User Agent가 파이썬 정보를 그대로 표시한다 만약 크롤링하고자 하는 웹사이트에서 크롤링을 막아둔 상태라면? 문제가 생긴 이유 중 1개는 위와 같은 User Agent 이름 때문일 수 있다. (다른 많은 가능성이 존재하므로 1개라고 적음) 이를 미리 ..

백엔드/파이썬 2023. 1. 31. 16:05