베트남에서 개발자 하려고 아둥바둥

멜론 사이트를 활용한 실시간 차트 100개 크롤링 하기 list_50=soup.select(".lst50") list_100=soup.select(".lst100") list_all=list_50+list_100 for rank,i in enumerate(list_all,1): title= i.select_one(".ellipsis.rank01") print(f"{rank}{title.text}") print() 상기와 같이 enumerate까지 활용하면 순위까지 표시가능함 결과는 하기와 같다 거슬리는 부분이 줄바꿈을 입력하지 않았음에도 위와 같이 표시된다. 그 이유는 title의 텍스트가 작성된 태그 위치가 div(class= ellipsis rank01) > span > a 태그에 위치 즉 자손 태그..

백엔드/파이썬 2023. 2. 1. 20:26

bs4를 사용해서 바로 크롤링 하는경우. sample_naver= requests.get(address) naver_html = sample_naver.text soup = BeautifulSoup(naver_html, "html.parser") naver_logo= soup.select_one(".logo_naver").text print(sample_naver.request.headers) 위와 같이 ***.request.headers로 확인해보면 User Agent가 파이썬 정보를 그대로 표시한다 만약 크롤링하고자 하는 웹사이트에서 크롤링을 막아둔 상태라면? 문제가 생긴 이유 중 1개는 위와 같은 User Agent 이름 때문일 수 있다. (다른 많은 가능성이 존재하므로 1개라고 적음) 이를 미리 ..

백엔드/파이썬 2023. 1. 31. 16:05