베트남에서 개발자 하려고 아둥바둥

보통 json.loads로 가져온 자료는 전부 dict형태라서 그 다음은 변수값을 잘 찾기만 하면 되는 과정이었는데 이번에 발견한 post 형태의 페이지는 그 기대를 무너뜨렸다 url ="https://allthat.be.aws.shinhancard.com/fo/dsp/00100/althr0009" payload = { "althSrmN": 429, "althPreviewYn": "N", "althCusN": "", "topsYn": "", "sffYn": "", } req = requests.post(url, json=payload) data = json.loads(req.text) #data의 type은 dict 이지만 message_onData =data["message"] #message_onDa..

백엔드/파이썬 2023. 3. 29. 16:52

하이마트에서 해당하는 페이지를 들어간 후 개발자도구를 키면 XHR 를 통해 http://www.e-himart.co.kr/app/event/eventPagingAjax  페이지를 찾을 수 있었다. 중요한건 그 다음인데 단순히 화면에 보이는 부분은 내가 찾는 href링크가 보여지지 않는다 오른편 [소스 보기] 이 부분을 볼줄 알아야 한다 클릭해서 보여지는 주소를 기억해야 한다 해당 주소를 post를 사용해서 파싱한다 (get 메서드가 아님)

백엔드/파이썬 2023. 3. 13. 15:21

import requests from bs4 import BeautifulSoup url = 'https://movie.naver.com/movie/bi/mi/basic.nhn?code=171539' headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get(url,headers=headers) soup = BeautifulSoup(data.text, 'html.parser') # 여기에 코딩을 해서 meta tag를 먼저 가져와보겠습니다. # 이 방법대로 하면 안나옴 # t..

백엔드/파이썬 2023. 2. 24. 18:01

크롤링을 하다보면 화면에는 보이지 않더라도 페이지 소스 에는 display:block을 사용해서 안보이도록 작성된 태그가 있다 이럴때 조건을 정하는 방법이다 첫번째 방법 :같이 스터디 하시는 분께서 힌트를 주셔서 알아낸 방법 ### no_result = driver1.find_element(By.CSS_SELECTOR,"#_noresult") ### lists_interPark = driver1.find_element(By.CSS_SELECTOR,"#_SHOPListLi") items_interPark = lists_interPark.find_elements(By.CSS_SELECTOR, ".goods") link_arr_interPark = [] if no_result.is_displayed(): pr..

백엔드/파이썬 2023. 2. 15. 13:08

셀레니움 사용시 XPATH 와 LINK_TEXT 사용법 차이 (+ PARTIAL_LINK_TEXT) #(1) XPATH 사용 driver.find_element(By.XPATH,'//*[@text="VIEW"]').click() #(2) LINK_TEXT 사용 driver.find_element(By.LINK_TEXT,"VIEW").click() #(3) PARTIAL_LINK_TEXT 사용 driver.find_element(By.PARTIAL_LINK_TEXT, "인플루").click() 1,2둘다 코드 길이는 큰 차이가 없음 검색의 결과도 동일함 차이점은 클릭이 가능한 텍스트의 경우에만 LINK_TEXT로 크롤링이 가능함 클릭 되지 않는 텍스트 부분을 찾아야 하는 경우 XPATH를 통해 찾을수 있음..

백엔드/파이썬 2023. 2. 8. 15:55

이제 프로젝트 수주가 확정됨. 2월부터 시작되며 내가 맡은 업무는 파이썬을 활용한 웹 크롤링. 그동안 확정되기 전까지 자스 50% 파이썬50%으로 배분했던 공부량을 파이썬 90%로 바꿔야 한다. 그동안 노마드코더와 함께 같이 파이썬 공부를 위해 활용한 [프로그래머 김플 스튜디오]님께서 마침 새로운 강의를 인프런에 만들어 주심 ㅠ 김플님 강의 스타일이 나랑 맞는 점 1. 녹음 목소리가 깨끗함: 추가로 보이스톤이 너무 차분함. 차분하다는 뜻이 자칫하면 졸음이 오거나 지루해 질 수 있는데 이분의 유튜브 강의는 딱 선명하게 집중되는 톤이다 2. 강의 내용이 산으로(?) 가지 않음: 산으로 간다는 표현은 배울게 너무 많아진다는 뜻이다. 다른 유튜버 / 인프런 강의를 수강하면 수업 막바지로 향할 수록 내가 가진 지..

백엔드/파이썬 2023. 1. 30. 17:46