베트남에서 개발자 하려고 아둥바둥

i mport datetime import time import os 첫번째 방법 (yyddmm로 저장됨) def get_today(): s = datetime.date.today().strftime('%y%m%d') return s 두번째 방법 (yyyyddmm로 저장됨) def get_today(): now = time.localtime() s = "%02d%02d%02d" % (now.tm_year,now.tm_mon,now.tm_mday) return s def make_folder(folder_name): if not os.path.isdir(folder_name): os.mkdir(folder_name) root_dir = "/Users/JaeSung/Desktop/파이썬_크롤리..

백엔드/파이썬 2023. 4. 4. 18:23

자료를 오름차순 정리하는 방법에 대해 구글링을 하면 sort가 가장많이 나온다 그런데 나는 int형을 했음에도 sort가 제대로 작동하지 않는 문제가 나타났고 좀더 구글링 해보니 sorted(변수) 형태를 찾아서 해결했다 참고간 된 고마운 분의 티스토리 https://minorman.tistory.com/16

백엔드/파이썬 2023. 3. 29. 16:56

보통 json.loads로 가져온 자료는 전부 dict형태라서 그 다음은 변수값을 잘 찾기만 하면 되는 과정이었는데 이번에 발견한 post 형태의 페이지는 그 기대를 무너뜨렸다 url ="https://allthat.be.aws.shinhancard.com/fo/dsp/00100/althr0009" payload = { "althSrmN": 429, "althPreviewYn": "N", "althCusN": "", "topsYn": "", "sffYn": "", } req = requests.post(url, json=payload) data = json.loads(req.text) #data의 type은 dict 이지만 message_onData =data["message"] #message_onDa..

백엔드/파이썬 2023. 3. 29. 16:52

Max retries exceeded with url Caused by NewConnectionError 아래와 같이 스크린샷 캡처를 위한 파이썬 코드를 작성했을 경우 해결되지 않는 오류를 만났다. 이거 해결한다고 이틀을 소모했다. 문제였던 코드 driver = webdriver.Chrome(service=service, options=options) #계속 이걸 밖에 작성해둔 상태였음 if req.status_code == 200: html = req.text soup = BeautifulSoup(html, "html.parser") url_arr = [] url_list = soup.select(".benefitBanner") for i in url_list: card_url = i.select_on..

백엔드/파이썬 2023. 3. 22. 12:12

하이마트에서 해당하는 페이지를 들어간 후 개발자도구를 키면 XHR 를 통해 http://www.e-himart.co.kr/app/event/eventPagingAjax  페이지를 찾을 수 있었다. 중요한건 그 다음인데 단순히 화면에 보이는 부분은 내가 찾는 href링크가 보여지지 않는다 오른편 [소스 보기] 이 부분을 볼줄 알아야 한다 클릭해서 보여지는 주소를 기억해야 한다 해당 주소를 post를 사용해서 파싱한다 (get 메서드가 아님)

백엔드/파이썬 2023. 3. 13. 15:21

import requests from bs4 import BeautifulSoup url = 'https://movie.naver.com/movie/bi/mi/basic.nhn?code=171539' headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get(url,headers=headers) soup = BeautifulSoup(data.text, 'html.parser') # 여기에 코딩을 해서 meta tag를 먼저 가져와보겠습니다. # 이 방법대로 하면 안나옴 # t..

백엔드/파이썬 2023. 2. 24. 18:01

크롤링을 하다보면 화면에는 보이지 않더라도 페이지 소스 에는 display:block을 사용해서 안보이도록 작성된 태그가 있다 이럴때 조건을 정하는 방법이다 첫번째 방법 :같이 스터디 하시는 분께서 힌트를 주셔서 알아낸 방법 ### no_result = driver1.find_element(By.CSS_SELECTOR,"#_noresult") ### lists_interPark = driver1.find_element(By.CSS_SELECTOR,"#_SHOPListLi") items_interPark = lists_interPark.find_elements(By.CSS_SELECTOR, ".goods") link_arr_interPark = [] if no_result.is_displayed(): pr..

백엔드/파이썬 2023. 2. 15. 13:08

셀레니움 사용시 XPATH 와 LINK_TEXT 사용법 차이 (+ PARTIAL_LINK_TEXT) #(1) XPATH 사용 driver.find_element(By.XPATH,'//*[@text="VIEW"]').click() #(2) LINK_TEXT 사용 driver.find_element(By.LINK_TEXT,"VIEW").click() #(3) PARTIAL_LINK_TEXT 사용 driver.find_element(By.PARTIAL_LINK_TEXT, "인플루").click() 1,2둘다 코드 길이는 큰 차이가 없음 검색의 결과도 동일함 차이점은 클릭이 가능한 텍스트의 경우에만 LINK_TEXT로 크롤링이 가능함 클릭 되지 않는 텍스트 부분을 찾아야 하는 경우 XPATH를 통해 찾을수 있음..

백엔드/파이썬 2023. 2. 8. 15:55