베트남에서 개발자 하려고 아둥바둥

i mport datetime import time import os 첫번째 방법 (yyddmm로 저장됨) def get_today(): s = datetime.date.today().strftime('%y%m%d') return s 두번째 방법 (yyyyddmm로 저장됨) def get_today(): now = time.localtime() s = "%02d%02d%02d" % (now.tm_year,now.tm_mon,now.tm_mday) return s def make_folder(folder_name): if not os.path.isdir(folder_name): os.mkdir(folder_name) root_dir = "/Users/JaeSung/Desktop/파이썬_크롤리..

백엔드/파이썬 2023. 4. 4. 18:23

팀내 프로젝트에서 셀레니움을 배제하기로 결정된 상황에서 도저히 다른 방법을 못찾고 있었는데 헤드리스가 디폴트인 모듈을 찾았다. import requests from bs4 import BeautifulSoup import time import sys sys.path.append("/Users/JaeSung/.pyenv/versions/3.9.4/lib/python3.9/site-packages") from playwright.sync_api import sync_playwright #(1) window_headers = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) ..

백엔드/파이썬 2023. 3. 30. 15:17

자료를 오름차순 정리하는 방법에 대해 구글링을 하면 sort가 가장많이 나온다 그런데 나는 int형을 했음에도 sort가 제대로 작동하지 않는 문제가 나타났고 좀더 구글링 해보니 sorted(변수) 형태를 찾아서 해결했다 참고간 된 고마운 분의 티스토리 https://minorman.tistory.com/16

백엔드/파이썬 2023. 3. 29. 16:56

보통 json.loads로 가져온 자료는 전부 dict형태라서 그 다음은 변수값을 잘 찾기만 하면 되는 과정이었는데 이번에 발견한 post 형태의 페이지는 그 기대를 무너뜨렸다 url ="https://allthat.be.aws.shinhancard.com/fo/dsp/00100/althr0009" payload = { "althSrmN": 429, "althPreviewYn": "N", "althCusN": "", "topsYn": "", "sffYn": "", } req = requests.post(url, json=payload) data = json.loads(req.text) #data의 type은 dict 이지만 message_onData =data["message"] #message_onDa..

백엔드/파이썬 2023. 3. 29. 16:52

Max retries exceeded with url Caused by NewConnectionError 아래와 같이 스크린샷 캡처를 위한 파이썬 코드를 작성했을 경우 해결되지 않는 오류를 만났다. 이거 해결한다고 이틀을 소모했다. 문제였던 코드 driver = webdriver.Chrome(service=service, options=options) #계속 이걸 밖에 작성해둔 상태였음 if req.status_code == 200: html = req.text soup = BeautifulSoup(html, "html.parser") url_arr = [] url_list = soup.select(".benefitBanner") for i in url_list: card_url = i.select_on..

백엔드/파이썬 2023. 3. 22. 12:12

하이마트에서 해당하는 페이지를 들어간 후 개발자도구를 키면 XHR 를 통해 http://www.e-himart.co.kr/app/event/eventPagingAjax  페이지를 찾을 수 있었다. 중요한건 그 다음인데 단순히 화면에 보이는 부분은 내가 찾는 href링크가 보여지지 않는다 오른편 [소스 보기] 이 부분을 볼줄 알아야 한다 클릭해서 보여지는 주소를 기억해야 한다 해당 주소를 post를 사용해서 파싱한다 (get 메서드가 아님)

백엔드/파이썬 2023. 3. 13. 15:21

해당 내용은 유튜브 노마드 코더를 읽고 영상 내용을 글로 적어둔 것임 https://youtu.be/tosLBcAX1vk 노마드 코더 1. 쿠키 그냥 옮기는 시스템.매개체 서버는 쿠키를 이용해서 유저의 브라우저에 데이터를 넣을 수 있음 사이트 방문하면 브라우저는 서버에 요청(Request)을 보냄 서버가 응답하는 과정(Response)에서 유저가 찾는 페이지 정보 + 추가로 쿠키를 유저의 브라우저에 저장하게 함 다음에 유저가 해당 사이트를 재방문하면 요청(Request)마다 쿠키를 함께 서버로 보낼 것임 쿠키는 도메인에 따라 제한됨 (유튜브가 준 쿠키는 유튜브 요청에만 보내짐) 쿠키는 유효기간이 있음 ( 하루 / 한달 등 .. 서버가 정한 기간에 따라 다름) 쿠키가 저장할 수 있는 것 - 인증 - 웹사이..

백엔드/파이썬 2023. 2. 27. 16:22

import requests from bs4 import BeautifulSoup url = 'https://movie.naver.com/movie/bi/mi/basic.nhn?code=171539' headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get(url,headers=headers) soup = BeautifulSoup(data.text, 'html.parser') # 여기에 코딩을 해서 meta tag를 먼저 가져와보겠습니다. # 이 방법대로 하면 안나옴 # t..

백엔드/파이썬 2023. 2. 24. 18:01