본문 바로가기

전체 글732

멘붕후 마음 추스림 백엔드 엔지니어 vs 데이터 엔지니어 지난주엔 멘붕이 왔었다. 그도 그럴것이 그동안 외면해왔던 부분에 대해서 좀 더 깊게 생각해보는 시간이 나에게 다가왔기 때문이다. 백엔드 엔지니어냐, 데이터 엔지니어냐. 무엇으로 커리어를 시작해야하나. 이것은 사실 커다란 문제다. 그도 그럴것이 백엔드 엔지니어 직무를 검색하면 90%이상의 요구조건에서 java, spring은 어렵지 않게 찾아볼수가 있었다. 어렵지않다는 표현도 어울리지 않는다. 대부분의 스킬에 그렇게 명시가 되어있었다. 한편으로는 '하면되지'라는 생각도 있었지만 한편으로는 혼란스러웠다. 데이터 엔지니어를 검색했을때 요구조건은 python, sql 까지는 문제가 없다. 한달정도면 그래도 신입기준으론 충분히 준비될것같다. 하지만 문제는 hadoop, spark등을 이용한 데이터 파이프라인 구축.. 2022. 9. 27.
BeaurifulSoup - 쿼리스트링으로 환율정보 가져오기 아..... 다시금 하면서 두가지 생각이 들었다. 진짜 나한텐 중요한 내용인데, 그리고 나에게만이 아니라 저 원리적인건 정말 중요한건데 왜이렇게 설명을 깨작해주시지 딥하게좀 해주시지.. 약간은 지겨울때가 될 정도로 한편으로는 이 부분을 재탕하는 것에 대해서 스킵할까도 생각했으나, 하려면 할수있겠다. 하지만 완벽히는 못하겠다. 더욱이 시스템화를 하려면 완벽히 소화를 해야할텐데, 그런부분들이 아쉬워서 다시 하려고 한다. 어떤 데이터 사이언티스트 분에게 질문했을때 beautifulsoup를 써본적도 없고 파싱도 해본적이 없다는 답변을 받았다. 때문에 나는 이게 필요없는 스킬인가? 라는 생각이 들기도 했지만 본능적으로 이게 정말 중요한 스킬임을 알았기에 그 부분은 무시했다. 시간이 몇달 지나고, 데이터 엔지니어.. 2022. 9. 23.
*매우매우중요 Python - 정규표현식 활용으로 환율정보 가져오기 (미친듯이 중요) # 매우매우 중요 * 정규표현식 # 파트4 - 챕터 2-12 from xml.dom.xmlbuilder import DocumentLS import requests as req import re url = 'https://finance.naver.com/marketindex/' res = req.get(url) body = res.text # match # search # findall # 이 3가지 모두 사용 가능 # 정규표현식을 준비시킨다. # .*?의 의미는 아무 문자나 / 0개이상 가져와 / 그 중에서 가장 좁은 범위를 가져와 # r = re.compile(r"미국 USD.*?value\">(.*?)(.*?)(.*?) 2022. 9. 23.
*매우중요 Python - 정규표현식(regex) 예시와 함께 1 # 기본 정규표현식 예제 import re # regular expression # regex s = 'hi' # 여기서 써주는 r 이 '이제 정규식을 들어간다. 라는 의미다. print(re.match(r'hi',s)) # # 결과값으로 이렇게 나온다. span () 안에 있는 숫자는 어디서 부터 어디까지 일치한다. 라는 의미 # 그 다음에 나온 match = 에 나오는 것은 '무엇이 일치되었다'를 리턴해주는 것 # 만약 print(re.match(r'hey',s))로 바꾸게 되면 none 이라는 값이 리턴된다. # 즉, re.match는 일부분의 일치를 탐색하는 것이 아니라, 최소한에 r 다음에 나오는 것이 , 다음에 나오는 값에 # 모두 들어 있어야 하는 것 같다. # 정규표현식 설명 - * imp.. 2022. 9. 23.

티스토리툴바