웹크롤링2 BeaurifulSoup - 쿼리스트링으로 환율정보 가져오기 아..... 다시금 하면서 두가지 생각이 들었다. 진짜 나한텐 중요한 내용인데, 그리고 나에게만이 아니라 저 원리적인건 정말 중요한건데 왜이렇게 설명을 깨작해주시지 딥하게좀 해주시지.. 약간은 지겨울때가 될 정도로 한편으로는 이 부분을 재탕하는 것에 대해서 스킵할까도 생각했으나, 하려면 할수있겠다. 하지만 완벽히는 못하겠다. 더욱이 시스템화를 하려면 완벽히 소화를 해야할텐데, 그런부분들이 아쉬워서 다시 하려고 한다. 어떤 데이터 사이언티스트 분에게 질문했을때 beautifulsoup를 써본적도 없고 파싱도 해본적이 없다는 답변을 받았다. 때문에 나는 이게 필요없는 스킬인가? 라는 생각이 들기도 했지만 본능적으로 이게 정말 중요한 스킬임을 알았기에 그 부분은 무시했다. 시간이 몇달 지나고, 데이터 엔지니어.. 2022. 9. 23. Python 라이브러리를 통해 오피넷 데이터 스크래핑 후 엑셀저장 그러고보면 이번 데이터를 수집하는거 자체만으로, 이전에는 넘사벽이였던 것같던데 가능해진게 믿기질 않는다. 미리 말하자면 데이터에 결측치는 있는것같다. 3번 반복문 돌려봤는데, 1,2개정도는 길이값에서 차이가 나더라. 그리고 이번 데이터 수집을 통해서도 스스로의 과제를 발견했다. 1. 결측치 없이 데이터 스크래핑이 가능한가? 2. 보다 반복문을 간결하게 만들기 위해서 내가 원하는 전체 데이터를 감싸고 있는 태그를 추출하고, 그것을 활용하는 방법을 익히자. 특히!! selenium 영역의 메인태그 설정 후 서브 태그로 이어지는 건 뭔가 작동이 안되더라; 기능은 있을거고 내가 방법을 모르는 것일테니 이부분을 중점적으로 공부해보자. # Oil Data from selenium import webdriver fr.. 2022. 7. 21. 이전 1 다음