본문 바로가기

전체 글732

selenium 오일 데이터 스크래핑 후 시각화 1 (판다스 데이터프레임까지) 오일 정보 스크래핑은 정말 애먹었었고, 한달전쯤 봤을땐 어떻게 해야할지 감도 안오던 때가 있었다. 그래서 유데미의 selenium 강의를 추가로 들었었고, 그때 적당히 쌓인 기초에, 최근에 제로베이스 해설강의 까지 들으면서 "최소한"의 이해가 되었다. 고 판단되었다. 너무 뿌듯하다. 코드와 과정이 참 길다. 그리고 그대로 따라쓰기엔 불편한 코드도 많을테지만, 공부에 참고를 위해서 주석처리등 부분을 그대로 둔다. 답안코드에서 참고한 사항은 두가지다. 첫번째. 자꾸 index out of range 에러가 나길래 이 부분에 대해서만 배꼈고, 이 부분에 대한 이해는 아직 충분하지 않다. 좀 더 생각해봐야겠다. 두번째. 위도값, 경도값을 googlemaps 에 주소를 입력하여 얻어내는 과정을 거치는걸 모르겠어서.. 2022. 7. 6.
제로베이스 오일 크롤링 중 휴.. SQL 마지막 작업하다가, 계속 oil 스크래핑 자료로 활용하는게 나오는것같길래 어차피 짚고 넘어가야하는 문제였기도 해서 겸사겸사 oil에 손을 대기 시작했다. 시작부터 엄청난 난관이였다. 근데 엄청나다고 하기엔, 이제는 몇가지 안풀린 핵심적인 것들만 가닥을 잡으면 되는 부분들이였다. 코드를 해설해주시는것도 따라하는 것도 순탄치는 않았지만 재밌었다. 그도 그럴것이, 강사님이 찍은날자는 거의 10개월전쯤에서 반년전쯤에 찍은것같은데 그 사이에도 구현하는게 라이브러리 내용이 바뀌고, 스크래핑을 이용하는 사이트가 변하는 등의 요인으로 인해서 결코 같지 않았다. 따라하는데만 거의 8시간 걸린것같다. 고민하면서 하느라. 더 걸렸나? 아무튼 결과적으로 스크래핑에 성공! 하지만 아직 부족한것들이 있다. 부분적으.. 2022. 7. 5.
selenium 루틴 (오일 정보 크롤링) 보호되어 있는 글 입니다. 2022. 7. 5.
SQL Subquery 종류 Subquery 종류 ##1 스칼라 서브쿼리 (Scalar Subquery) - SELECT 절에 사용 select column1, (select column2 from table2 where condition) from table1 where condition; 예제 select case_number, (select avg(case_number) from crime_status # 여기 마지막에 쓰인 avg는 서브쿼리 전체를 alias로 해서 avg라고 해준다는것이다. where crime_type like ‘강도’ and status_type like ‘검거’) avg from crime_status where police_station like ‘은평’ and crime_type like ‘강도’ .. 2022. 7. 2.

티스토리툴바