[제로베이스 데이터사이언스 3기] EDA 웹 크롤링 selenium, Beautifulsoup 첫 과제 후기

와..... 진짜 미쳐버리는 줄 알았다 ㅋㅋㅋㅋㅋㅋㅋ

그래도 어찌저찌 끝났네...

 

진짜 과제 하나를 하는데 머리에서 생각은 나는데 손이 작동을 안한다.

뭐 이런 기분 잘 알고있다.

쉽게, 아직은 난 잘 모르는 거다.

이해했다고 끝난건 절대 아니지.

 

난해 첫번째.

가장 난해했던것은 css 해석이 너무 어렵더라;

구글링을 하면서 알게된 사실이지만 해석 할 필요 전~ 혀없다.

뭐 굳이 필요하다면 id랑 태그 구조를 읽을 수 있는정도?

그것을 써내려갈 필요는 전혀없었다. 개발자 도구에서 검토할때 copy에 나오는 "copy selector"

를 누르면 되더라.

 

난해 두번째.

진짜 몇번이고 몇번이고 난 분명히 잘 쓴것같은데 계속 에러난다;

근데 돌이켜보면 다른에러보다 atribute 에러가 나오면 확실히 100% 내가 그냥 뭔가 빼먹거나 더 쓴거다.

 

난해 세번째

와따마... 지역 크롤링 할때 자꾸 강서구에서 막히는거다.;

아 진짜 ㅋㅋㅋㅋ

unexpectedalertpresentexception: alert text: 검색 결과가 너무 많습니다. 범위를 좁혀 주시기 바랍니다.

이 알럿이 계속 뜨고 에러가 나오는데;

어제부터 거진 10시간동안 이거 해결하려고 씨름했는데, 다행히도 선행으로 해결하신 분이 답을 알려주셨다.

나는 "강서구"라고 입력했는데, 이 경우에 서울 강서구, 부산 강서구 등이 조회되기 때문에 알럿과 함께 에러가 뜬다는거다

아무튼 그걸로 해결은 했다.. 휴..

근데 그래도 그렇지 한 지역의 매장수 증가했을때는 생각을 안하나? 보니깐 조회결과가 100개가 넘으면 많다고 입력해서 알럿뜨면서 엑세스 거부 뜨는것같은데; 흠.. 뭐

 

난해 네번째

분명 반복문을 돌리고 있고, 돌아가는 걸 확인하는데도 크롤링이 되었다 안되었다 한다.

똑같은 코드라도 작동이 됬다가 안됬다가 하는데 이게 진짜 미치겠더라;

반복문에 관해서는 time.sleep을 활용해서 구멍을 메운 느낌이다.

 

2달차 과제 첫번째 후기

 

통계를 배워야지. 생각했었는데, 통계를 지금 손댈게 아니다;

이미 통계적 지식은 모듈화 되어서 모듈을 다룰줄 알면 지금까지로는 딱히 필요없는것같다.

물론 나중에 머신러닝을 이용할땐 필요할것같다는 느낌적인 느낌이 들지만...

어쨌든 지금은 파이썬도 제대로 활용 못하는데 통계? 일단은 파이썬에 비중을 두고 열심히 해야겠다.

 

그리고 실력이 정말 많이 늘었다는게 느껴진다. 늘어가고 있는게 느껴진다.

그리고 더불어서 "머리로 이해한것"이 늘어간다고 느껴진다.

 

한번, 한번 계속 뜯어보고 고쳐보고, 따라하면서 그걸 내가 굳이 따라쓸 필요가 없고

머리에서 생각하면서 쓸 수 있을 정도의 수준에 이르기까지 따라쓰고 배껴쓰고 익혀봐야겠다.

직감상 그런 케이스가 4개이상만 쌓여도 지금 하는 수준의 것들은 그냥 너무 쉽게 활용할 수 있을 것 같다는 느낌이고

이게 가능해야 이걸 업으로 삼아서 밥먹고 살 수있는 가장 기본중의 기본이 되지 않을까 생각한다.

 

에러가 생기면 이제는 짜증이 나진 않는다. 그냥 찾고 또 찾을뿐이다.

사실 포기하지 않으면 실패란 없다. 너무 많은 과정을 거쳐왔지만 이젠 조금씩 알것같다.

어차피 이젠 돌아갈 길도 없지만, 다행히도 지금 공부하는 과정은 내게 불친절한 게임을 하는 느낌이다.

재미도 실력도 점점 쌓여가는게 좋다

 

지금 수강하는 곳이 정말 좋은 점이 아직까지는 되도 안되게 조별과제하라고 해서 이도저도 안되게 하는거보다 솔직히 개인과제로 처음부터 끝까지 했음 좋겠다.

그게 효율적이라고 생각한다 오히려.

 

마지막으로 한쪽눈이 계속 떨린다.

스트레스인지, 마그네슘 부족인지, 수면부족인지는 모르겠으나 지금은 신경쓸때는 아니지만 아무튼 할수있을때 까지 하려고 한다.

야근하는것도 생각해보면, 가끔가다 11시 넘어가서 진짜 피곤하면 앞이 안보이더라; ㅋㅋㅋㅋ

뭐 그정도 되면 피곤해도 일 접고 자야지 뭐 어쩌겠냐 보이지도 않는데.

암튼 앞으로가 많이 기대된다.