본문 바로가기

전체 글732

SQL 테스트 복기 복기 # 질문1 상표가 SK에너지, S-OIL, GS칼텍스 중 하나이면서 위치(구)가 은평구, 강남구, 영등포구 중 하나가 아닌 주유소 상호는? 이에대한 답으로 select * from oil_price where 상표 in (SK에너지, S-OIL, GS칼텍스) and 구 not in (은평구, 강남구, 영등포구); 라고 입력했더니 ERROR 1054 (42S22): Unknown column 'SK에너지' in 'where clause' 에러가 뜨는 것이였다. 딱히 답은 나오지 않았고, 수작업으로 풀었는데, 나중에 알고보니깐 오직 ‘’를 안써도 허용이 되는것은 컬럼값 뿐이였다. 그외 필드값을 입력하는것에 있어서는 문자일 경우 ‘’처리를 해줘야하는것같다. (최소한 한글은 확실) 결과적으로 답안은 sel.. 2022. 7. 6.
SQL 루틴 저장해 놓았던 csv 파일을 SQL에 테이블 생성해서 값 넣어주기 간단할 줄 알았는데, 생각외로 약간 헤멨다. 타이핑해서 데이터 깔짝 넣는건 괜찮은데, 뭐 중요한건 파일화 되어있는 대용량의 파일을 핸들링하는거니깐. import pandas as pd df = pd.read_csv('oil_mine.csv', encoding='utf-8', index_col=0) df.tail(2) df.info() # csv 데이터를 데이터베이스에 넣기 전에 테이블 스키마 만들어 주기 import mysql.connector conn = mysql.connector.connect( host = '엔드포인트', port = 3306, user = '계정명', password = '비밀번호', database = '접근원하는 데이터베이스명' ) # 테이블 생성 sql = 'create t.. 2022. 7. 6.
BeautifulSoup youtube 채널 데이터 스크래핑, 시각화 기본 루틴 실행 준비 및 테스트 from selenium import webdriver from bs4 import BeautifulSoup import chromedriver_autoinstaller import time import pandas as pd chromedriver_autoinstaller.install() browser = webdriver.Chrome('/Users/daniel_choi/opt/anaconda3/envs/ds_study/lib/python3.8/site-packages/chromedriver_autoinstaller/103/chromedriver') url = 'https://youtube-rank.com/board/bbs/board.php?bo_table=youtube' bro.. 2022. 7. 6.
selenium 오일 데이터 스크래핑 후 시각화 2 (numpy, seaborn, matplotlib) 이건 아직 익숙해지지 않았고, 전체적으로 서서히 익숙해지는 중이다. 참고자료가 되는 stations의 모태가 되는 csv는 이전 1을 통해서 만들 수 있을것이지만 json 파일을 첨부하긴 어려우니, 그건 본인 스스로 구해보았으면 좋겠고, 그래야 지도상의 시각화가 작동이 될것이다. # 한글 변환 코드 (중요) import matplotlib.pyplot as plt import seaborn as sns import platform from matplotlib import font_manager, rc get_ipython().run_line_magic('matplotlib', 'inline') # %matplotlib inline path = 'C:/Windows/Fonts/malgun.ttf' if p.. 2022. 7. 6.