본문 바로가기
개발일지/Python

pandas 판다스 기초 25 datetime 데이터 핸들링의 모든것

by 다니엘의 개발 이야기 2022. 8. 24.
320x100

이번 섹션은 상당히 단조롭다.

대체로 datetime을 다루는 섹션인데

datetime이라는 주제 하나로 엄청나게 다양한 사용범위를 보여준다.

# Time Series Basics

## Importing Time Series Data from csv-Files

import pandas as pd

temp = pd.read_csv('temp.csv')
temp.head()

'''
    datetime	LA	NY
0	2013-01-01 00:00:00	11.7	-1.1
1	2013-01-01 01:00:00	10.7	-1.7
2	2013-01-01 02:00:00	9.9	-2.0
3	2013-01-01 03:00:00	9.3	-2.1
4	2013-01-01 04:00:00	8.8	-2.3
'''
temp.info()

'''
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 35064 entries, 0 to 35063
Data columns (total 3 columns):
 #   Column    Non-Null Count  Dtype  
---  ------    --------------  -----  
 0   datetime  35064 non-null  object 
 1   LA        35062 non-null  float64
 2   NY        35064 non-null  float64
dtypes: float64(2), object(1)
memory usage: 821.9+ KB
'''

# datetime의 dtype이 object이다.
# 이것을 datetime으로 바꿔주기 위해서 재 임포트 해준다.
# info로 확인 결과.
# dtype변경을 위한 재 임포트

temp = pd.read_csv('temp.csv', parse_dates=['datetime'])
temp.head()

'''
datetime	LA	NY
0	2013-01-01 00:00:00	11.7	-1.1
1	2013-01-01 01:00:00	10.7	-1.7
2	2013-01-01 02:00:00	9.9	-2.0
3	2013-01-01 03:00:00	9.3	-2.1
4	2013-01-01 04:00:00	8.8	-2.3
'''
temp.info()

'''
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 35064 entries, 0 to 35063
Data columns (total 3 columns):
 #   Column    Non-Null Count  Dtype         
---  ------    --------------  -----         
 0   datetime  35064 non-null  datetime64[ns]
 1   LA        35062 non-null  float64       
 2   NY        35064 non-null  float64       
dtypes: datetime64[ns](1), float64(2)
memory usage: 821.9 KB
'''

# ns는 nano seconds를 의미한다.
temp.iloc[0,0]

# Timestamp('2013-01-01 00:00:00')
# datetime으로 오버라이딩 하기 전에는 Timestamp가 나오지 않았지만,
# 현재는 나온다.
type(temp.iloc[0,0])

# pandas._libs.tslibs.timestamps.Timestamp
# 다시 임포트를 한다.
# 근데 왜자꾸 인덱스로 지정을 해주는 걸까?

# index_col은 인덱스 지정(index 지정)
temp = pd.read_csv('temp.csv', parse_dates=['datetime'], index_col = 'datetime')
temp.info()

'''
<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 35064 entries, 2013-01-01 00:00:00 to 2016-12-31 23:00:00
Data columns (total 2 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   LA      35062 non-null  float64
 1   NY      35064 non-null  float64
dtypes: float64(2)
memory usage: 821.8 KB
'''

# 결과적으로 봤을때, 인덱스로 지정해주면, 기존의 3개의 컬럼에서 2개로 줄어드는 효과는 있다.
temp.index

'''
DatetimeIndex(['2013-01-01 00:00:00', '2013-01-01 01:00:00',
               '2013-01-01 02:00:00', '2013-01-01 03:00:00',
               '2013-01-01 04:00:00', '2013-01-01 05:00:00',
               '2013-01-01 06:00:00', '2013-01-01 07:00:00',
               '2013-01-01 08:00:00', '2013-01-01 09:00:00',
               ...
               '2016-12-31 14:00:00', '2016-12-31 15:00:00',
               '2016-12-31 16:00:00', '2016-12-31 17:00:00',
               '2016-12-31 18:00:00', '2016-12-31 19:00:00',
               '2016-12-31 20:00:00', '2016-12-31 21:00:00',
               '2016-12-31 22:00:00', '2016-12-31 23:00:00'],
              dtype='datetime64[ns]', name='datetime', length=35064, freq=None)
'''

# 재미있는 점은 datetime으로 오버라이딩 하기 전에는
# temp.index라고 했을때 딸랑 한개의 date값만 나왔었다.
# 물론 그 때의 데이터 타입은 object였다.
## Converting strings to datetime objects with pd.to_datetime()

import pandas as pd

temp = pd.read_csv('temp.csv')

temp.head()

'''

datetime	LA	NY
0	2013-01-01 00:00:00	11.7	-1.1
1	2013-01-01 01:00:00	10.7	-1.7
2	2013-01-01 02:00:00	9.9	-2.0
3	2013-01-01 03:00:00	9.3	-2.1
4	2013-01-01 04:00:00	8.8	-2.3
'''
temp.info()

'''
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 35064 entries, 0 to 35063
Data columns (total 3 columns):
 #   Column    Non-Null Count  Dtype  
---  ------    --------------  -----  
 0   datetime  35064 non-null  object 
 1   LA        35062 non-null  float64
 2   NY        35064 non-null  float64
dtypes: float64(2), object(1)
memory usage: 821.9+ KB
'''
temp.datetime

'''
0        2013-01-01 00:00:00
1        2013-01-01 01:00:00
2        2013-01-01 02:00:00
3        2013-01-01 03:00:00
4        2013-01-01 04:00:00
                ...         
35059    2016-12-31 19:00:00
35060    2016-12-31 20:00:00
35061    2016-12-31 21:00:00
35062    2016-12-31 22:00:00
35063    2016-12-31 23:00:00
Name: datetime, Length: 35064, dtype: object
'''
pd.to_datetime(temp.datetime)

'''
0       2013-01-01 00:00:00
1       2013-01-01 01:00:00
2       2013-01-01 02:00:00
3       2013-01-01 03:00:00
4       2013-01-01 04:00:00
                ...        
35059   2016-12-31 19:00:00
35060   2016-12-31 20:00:00
35061   2016-12-31 21:00:00
35062   2016-12-31 22:00:00
35063   2016-12-31 23:00:00
Name: datetime, Length: 35064, dtype: datetime64[ns]
'''

# pd.to_datetime이 ()안에 들어오는 컬럼을 datetime으로 바꿔준다는 명령이다.
temp.set_index(pd.to_datetime(temp.datetime)).drop('datetime', axis = 1)

'''
	LA	NY
datetime		
2013-01-01 00:00:00	11.7	-1.1
2013-01-01 01:00:00	10.7	-1.7
2013-01-01 02:00:00	9.9	-2.0
2013-01-01 03:00:00	9.3	-2.1
2013-01-01 04:00:00	8.8	-2.3
...	...	...
2016-12-31 19:00:00	13.5	4.6
2016-12-31 20:00:00	13.2	5.7
2016-12-31 21:00:00	12.8	5.8
2016-12-31 22:00:00	12.3	5.7
2016-12-31 23:00:00	11.9	5.5
35064 rows × 2 columns
'''
temp.head()

'''
datetime	LA	NY
0	2013-01-01 00:00:00	11.7	-1.1
1	2013-01-01 01:00:00	10.7	-1.7
2	2013-01-01 02:00:00	9.9	-2.0
3	2013-01-01 03:00:00	9.3	-2.1
4	2013-01-01 04:00:00	8.8	-2.3
'''
temp.index

# RangeIndex(start=0, stop=35064, step=1)
pd.to_datetime('2015-05-20')

# Timestamp('2015-05-20 00:00:00')
## Initial Analysis / Visual Inspection of Time Series

temp.head()

'''

datetime	LA	NY
0	2013-01-01 00:00:00	11.7	-1.1
1	2013-01-01 01:00:00	10.7	-1.7
2	2013-01-01 02:00:00	9.9	-2.0
3	2013-01-01 03:00:00	9.3	-2.1
4	2013-01-01 04:00:00	8.8	-2.3
'''
temp.info()

'''
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 35064 entries, 0 to 35063
Data columns (total 3 columns):
 #   Column    Non-Null Count  Dtype  
---  ------    --------------  -----  
 0   datetime  35064 non-null  object 
 1   LA        35062 non-null  float64
 2   NY        35064 non-null  float64
dtypes: float64(2), object(1)
memory usage: 821.9+ KB
'''
temp.describe()

'''
LA	NY
count	35062.000000	35064.000000
mean	17.486016	12.068269
std	6.640666	10.466832
min	-6.600000	-22.400000
25%	12.900000	3.900000
50%	17.200000	12.500000
75%	21.900000	20.600000
max	42.300000	37.100000
'''
temp.LA.value_counts()

'''
 16.2    238
 16.7    237
 15.2    234
 18.2    231
 16.6    228
        ... 
-5.9       1
-6.5       1
-6.6       1
-2.2       1
-3.3       1
Name: LA, Length: 442, dtype: int64
'''
import matplotlib.pyplot as plt

temp.plot(figsize = (14,10))
plt.show()

# plots 를 분할
temp.plot(figsize = (14,10), subplots = True)
plt.show()

# layout은 1개의 행을 가지고 2개의 컬럼을 두고 비교

temp.plot(figsize = (14,10), subplots = True, layout = (1, 2))
plt.show()

# 때문에 NY은 -20 부터 시작하고, LA는 0부터 시작한다.

# sharey는 y축의 공유 여부 즉, 두개의 y축은 같은 값을 가지게 된다.

temp.plot(figsize = (14,10), subplots = True, layout =(1,2), sharey = True)
plt.show()

## Indexing and Slicing Time Series

# 다시 기억해 두자.
# index_col은 read_csv를 임포트 하는 순간에 index_col에 지정된 값으로 인덱스 설정을 해준다.
# 따라서, 해당 컬럼은 더이상 컬럼이 아니고 인덱스화가 되는 개념이라고 보면 된다.

import pandas as pd

temp = pd.read_csv('temp.csv', parse_dates = ['datetime'], index_col = 'datetime')
temp.head()

'''

LA	NY
datetime		
2013-01-01 00:00:00	11.7	-1.1
2013-01-01 01:00:00	10.7	-1.7
2013-01-01 02:00:00	9.9	-2.0
2013-01-01 03:00:00	9.3	-2.1
2013-01-01 04:00:00	8.8	-2.3
'''
temp.info()

'''
<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 35064 entries, 2013-01-01 00:00:00 to 2016-12-31 23:00:00
Data columns (total 2 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   LA      35062 non-null  float64
 1   NY      35064 non-null  float64
dtypes: float64(2)
memory usage: 821.8 KB
'''
temp.loc['2013-01-01 01:00:00']

'''
LA    10.7
NY    -1.7
Name: 2013-01-01 01:00:00, dtype: float64
'''
# 2015년의 모든 타임스탬프 소환

temp.loc['2015']

'''
	LA	NY
datetime		
2015-01-01 00:00:00	3.8	-5.1
2015-01-01 01:00:00	4.4	-5.1
2015-01-01 02:00:00	3.2	-6.0
2015-01-01 03:00:00	1.2	-6.0
2015-01-01 04:00:00	0.2	-6.0
...	...	...
2015-12-31 19:00:00	16.0	8.1
2015-12-31 20:00:00	16.0	8.1
2015-12-31 21:00:00	16.4	7.9
2015-12-31 22:00:00	16.6	7.2
2015-12-31 23:00:00	16.8	6.2
8760 rows × 2 columns
'''
temp.loc['2015-05']

'''
	LA	NY
datetime		
2015-05-01 00:00:00	25.5	13.9
2015-05-01 01:00:00	25.7	13.9
2015-05-01 02:00:00	23.8	10.5
2015-05-01 03:00:00	22.0	10.2
2015-05-01 04:00:00	20.1	8.6
...	...	...
2015-05-31 19:00:00	25.4	25.5
2015-05-31 20:00:00	26.0	23.9
2015-05-31 21:00:00	24.9	22.5
2015-05-31 22:00:00	26.0	21.3
2015-05-31 23:00:00	25.5	19.9
744 rows × 2 columns
'''
temp.loc['2015-05-20'].shape

# (24, 2)
temp.loc['2015-01-01':'2015-12-31']

'''
	LA	NY
datetime		
2015-01-01 00:00:00	3.8	-5.1
2015-01-01 01:00:00	4.4	-5.1
2015-01-01 02:00:00	3.2	-6.0
2015-01-01 03:00:00	1.2	-6.0
2015-01-01 04:00:00	0.2	-6.0
...	...	...
2015-12-31 19:00:00	16.0	8.1
2015-12-31 20:00:00	16.0	8.1
2015-12-31 21:00:00	16.4	7.9
2015-12-31 22:00:00	16.6	7.2
2015-12-31 23:00:00	16.8	6.2
8760 rows × 2 columns
'''
temp.loc['2015-01-01': "2015-12-31"].equals(temp.loc['2015'])

# True
# 둘다 2015년의 데이터를 의미하는 코드다.
temp.loc[:'2015-05-20']

'''

LA	NY
datetime		
2013-01-01 00:00:00	11.7	-1.1
2013-01-01 01:00:00	10.7	-1.7
2013-01-01 02:00:00	9.9	-2.0
2013-01-01 03:00:00	9.3	-2.1
2013-01-01 04:00:00	8.8	-2.3
...	...	...
2015-05-20 19:00:00	17.7	18.1
2015-05-20 20:00:00	18.4	17.8
2015-05-20 21:00:00	18.0	17.8
2015-05-20 22:00:00	19.1	14.2
2015-05-20 23:00:00	19.1	14.2
20880 rows × 2 columns
'''
temp.loc[['2015-05-20 10:00:00', '2015-05-20 12:00:00']]

'''

                    LA	NY
datetime		
2015-05-20 10:00:00	7.8	13.3
2015-05-20 12:00:00	9.7	13.6
'''
two_timestamp = pd.to_datetime(['2015-05-20 10:00:00', '2015-05-20 12:00:00'])
two_timestamp

# DatetimeIndex(['2015-05-20 10:00:00', '2015-05-20 12:00:00'], dtype='datetime64[ns]', freq=None)
temp.loc[two_timestamp]

'''

                    LA	NY
2015-05-20 10:00:00	7.8	13.3
2015-05-20 12:00:00	9.7	13.6
'''
## Creating a customized DatetimeIndex with pd.date_range()

import pandas as pd

pd.to_datetime(['2015-05-20', 'Feb 20 2015'])

# DatetimeIndex(['2015-05-20', '2015-02-20'], dtype='datetime64[ns]', freq=None)
# to_datetime 메소드에 내가 원하는 날자가 31개라면 해당 하는 문자열을 모두 쓰는 것은
# 매우 비 효율 적이다.
# 따라서 slice와 같은 기능을 써준다.

pd.date_range(start = '2015-07-01', end = '2015-07-31')

'''
DatetimeIndex(['2015-07-01', '2015-07-02', '2015-07-03', '2015-07-04',
               '2015-07-05', '2015-07-06', '2015-07-07', '2015-07-08',
               '2015-07-09', '2015-07-10', '2015-07-11', '2015-07-12',
               '2015-07-13', '2015-07-14', '2015-07-15', '2015-07-16',
               '2015-07-17', '2015-07-18', '2015-07-19', '2015-07-20',
               '2015-07-21', '2015-07-22', '2015-07-23', '2015-07-24',
               '2015-07-25', '2015-07-26', '2015-07-27', '2015-07-28',
               '2015-07-29', '2015-07-30', '2015-07-31'],
              dtype='datetime64[ns]', freq='D')
'''
# 중요 freq는 주기를 의미한다.
# D는 day를 의미

pd.date_range(start = '2015-07-01', periods = 31, freq = 'D')

'''
DatetimeIndex(['2015-07-01', '2015-07-02', '2015-07-03', '2015-07-04',
               '2015-07-05', '2015-07-06', '2015-07-07', '2015-07-08',
               '2015-07-09', '2015-07-10', '2015-07-11', '2015-07-12',
               '2015-07-13', '2015-07-14', '2015-07-15', '2015-07-16',
               '2015-07-17', '2015-07-18', '2015-07-19', '2015-07-20',
               '2015-07-21', '2015-07-22', '2015-07-23', '2015-07-24',
               '2015-07-25', '2015-07-26', '2015-07-27', '2015-07-28',
               '2015-07-29', '2015-07-30', '2015-07-31'],
              dtype='datetime64[ns]', freq='D')
'''
pd.date_range(start = '2015-07-31', periods = 31, freq = 'D')

'''
DatetimeIndex(['2015-07-31', '2015-08-01', '2015-08-02', '2015-08-03',
               '2015-08-04', '2015-08-05', '2015-08-06', '2015-08-07',
               '2015-08-08', '2015-08-09', '2015-08-10', '2015-08-11',
               '2015-08-12', '2015-08-13', '2015-08-14', '2015-08-15',
               '2015-08-16', '2015-08-17', '2015-08-18', '2015-08-19',
               '2015-08-20', '2015-08-21', '2015-08-22', '2015-08-23',
               '2015-08-24', '2015-08-25', '2015-08-26', '2015-08-27',
               '2015-08-28', '2015-08-29', '2015-08-30'],
              dtype='datetime64[ns]', freq='D')
'''
pd.date_range(end = '2015-07-31', periods = 31, freq = 'D')

'''
DatetimeIndex(['2015-07-01', '2015-07-02', '2015-07-03', '2015-07-04',
               '2015-07-05', '2015-07-06', '2015-07-07', '2015-07-08',
               '2015-07-09', '2015-07-10', '2015-07-11', '2015-07-12',
               '2015-07-13', '2015-07-14', '2015-07-15', '2015-07-16',
               '2015-07-17', '2015-07-18', '2015-07-19', '2015-07-20',
               '2015-07-21', '2015-07-22', '2015-07-23', '2015-07-24',
               '2015-07-25', '2015-07-26', '2015-07-27', '2015-07-28',
               '2015-07-29', '2015-07-30', '2015-07-31'],
              dtype='datetime64[ns]', freq='D')
'''
# B는 Business day의 의미로써
# 영업일 즉, 공휴일, 주말을 제외한 평일을 의미한다고 볼 수 있다.
pd.date_range(start = '2015-07-01', end = '2015-07-31', freq = 'B')

'''
DatetimeIndex(['2015-07-01', '2015-07-02', '2015-07-03', '2015-07-06',
               '2015-07-07', '2015-07-08', '2015-07-09', '2015-07-10',
               '2015-07-13', '2015-07-14', '2015-07-15', '2015-07-16',
               '2015-07-17', '2015-07-20', '2015-07-21', '2015-07-22',
               '2015-07-23', '2015-07-24', '2015-07-27', '2015-07-28',
               '2015-07-29', '2015-07-30', '2015-07-31'],
              dtype='datetime64[ns]', freq='B')
'''
# H는 hour 즉, 시간을 단위로 한다.
# periods는 얼마나 많은 index를 추출할거냐. 라고 보면 되겠다.

pd.date_range(start = '2015/07/31', periods = 10, freq = 'H')

'''
DatetimeIndex(['2015-07-31 00:00:00', '2015-07-31 01:00:00',
               '2015-07-31 02:00:00', '2015-07-31 03:00:00',
               '2015-07-31 04:00:00', '2015-07-31 05:00:00',
               '2015-07-31 06:00:00', '2015-07-31 07:00:00',
               '2015-07-31 08:00:00', '2015-07-31 09:00:00'],
              dtype='datetime64[ns]', freq='H')
'''
# freq를 w 로 하면 week day라고 해서, weekday의 시작으로 설정된 날자를 리턴한다.
# 기본 설정은 sunday, 즉 일요일로 되어있다.

pd.date_range(start = '2015-07-01', periods = 6, freq = 'W')

'''
DatetimeIndex(['2015-07-05', '2015-07-12', '2015-07-19', '2015-07-26',
               '2015-08-02', '2015-08-09'],
              dtype='datetime64[ns]', freq='W-SUN')
'''
# weekday의 설정일을 wendsday로 설정

pd.date_range(start = '2015-07-01', periods = 6, freq = 'W-Wed')

'''
DatetimeIndex(['2015-07-01', '2015-07-08', '2015-07-15', '2015-07-22',
               '2015-07-29', '2015-08-05'],
              dtype='datetime64[ns]', freq='W-WED')
'''
# freq를 M으로 할 경우
# 각 월의 말일로 리턴이 된다.

pd.date_range(start = '2015-07-14', periods = 6, freq = 'M')

'''
DatetimeIndex(['2015-07-31', '2015-08-31', '2015-09-30', '2015-10-31',
               '2015-11-30', '2015-12-31'],
              dtype='datetime64[ns]', freq='M')
'''
# freq를 MS로 둔 의미는
# Month start 즉, 월의 시작을 의미한다.

pd.date_range(start = '2015-07-14', periods = 6, freq = 'MS')
# 시작날을 기준으로 한달씩
# 즉, 월의 말일이나, 월의 시작일로 표기되는 것이 아니다.

pd.date_range(start = '2015-07-14', periods = 6, freq = pd.DateOffset(months = 1))

'''
DatetimeIndex(['2015-07-14', '2015-08-14', '2015-09-14', '2015-10-14',
               '2015-11-14', '2015-12-14'],
              dtype='datetime64[ns]', freq='<DateOffset: months=1>')
'''
# freq를 Q로 설정하는것은
# quarter 로써 1/4를 의미한다.
# 그리고 각 3개월의 말일을 리턴한다.

pd.date_range(start = '2015-07-14', periods = 6, freq = 'Q')

'''
DatetimeIndex(['2015-09-30', '2015-12-31', '2016-03-31', '2016-06-30',
               '2016-09-30', '2016-12-31'],
              dtype='datetime64[ns]', freq='Q-DEC')
'''
# 난 SQ로도 될줄알았는데, 그러면 에러가 나더라.
# QS는 분기별로 리턴하되, 해당 분기가 속한 월의 시작일을 리턴

pd.date_range(start = '2015-07-14', periods = 6, freq = 'QS')

'''
DatetimeIndex(['2015-10-01', '2016-01-01', '2016-04-01', '2016-07-01',
               '2016-10-01', '2017-01-01'],
              dtype='datetime64[ns]', freq='QS-JAN')
'''
# QS-MAY는 may로 부터 시작되는 분기를 의미한다.
# 그런데 예제에서는 7월부터 시작되기때문에 5월의 다음이 8월이고 8월이 7월보단 다음차례니깐
# 8월부터 시작해서 3개월씩 리턴된다.


pd.date_range(start = '2015-07-14', periods = 6, freq = 'QS-May')

'''
DatetimeIndex(['2015-08-01', '2015-11-01', '2016-02-01', '2016-05-01',
               '2016-08-01', '2016-11-01'],
              dtype='datetime64[ns]', freq='QS-MAY')
'''
# A는 결과적으로 봤을때 1년마다 각 연의 마지막 날을 리턴해주는 기능 같다.
# A는 annual의 약자다. (연간)
# A대신에 Y를 써줘도 결과값은 같다.

pd.date_range(start = '2015-07-14', periods = 6, freq = 'A')

'''
DatetimeIndex(['2015-12-31', '2016-12-31', '2017-12-31', '2018-12-31',
               '2019-12-31', '2020-12-31'],
              dtype='datetime64[ns]', freq='A-DEC')
'''
# 매년 7월의 시작을 리턴

pd.date_range(start = '2015-07-14', periods = 6, freq = 'AS-JUL')

'''
DatetimeIndex(['2016-07-01', '2017-07-01', '2018-07-01', '2019-07-01',
               '2020-07-01', '2021-07-01'],
              dtype='datetime64[ns]', freq='AS-JUL')
'''
# 다시한번 특정 지정일을 기준으로 1년마다 출력해주기

pd.date_range(end = '2018-11-24', periods = 10, freq = pd.DateOffset(years =1))

'''
DatetimeIndex(['2009-11-24', '2010-11-24', '2011-11-24', '2012-11-24',
               '2013-11-24', '2014-11-24', '2015-11-24', '2016-11-24',
               '2017-11-24', '2018-11-24'],
              dtype='datetime64[ns]', freq='<DateOffset: years=1>')
'''
# 3일 간격

pd.date_range(start = '2015-07-01', periods = 10, freq = '3D')

'''
DatetimeIndex(['2015-07-01', '2015-07-04', '2015-07-07', '2015-07-10',
               '2015-07-13', '2015-07-16', '2015-07-19', '2015-07-22',
               '2015-07-25', '2015-07-28'],
              dtype='datetime64[ns]', freq='3D')
'''
## Downsampling Time Series with resample() (Part 1)

import pandas as pd
import matplotlib.pyplot as plt
plt.style.use('seaborn')

temp = pd.read_csv('temp.csv', parse_dates = ['datetime'], index_col = 'datetime')

'''
	LA	NY
datetime		
2013-01-01 00:00:00	11.7	-1.1
2013-01-01 01:00:00	10.7	-1.7
2013-01-01 02:00:00	9.9	-2.0
2013-01-01 03:00:00	9.3	-2.1
2013-01-01 04:00:00	8.8	-2.3
...	...	...
2016-12-31 19:00:00	13.5	4.6
2016-12-31 20:00:00	13.2	5.7
2016-12-31 21:00:00	12.8	5.8
2016-12-31 22:00:00	12.3	5.7
2016-12-31 23:00:00	11.9	5.5
35064 rows × 2 columns
'''
temp.info()

'''
<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 35064 entries, 2013-01-01 00:00:00 to 2016-12-31 23:00:00
Data columns (total 2 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   LA      35062 non-null  float64
 1   NY      35064 non-null  float64
dtypes: float64(2)
memory usage: 821.8 KB
'''
# resample 메소드는 시계열의 주기를 바꾸는 것이다.
# resample은 group by와 유사하다고 한다.
# timestamp를 그룹화 해주는 것이다.

temp.resample('D')

# <pandas.core.resample.DatetimeIndexResampler object at 0x7f9950a9ccd0>
temp.resample('2H').first()

'''
	LA	NY
datetime		
2013-01-01 00:00:00	11.7	-1.1
2013-01-01 02:00:00	9.9	-2.0
2013-01-01 04:00:00	8.8	-2.3
2013-01-01 06:00:00	6.9	-3.2
2013-01-01 08:00:00	6.7	-3.0
...	...	...
2016-12-31 14:00:00	12.7	-1.3
2016-12-31 16:00:00	12.6	1.1
2016-12-31 18:00:00	13.2	3.4
2016-12-31 20:00:00	13.2	5.7
2016-12-31 22:00:00	12.3	5.7
17532 rows × 2 columns
'''
# 이것을 리스트화로 묶을 수도 있다.
# 다운샘플링
list(temp.resample('D'))

# 너무 많아서 이건 적는 것을 생략하겠다.
# 1시간 간격으로, 하루 단위로 그룹화가 되는 기능같다.
temp.resample('D').first()
'''
	LA	NY
datetime		
2013-01-01	11.7	-1.1
2013-01-02	13.2	2.6
2013-01-03	15.1	0.3
2013-01-04	16.3	-1.2
2013-01-05	18.1	-1.2
...	...	...
2016-12-27	15.1	4.1
2016-12-28	19.9	11.2
2016-12-29	23.3	2.1
2016-12-30	25.5	3.0
2016-12-31	15.7	0.8
1461 rows × 2 columns
'''

# 시작을 기준으로 그날그날의 시작가를 알려주는 것같다.
temp.resample('D').last()

'''
	LA	NY
datetime		
2013-01-01	14.0	2.7
2013-01-02	15.1	1.2
2013-01-03	16.6	-1.5
2013-01-04	20.0	-1.2
2013-01-05	17.8	2.0
...	...	...
2016-12-27	20.1	12.9
2016-12-28	24.3	2.6
2016-12-29	25.6	4.2
2016-12-30	15.9	1.2
2016-12-31	11.9	5.5
1461 rows × 2 columns

1

'''
# 종료를 기준으로 그날그날의 종가를 표시해주는 것 같다.
# 물론 정확히는 종가가 아니라 날씨지만 말이다.
temp.resample('D').mean()

'''
	LA	NY
datetime		
2013-01-01	8.858333	-0.404167
2013-01-02	9.283333	3.208333
2013-01-03	10.304167	-2.425000
2013-01-04	11.512500	-2.070833
2013-01-05	11.083333	0.816667
...	...	...
2016-12-27	12.154167	10.579167
2016-12-28	14.433333	4.016667
2016-12-29	16.045833	1.312500
2016-12-30	15.933333	2.204167
2016-12-31	13.275000	1.204167
1461 rows × 2 columns
'''
temp.resample('D').median()

'''

LA	NY
datetime		
2013-01-01	8.75	-1.45
2013-01-02	8.15	3.50
2013-01-03	10.20	-2.35
2013-01-04	9.80	-2.25
2013-01-05	11.30	0.65
...	...	...
2016-12-27	11.35	11.85
2016-12-28	12.60	3.50
2016-12-29	14.40	0.75
2016-12-30	15.30	2.15
2016-12-31	13.20	0.70
1461 rows × 2 columns
'''
temp.resample('D').sum()

'''
LA	NY
datetime		
2013-01-01	212.6	-9.7
2013-01-02	222.8	77.0
2013-01-03	247.3	-58.2
2013-01-04	276.3	-49.7
2013-01-05	266.0	19.6
...	...	...
2016-12-27	291.7	253.9
2016-12-28	346.4	96.4
2016-12-29	385.1	31.5
2016-12-30	382.4	52.9
2016-12-31	318.6	28.9
1461 rows × 2 columns
'''

# 사실 기온을 구할때 sum은 의미가 없다.
# 절대값 기준이면 또 어떤 의미를 찾아낼 수는 있겠어도
# - + 가 공존할 수 있기 때문이다.
temp.resample('2H').first()

'''
	LA	NY
datetime		
2013-01-01 00:00:00	11.7	-1.1
2013-01-01 02:00:00	9.9	-2.0
2013-01-01 04:00:00	8.8	-2.3
2013-01-01 06:00:00	6.9	-3.2
2013-01-01 08:00:00	6.7	-3.0
...	...	...
2016-12-31 14:00:00	12.7	-1.3
2016-12-31 16:00:00	12.6	1.1
2016-12-31 18:00:00	13.2	3.4
2016-12-31 20:00:00	13.2	5.7
2016-12-31 22:00:00	12.3	5.7
17532 rows × 2 columns
'''
temp.resample('M', kind = 'period').mean()
temp_m = temp.resample('M', kind = 'period').mean()

temp_m

'''
LA	NY
datetime		
2013-01	11.596237	1.129570
2013-02	12.587202	0.617857
2013-03	15.069946	3.719220
2013-04	16.487361	10.699306
2013-05	19.005780	15.824328
2013-06	19.905417	22.225694
...
'''
temp_m.info()

'''
<class 'pandas.core.frame.DataFrame'>
PeriodIndex: 48 entries, 2013-01 to 2016-12
Freq: M
Data columns (total 2 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   LA      48 non-null     float64
 1   NY      48 non-null     float64
dtypes: float64(2)
memory usage: 1.1 KB
'''
temp_m.index[0]
import matplotlib.pyplot as plt

temp_m.plot(figsize = (14,10), fontsize = 15)
plt.show()

temp.plot(figsize = (14,10), fontsize = 15)
plt.show()

## The periodIndex Object

import pandas as pd

temp = pd.read_csv('temp.csv', parse_dates = ['datetime'], index_col = 'datetime')
temp.head()

'''
	LA	NY
datetime		
2013-01-01 00:00:00	11.7	-1.1
2013-01-01 01:00:00	10.7	-1.7
2013-01-01 02:00:00	9.9	-2.0
2013-01-01 03:00:00	9.3	-2.1
2013-01-01 04:00:00	8.8	-2.3
'''
temp.info()

'''
<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 35064 entries, 2013-01-01 00:00:00 to 2016-12-31 23:00:00
Data columns (total 2 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   LA      35062 non-null  float64
 1   NY      35064 non-null  float64
dtypes: float64(2)
memory usage: 821.8 KB
'''
temp_m = temp.resample('M', kind = 'timestamp').mean()
temp_m.head(12)

'''
LA	NY
datetime		
2013-01-31	11.596237	1.129570
2013-02-28	12.587202	0.617857
2013-03-31	15.069946	3.719220
2013-04-30	16.487361	10.699306
2013-05-31	19.005780	15.824328
2013-06-30	19.905417	22.225694
2013-07-31	22.093952	26.329704
2013-08-31	21.513172	22.480376
2013-09-30	22.404861	18.291806
2013-10-31	16.620430	14.335215
2013-11-30	15.107917	7.111944
2013-12-31	13.416935	2.776210
'''
temp_m.index

'''
DatetimeIndex(['2013-01-31', '2013-02-28', '2013-03-31', '2013-04-30',
               '2013-05-31', '2013-06-30', '2013-07-31', '2013-08-31',
               '2013-09-30', '2013-10-31', '2013-11-30', '2013-12-31',
               '2014-01-31', '2014-02-28', '2014-03-31', '2014-04-30',
               '2014-05-31', '2014-06-30', '2014-07-31', '2014-08-31',
               '2014-09-30', '2014-10-31', '2014-11-30', '2014-12-31',
               '2015-01-31', '2015-02-28', '2015-03-31', '2015-04-30',
               '2015-05-31', '2015-06-30', '2015-07-31', '2015-08-31',
               '2015-09-30', '2015-10-31', '2015-11-30', '2015-12-31',
               '2016-01-31', '2016-02-29', '2016-03-31', '2016-04-30',
               '2016-05-31', '2016-06-30', '2016-07-31', '2016-08-31',
               '2016-09-30', '2016-10-31', '2016-11-30', '2016-12-31'],
              dtype='datetime64[ns]', name='datetime', freq='M')
'''
## Advanced Indexing with reindex()

# 다시한번 짚고 넘어가자면 parse_dates = ['datetime']
# 이라고 해주는 것은 타입을 datetime으로 설정해준다는 의미다.

import pandas as pd
temp = pd.read_csv('temp.csv', parse_dates = ['datetime'], index_col = 'datetime')
temp.head()

'''
	LA	NY
datetime		
2013-01-01 00:00:00	11.7	-1.1
2013-01-01 01:00:00	10.7	-1.7
2013-01-01 02:00:00	9.9	-2.0
2013-01-01 03:00:00	9.3	-2.1
2013-01-01 04:00:00	8.8	-2.3
'''
temp_d = temp.resample('D').mean()
temp_d

'''
	LA	NY
datetime		
2013-01-01	8.858333	-0.404167
2013-01-02	9.283333	3.208333
2013-01-03	10.304167	-2.425000
2013-01-04	11.512500	-2.070833
2013-01-05	11.083333	0.816667
...	...	...
2016-12-27	12.154167	10.579167
2016-12-28	14.433333	4.016667
2016-12-29	16.045833	1.312500
2016-12-30	15.933333	2.204167
2016-12-31	13.275000	1.204167
1461 rows × 2 columns
'''
birthd = pd.date_range(end = '2016-12-24', periods = 3, freq = pd.DateOffset(years = 1))
birthd

# DatetimeIndex(['2014-12-24', '2015-12-24', '2016-12-24'], dtype='datetime64[ns]', freq='<DateOffset: years=1>')
temp_d.loc[birthd]

'''

LA	NY
2014-12-24	10.712500	8.045833
2015-12-24	10.716667	17.462500
2016-12-24	11.820833	4.045833
'''
temp_d.reindex(birthd)

'''
	LA	NY
2014-12-24	10.712500	8.045833
2015-12-24	10.716667	17.462500
2016-12-24	11.820833	4.045833
'''
temp_d.head()

'''
LA	NY
datetime		
2013-01-01	8.858333	-0.404167
2013-01-02	9.283333	3.208333
2013-01-03	10.304167	-2.425000
2013-01-04	11.512500	-2.070833
2013-01-05	11.083333	0.816667
'''

 

300x250

'개발일지 > Python' 카테고리의 다른 글

*매우매우중요 Python - 정규표현식 활용으로 환율정보 가져오기 (미친듯이 중요)  (1) 2022.09.23
*매우중요 Python - 정규표현식(regex) 예시와 함께 1  (2) 2022.09.23
python 파이썬 기초1 난수(random) 과 seed 활용, 정규분포  (0) 2022.08.22
python 정규표현식 re로 문자열 안의 값을 꺼내기, 변경해주기  (0) 2022.07.08
Python 기본용어 원리 (strip, split, join, upper, lower, capitalize)  (0) 2022.07.08

관련글

티스토리툴바