PYTHON

20221017 = downcast, parquet

K.Y.PARK 2022. 11. 3. 16:05

# dtypes의 int64 / float64는 표현할 수 있는 범위를 의미!!

# 오늘의 키워드는 절약!! 메모리절약 / 저장용량절약

# int -> unsigned / float -> float / bool -> int8 등으로 데이터용량을 줄여주는 절약가능!

# csv = Comma-Separated Value / tsv = tab separated value

# os.stat("파일명").st_size 로 파일 사이즈 불러오기

# 열 단위 압축은 효율적이고 저장 공간을 절약함

# 열 값이 동일한 데이터 타입이기 때문에 압축에 유리

# downcast = 용량절약 !! / parquet = 메모리절약!!

 

# pd_to_numeric으로 메모리 사용량 감소가능!