pandas 샤딩1 파이썬 pandas를 이용한 대용량 데이터 처리하기 이번 포스팅은 파이썬 Pandas를 활용하여 대용량 데이터 처리에 대한 효과적인 전략과 기술을 정리하고자 합니다. 대용량 데이터는 현대 데이터 분석에서 빈번하게 다뤄지며, 이러한 데이터를 Pandas를 이용하여 어떻게 처리하고 최적화하는지에 대한 내용을 다룰 것입니다. 그럼 어떤 내용들이 있는지 하나씩 정리해 보도록 하겠습니다. 1. 메모리의 효율적인 데이터 구조 Pandas에서 메모리를 효율적으로 사용하기 위한 데이터 구조에는 주로 다음 두 가지가 있습니다: Categorical 데이터 유형과 Sparse 데이터 프레임입니다. 1. Categorical 데이터 유형 (범주형 데이터) 정의 Categorical은 카테고리 형식의 데이터를 저장하기 위한 Pandas의 데이터 유형 중 하나입니다. 이는 유한.. 2023. 9. 29. 이전 1 다음
