[Python] 파이썬 DataFrame 알아보기

파이썬에서 데이터프레임은 주로 pandas 라이브러리를 사용하여 데이터프레임을 다룹니다. pandas 데이터프레임은 Matplotlib 라이브러리와 함께 사용하여 데이터 시각화에도 유용하게 활용됩니다.

목차

오늘은 파이썬에서 데이터를 다룰 때 많이 사용하는 데이터프레임에 대해서 정리해보려고 합니다.

저는 실무에서 대용량 데이터 처리를 하는데에 데이터프레임을 이용을 많이 했습니다. 실제 대용량 데이터나 머신러닝에서 활용을 많이 해서 이번 기회에 기초부터 정리를 하게 됐습니다.

데이터 처리와 데이터 과학, 인공지능, 비즈니스 인텔리전스 등 기술의 발전으로 파이썬의 사용 빈도가 늘어나고 있고, 데이터를 처리하는 데에 있어 데이터프레임을 활용한다면 다양한 분야에서 데이터 처리를 하는데 유용하게 사용할 수 있습니다.

그렇다면 데이터프레임은 어떻게 사용하는지, 어떤 특징이 있는지 하나씩 알아보도록 하겠습니다!

---

DataFrame의 사용 목적

 

1. 데이터 구조화
데이터프레임은 테이블 형태로 데이터를 구성하기 때문에 데이터를 쉽게 다룰 수 있습니다. 열별로 데이터를 선택, 수정, 필터링, 정렬 등
다양한 연산을 수행할 수 있어 데이터 분석에 용이하다.

2. 데이터 시각화
Pandas 데이터프레임은 Matplotlib 라이브러리와 함께 사용하여 데이터 시각화에도 유용하게 활용됩니다. 데이터를 시각적으로 표현하여 패턴과 트렌드를 파악하는데 도움을 준다.

3. 데이터 전처리
데이터프레임은 데이터를 쉽게 가공하고 전처리할 수 있어, 머신러닝 모델에 적용하기 전에 데이터를 정제하는 데에 유용하다.

4. 데이터 병합
다양한 데이터 소스를 통합하고 조인할 때 데이터프레임을 사용하여 편리하게 작업할 수 있다.

 

---

DataFrame의 장점

 

1. 유연성
다양한 형태의 데이터를 처리할 수 있고, 행과 열을 선택하거나 조작하는데 자유로움을 제공한다.

2. 빠른 연산
Pandas는 C로 구현되어 있어 벡터화된 연산을 사용하여 데이터 처리 속도가 빠르고 효율적이다.

3. 사용이 편리
데이터프레임은 직관적이며 사용하기 쉬우며, 다양한 데이터 관련 작업을 효과적으로 수행할 수 있다.

4. 확장성
Pandas는 NumPy와 함께 사용되기 때문에 다른 데이터 분석 라이브러리와 통합하여 사용할 수 있다.

 

---

DataFrame 예시 코드

다음 코드는 Pandas 라이브러리를 사용하여 데이터프레임을 생성하고 다루는 간단한 예시 코드입니다.

import pandas as pd

# 데이터프레임 생성
data = {
    '이름': ['Alice', 'Bob', 'Charlie', 'David'],
    '나이': [15, 26, 30, 43],
    '성별': ['여성', '남성', '남성', '남성'],
    '직업': ['학생', '회사원', '디자이너', '개발자']
}

df = pd.DataFrame(data)

# 데이터프레임 출력
print(df)

위의 코드를 보게 되면 4개의 열을 각각 '이름', '나이', '성별', '직업' 으로 구성된 데이터프레임 구조입니다.

       이름  나이  성별    직업
0    Alice  15  여성    학생
1      Bob  26  남성   회사원
2  Charlie  30  남성  디자이너
3    David  43  남성   개발자

위의 예시 소스 코드를 실행한 결과입니다. 데이터프레임은 2차원 데이터 구조로 위와 같이 행과 열로 이루어진 테이블 형태의 자료구조입니다.

데이터프레임은 엑셀의 스프레드시트나 SQL의 테이블과 유사항 형태를 가지고 있어 데이터를 쉽게 다루고 분석할 수 있도록 도와줍니다.
평소에 엑셀이나 SQL을 자주 접했다면 어렵지 않게 데이터프레임을 다룰 수 있습니다.

---

DataFrame CSV 파일 예시 코드

다음 코드는 CSV 파일로부터 데이터프레임을 생성하는 예시 코드입니다.

import pandas as pd

# CSV 파일에서 데이터프레임 생성
df = pd.read_csv('data.csv')
print(df)

위의 예시 코드를 보게 되면 Pandas 라이브러리에서는 CSV 등과 같은 파일에서 데이터를 읽어와 데이터프레임으로 만들 수 있습니다.

데이터가 많은 경우에는 위와 같이 파일 처리를 해서 파일을 직접 읽는다면 대용량도 간단하게 처리가 가능합니다.

---

DataFrame SQL 예시 코드

다음은 SQL 데이터베이스에서 데이터프레임을 생성하는 예시 코드입니다.

import pandas as pd
import sqlite3

# SQLite 데이터베이스에 연결
conn = sqlite3.connect('example.db')

# SQL 쿼리를 이용하여 데이터프레임 생성
query = "SELECT * FROM customers"
df = pd.read_sql_query(query, conn)
print(df)

# 연결 종료
conn.close()

위의 소스 코드와 같이 Pandas 라이브러리를 사용하여 다양한 데이터 소스로부터 데이터프레임을 생성하고 처리할 수 있습니다.

---

최종 정리

오늘은 파이썬의 데이터프레임에 대한 사용 목적과 장점, 간단한 예제를 정리해 봤습니다.

다른 언어를 개발하다가 파이썬을 개발해보면 정말 간단하고 쉽다는 것을 느낄 수 있습니다. Pandas 라이브러리의 데이터프레임 또한 다루는 것이 간단하며, 간단한 예제부터 하나씩 처리하다 보면 대용량 데이터 처리, 인공지능, 데이터 분석 등 하나씩 스킬을 쌓아갈 수 있습니다.

기초부터 다시 정리를 해보니 현재는 다른 업무를 보고 있지만 데이터프레임을 사용했을 때 쉬우면서도 어려웠던 기억이 남습니다. 물론 그 경험을 통해 이렇게 하나씩 정리를 하면서 다시 한번 보니 도움이 많이 되는 것 같습니다 !

그럼 다음 포스팅에도 이어서 데이터프레임을 응용하는 내용들을 정리해서 올리도록 하겠습니다.

감사합니다.