1. Pandas란?

Pandas는 데이터 분석 및 조작을 위한 Python 라이브러리로, NumPy와 함께 데이터 분석에 있어서 가장 기본이 되는 라이브러리입니다. Numpy를 기반으로 개발되어 다양한 형태의 데이터를 효과적으로 처리할 수 있는 여러 가지 기능을 제공합니다. 특히 대규모 데이터 세트를 처리하고, 표 형태의 구조화된 데이터를 다루기에 용이합니다.

Pandas는 크게 Series와 DataFrame 두 가지 주요 데이터 구조를 제공합니다.

• Series는 인덱스를 가진 1차원 배열과 유사한 구조로, 주로 DataFrame의 열을 나타냅니다.
• DataFrame은 2차원 테이블(배열) 형태의 데이터 구조로 행과 열을 가집니다. 또한 Panel이라는 3차원 데이터 구조도 제공됩니다.

2. Pandas 주요 기능

1. 데이터 입출력: 다양한 파일 형식(CSV, Excel, SQL 데이터베이스, JSON 등)으로부터 데이터를 읽어오거나 저장할 수 있는 기능을 제공합니다.
2. 데이터 선택 및 필터링: loc, iloc, 조건부 선택 등을 사용하여 데이터의 특정 부분을 선택하고 필터링할 수 있습니다.
3. 데이터 인덱싱 및 슬라이싱: 데이터를 인덱싱하거나 슬라이싱하여 필요한 부분만 추출할 수 있습니다.
4. 데이터 조작 및 변환: 결측값 처리, 데이터 정렬, 데이터 형 변환, 문자열 데이터 조작 등 데이터 형식을 변환하거나, 데이터를 추가, 수정, 삭제하는 기능을 제공합니다.
5. 데이터 결합 및 병합: concat, merge, join 함수를 사용하여 데이터프레임을 결합하고 병합할 수 있습니다.
6. 데이터 그룹화 및 집계: groupby 기능을 통해 데이터를 그룹화하고, 집계 함수를 적용하여 데이터를 요약할 수 있습니다.
7. 시계열 데이터 처리: 시간 인덱스 생성 및 조작, 시계열 데이터 분석, 리샘플링 등에 특화된 기능을 제공합니다.
8. 데이터 시각화: Matplotlib 라이브러리와 통합되어 데이터를 시각화 할 수 있는 기능을 제공합니다.

Pandas는 다른 Python 라이브러리와도 잘 호환되며, 데이터 분석 작업을 더 쉽고 효율적으로 수행할 수 있도록 설계되어 데이터 분석 분야에서 널리 사용되고 있습니다. Pandas는 다른 데이터 분석 라이브러리인 NumPy, Matplotlib, Scikit-learn 등과 함께 사용되어 데이터 분석 및 머신 러닝에 유용합니다.

3. Pandas 설치와 버전 확인

Pandas는 Numpy와 마찬가지로 pip를 사용하여 설치할 수 있습니다. 다음은 Pandas를 설치하는 방법입니다. 위니북스와 코랩에는 설치가 되어 있습니다.

3.1 Windows

1. 먼저, Python을 설치합니다. Python 3.x 버전을 사용하시는 것을 권장합니다.
2. 명령 프롬프트(cmd)를 열고, 다음 명령어를 입력합니다.

   $ pip install pandas
   

3. 설치가 완료되면, 다음과 같이 Pandas 버전을 확인할 수 있습니다. 정상적으로 설치되었다면 Pandas의 버전이 출력되고, 설치되지 않았다면 ImportError가 발생합니다.

   $ python -c "import pandas as pd; print(pd.__version__)"
   

3.2 MacOS

1. 먼저, Homebrew를 설치합니다. 다음 명령어를 터미널에서 실행합니다.

   $ /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
   

2. 다음으로, Python을 설치합니다.

   $ brew install python
   

3. 이제, 다음 명령어를 터미널에서 실행하여 Pandas를 설치합니다.

   $ pip install pandas
   

4. 설치가 완료되면, 다음과 같이 Pandas 버전을 확인할 수 있습니다. 정상적으로 설치되었다면 Pandas의 버전이 출력되고, 설치되지 않았다면 ImportError가 발생합니다.

   $ python -c "import pandas as pd; print(pd.__version__)"
   

3.3 Linux

1. 먼저, Linux 배포판의 패키지 관리자를 이용하여 Python을 설치합니다.

   • Debian/Ubuntu:

     $ sudo apt-get update
     $ sudo apt-get install python3
     

   • Fedora:

     $ sudo dnf update
     $ sudo dnf install python3
     

   • CentOS/RHEL:

     $ sudo yum update
     $ sudo yum install python3
     

2. 다음 명령어를 실행하여 Pandas를 설치합니다.

   $ pip install pandas
   

3. 설치가 완료되면, 다음과 같이 Pandas 버전을 확인할 수 있습니다. 정상적으로 설치되었다면 Pandas의 버전이 출력되고, 설치되지 않았다면 ImportError가 발생합니다.

   $ python -c "import pandas as pd; print(pd.__version__)"
   

위의 방법들은 각 운영체제에 기본적으로 설치된 Python 버전을 이용하여 Pandas를 설치합니다. Python 버전이 충돌이나 다른 문제로 인해 원하는 결과를 얻을 수 없을 경우, 가상환경(virtual environment)을 이용하여 Python 및 Pandas를 설치하는 것을 권장합니다.

3.4 가상환경에 설치하기

1. 가상환경을 생성합니다.

   $ python3 -m venv myenv
   

2. 가상환경을 활성화 시킵니다.

   # Windows의 경우
   $ myenv\\Scripts\\activate
   
   # Mac/Linux의 경우
   $ source myenv/bin/activate
   

3. 다음 명령어를 실행하여 Pandas를 설치합니다.

   $ pip install pandas
   

   설치가 완료되면, 다음과 같이 Pandas 버전을 확인할 수 있습니다. 정상적으로 설치되었다면 Pandas의 버전이 출력되고, 설치되지 않았다면 ImportError가 발생합니다.

   $ python -c "import pandas as pd; print(pd.__version__)"
   

4. 가상환경을 비활성화 합니다.

   $ deactivate
   

3.5 Google Colab, 위니북스

위니북스와 코랩에는 설치가 되어 있습니다.

1. 다음 명령어를 실행하여 Pandas를 설치합니다.

   $ !pip install pandas
   

2. 설치가 완료되면, 다음과 같이 Pandas 버전을 확인할 수 있습니다. 정상적으로 설치되었다면 Pandas의 버전이 출력되고, 설치되지 않았다면 ImportError가 발생합니다.

   import pandas as pd
   
   print(pd.__version__) # 판다스 설치 확인
   

4. Pandas를 사용하여 데이터 읽기

Pandas 라이브러리를 활용하여 웹에 있는 다양한 형태의 데이터를 읽어들이고 분석을 진행하겠습니다. Pandas는 다양한 데이터 포맷을 지원하며, read_csv(), read_excel(), read_sql(), read_json() 등의 함수를 제공합니다. 이번에는 read_csv() 함수, read_html() 함수를 사용하여 데이터를 읽어들이는 방법을 살펴보겠습니다.

import pandas as pd
from pyodide.http import open_url

data = open_url('https://paullab.co.kr/titanic_train.csv')
df = pd.read_csv(data)
df

import pandas as pd
from pyodide.http import open_url

data = open_url('https://paullab.co.kr/stock.html')
df = pd.read_html(data)
df[0] # 0, 1, 2 등을 차례로 넣어보세요.