df.compute(num_workers = n)- 병렬처리 프레임워크
- 분산환경에서 데이터를 효율적으로 처리하기 위함
persist(): 객체를 영속화 시켜 분산된 클러스터에 계산을 저장하고 재사용 가능하게 함compute(): 영속화된 데이터를 가져와 실제로 객체를 계산을 수행
df = df.persist()
df = df.compute()Jul 21, 20251 min read
df.compute(num_workers = n)persist(): 객체를 영속화 시켜 분산된 클러스터에 계산을 저장하고 재사용 가능하게 함compute(): 영속화된 데이터를 가져와 실제로 객체를 계산을 수행df = df.persist()
df = df.compute()