데이터 엔지니어 이것저것

Ray 본문

개발언어/Python

Ray

pastime 2021. 9. 24. 19:34
728x90

Ray란? 분산 애플리케이션을 구축하기 위한 단순하고 보편적인 API

파이썬에서 병렬처리를 할 경우 멀티프로세싱을 주로 사용한다.

하지만 해당 라이브러리를 사용하기 위해선 기존에 작성한 코드를 수정해야한다.

Process 기반으로 분산처리, 병렬처리 진행

 

장점

  1. 기존 코드에서 약간의 수정만으로 병렬 처리 가능
    마지막에 병렬로 구현
    데코레이터로 감싸기
    클래스도 데코레이터 가능
  2. 클러스터 환경에서도 구축 가능
  3. Dashboard가 존재하여 성능, 로그 확인 가능 (8265 포트 사용)
  4. 멀티프로세싱보다 빠른 성능
  5. 머신러닝/딥러닝에 활용하기 최적

 

pip install ray

--에러가 날 경우 아래 명령어
pip install "ray[default]"

 

현재 윈도우 환경은 개발 진행중으로 안됨

728x90

'개발언어 > Python' 카테고리의 다른 글

크롤링 ip 차단 해제 or 우회  (0) 2021.09.26
셀레니움 자동로그인, 봇 회피  (0) 2021.09.26
python db 연결속도  (0) 2021.06.03
request로 File 보내기  (1) 2020.12.20
윈도우 알림 기능  (0) 2020.12.19