Notice
Recent Posts
Recent Comments
Link
250x250
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
Tags
- kafka
- airflow
- freshness
- 모바일
- 크롤링
- Materializations
- 파이썬
- 카프카
- bar cahrt
- 도커
- DBT
- spark
- 윈도우
- dbt_project
- proerty
- KubernetesPodOperator
- CDC
- polars
- Python
- spring boot
- ksql
- UI for kafka
- query history
- numpartitions
- 쿠버네티스
- docker
- mysql
- k9s
- 동적 차트
- Java
Archives
- Today
- Total
데이터 엔지니어 이것저것
Ray 본문
728x90
Ray란? 분산 애플리케이션을 구축하기 위한 단순하고 보편적인 API
파이썬에서 병렬처리를 할 경우 멀티프로세싱을 주로 사용한다.
하지만 해당 라이브러리를 사용하기 위해선 기존에 작성한 코드를 수정해야한다.
Process 기반으로 분산처리, 병렬처리 진행
장점
- 기존 코드에서 약간의 수정만으로 병렬 처리 가능
마지막에 병렬로 구현
데코레이터로 감싸기
클래스도 데코레이터 가능 - 클러스터 환경에서도 구축 가능
- Dashboard가 존재하여 성능, 로그 확인 가능 (8265 포트 사용)
- 멀티프로세싱보다 빠른 성능
- 머신러닝/딥러닝에 활용하기 최적
pip install ray
--에러가 날 경우 아래 명령어
pip install "ray[default]"
현재 윈도우 환경은 개발 진행중으로 안됨
728x90
'개발언어 > Python' 카테고리의 다른 글
크롤링 ip 차단 해제 or 우회 (0) | 2021.09.26 |
---|---|
셀레니움 자동로그인, 봇 회피 (0) | 2021.09.26 |
python db 연결속도 (0) | 2021.06.03 |
request로 File 보내기 (1) | 2020.12.20 |
윈도우 알림 기능 (0) | 2020.12.19 |