목록오픈소스/ES (4)

데이터 엔지니어 이것저것

Elasticsearch 클러스터, 노드 및 샤드

엘라스틱 서치는 항상 사용 가능하고 필요에 따라 확장 할 수 있도록 구축되었습니다. 클러스터에 서버 (노드)를 추가하여 용량을 늘릴 수 있으며, 엘라스틱 서치는 사용 가능한 모든 노드에 데이터와 쿼리로드를 자동으로 분산합니다. Elasticsearch 인덱스는 실제로 하나 이상의 물리적 샤드의 논리적 그룹이며 각 샤드는 실제로 자체 포함 된 인덱스입니다. 인덱스의 문서를 여러 샤드에 분산하고 이러한 샤드를 여러 노드에 분산함으로써 Elasticsearch는 중복성을 보장 할 수 있습니다.이 두 가지 모두 하드웨어 장애로부터 보호하고 노드가 클러스터에 추가 될 때 쿼리 용량을 증가시킵니다. 클러스터가 확장 (또는 축소)되면 Elasticsearch는 자동으로 샤드를 마이그레이션하여 클러스터를 재조정합니다...
오픈소스/ES 2020. 12. 30. 09:48
docker-compose Elasticsearch

도커를 활용한 엘라스틱 서치 설치 및 기본 세팅 기본적인 소스코드 https://github.com/deviantony/docker-elk.git deviantony/docker-elk The Elastic stack (ELK) powered by Docker and Compose. - deviantony/docker-elk github.com git clone https://github.com/deviantony/docker-elk.git cd docker-elk X-pack 제거 및 pw 변경 참고 velog.io/@dion/Docker%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%B4%EC%84%9C-ELK-%EC%8A%A4%ED%83%9D-%EC%84%A4%EC%B9%98%ED%9..
오픈소스/ES 2020. 12. 29. 20:48
엘라스틱서치와 관계형 데이터 베이스 비교

엘라스틱서치 관계형 데이터베이스 인덱스 데이터베이스 샤드 파티션 타입 테이블 문서 행 필드 열 매핑 스키마 Query DSL SQL 엘라스틱서치 HTTP 메서드 기능 DB 질의 문법 GET 데이터 조회 SELECT PUT 데이터 생성 INSERT POST 인덱스 업데이트, 데이터 조회 UPDATE, SELECT DELETE 데이터 삭제 DELETE DEAD 인덱스의 정보 확인 - API요청 구조 example) curl -x(메서드) http://host:port/(index)/(type)/(문서 ID) -d' {json data}
오픈소스/ES 2020. 5. 28. 21:20
ELK란?

모든 유형의 구조화 및 비정형 데이터에서 실시간으로 실행 가능한 통찰력을 제공하는 End to End Stack 데이터를 검색하보 분석하는데 용이하다 ELK Elasticsearch : 검색 및 분석 엔진 Logstash : 여러 소스에서 동시에 데이터를 수집하여 변환후 "stash"로 전송하는 서버 사이드 데이터 처리 파이프 라인 Kibana : 사용자가 엘라스틱에서 차트와 그래프를 이용해 데이터를 시각화 Json 기반의 분산형 오픈소스 restful 검색 엔진 ELK Stack 이란? - ELK 솔루션에서 Beats 추가되면서 ELK Stack 이라고 불립니다. Beats : 서버에 에이전트로 설치하여 다양한 유형의 데이터를 Elastic Search 또는 Logstash에 전송하는 오픈 소스 데이터..
오픈소스/ES 2020. 5. 26. 21:04
이전 Prev 1 Next 다음