8.1 메트릭 - Metrics Aggregations
이 문서의 허가되지 않은 무단 복제나 배포 및 출판을 금지합니다. 본 문서의 내용 및 도표 등을 인용하고자 하는 경우 출처를 명시하고 김종민([email protected])에게 사용 내용을 알려주시기 바랍니다.
가장 흔하게 사용되는 metrics aggregations 은 min, max, sum, avg aggregation 입니다. 순서대로 명시한 필드의 최소, 최대, 합, 평균 값을 가져오는 aggregation 입니다. 다음은 sum aggregation을 이용해서 my_stations 에 있는 전체 데이터의 passangers 필드값의 합계를 가져오는 예제입니다.
request
response
my_stations 인덱스의 passangers 필드 합 (sum) 을 가져오는 aggs
GET my_stations/_search
{
"size": 0,
"aggs": {
"all_passangers": {
"sum": {
"field": "passangers"
}
}
}
}
my_stations 인덱스의 passangers 필드 합 (sum) 을 가져오는 aggs 결과
{
"took" : 1,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 10,
"relation" : "eq"
},
"max_score" : null,
"hits" : [ ]
},
"aggregations" : {
"all_passangers" : {
"value" : 41995.0
}
}
}
min, max, avg 들도 사용 방법은 동일하니 한번 해 보시기 바랍니다.
aggregations 만 사용하는 경우에는
"size": 0 을 지정 하면 "hits": [ ] 에 불필요한 도큐먼트 내용이 나타나지 않아 보기에도 편하고 도큐먼트를 fetch 해 오는 과정을 생략할 수 있어 쿼리 성능도 좋아집니다. aggregation해 오는 도큐먼트들은 같이 입력된 query 문의 영향을 받습니다. 다음은 my_stations에서
"station": "강남" 인 도큐먼트들의 합계를 가져오는 예제입니다.request
response
stations 값이 "강남" 인 도큐먼트들의 passangers 필드 합 (sum) 을 가져오는 aggs
GET my_stations/_search
{
"query": {
"match": {
"station": "강남"
}
},
"size": 0,
"aggs": {
"gangnam_passangers": {
"sum": {
"field": "passangers"
}
}
}
}
stations 값이 "강남" 인 도큐먼트들의 passangers 필드 합 (sum) 을 가져오는 aggs 결과
{
"took" : 0,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 5,
"relation" : "eq"
},
"max_score" : null,
"hits" : [ ]
},
"aggregations" : {
"gangnam_passangers" : {
"value" : 29656.0
}
}
}
처음 쿼리와 다르게 전체 hits 결과는 5개이고 aggregation 결과도 41995 에서 29656 으로 줄어든 것을 확인할 수 있습니다.
min, max, sum, avg 값을 모두 가져와야 한다면 다음과 같이 stats aggregation을 사용하면 위 4개의 값 모두와 count 값을 한번에 가져옵니다.
request
response
stats 로 passangers 필드의 min, max, sum, avg 값을 가져오는 aggs
GET my_stations/_search
{
"size": 0,
"aggs": {
"passangers_stats": {
"stats": {
"field": "passangers"
}
}
}
}
stats 로 passangers 필드의 min, max, sum, avg 값을 가져오는 aggs 결과
{
"took" : 2,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 10,
"relation" : "eq"
},
"max_score" : null,
"hits" : [ ]
},
"aggregations" : {
"passangers_stats" : {
"count" : 10,
"min" : 971.0,
"max" : 6478.0,
"avg" : 4199.5,
"sum" : 41995.0
}
}
}
필드의 값이 모두 몇 종류인지 분포값을 알려면 cardinality aggregation을 사용해서 구할 수 있습니다. Cardinality 는 일반적으로 text 필드에서는 사용할 수 없으며 숫자 필드나 keyword, ip 필드 등에 사용이 가능합니다. 사용자 접속 로그에서 IP 주소 필드를 가지고 실제로 접속한 사용자가 몇명인지 파악하는 등의 용도로 주로 사용됩니다. 다음은 my_stations 인덱스에서 line 필드의 값이 몇 종류인지를 계산하는 예제입니다.
request
response
line 필드의 값이 몇 종류인지를 가져오는 aggs
GET my_stations/_search
{
"size": 0,
"aggs": {
"uniq_lines ": {
"cardinality": {
"field": "line.keyword"
}
}
}
}
line 필드의 값이 몇 종류인지를 가져오는 aggs 결과
{
"took" : 15,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 10,
"relation" : "eq"
},
"max_score" : null,
"hits" : [ ]
},
"aggregations" : {
"uniq_lines " : {
"value" : 3
}
}
}
위 쿼리 결과
"uniq_lines " : { "value" : 3 } 처럼 실제로 line 필드에는 "1호선", "2호선", "3호선" 총 3 종류의 값들이 있습니다. 값들을 백분위 별로 보기 위해서 percentiles aggregation 의 사용이 가능합니다. 먼저 passangers 필드에 percentiles aggregation 적용 한 것을 확인 해 보겠습니다.
request
response
passangers 필드의 백분위를 가져오는 aggs
GET my_stations/_search
{
"size": 0,
"aggs": {
"pass_percentiles": {
"percentiles": {
"field": "passangers"
}
}
}
}
passangers 필드의 백분위를 가져오는 aggs 결과
{
"took" : 2,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 10,
"relation" : "eq"
},
"max_score" : null,
"hits" : [ ]
},
"aggregations" : {
"pass_percentiles" : {
"values" : {
"1.0" : 971.0000000000001,
"5.0" : 971.0,
"25.0" : 2314.0,
"50.0" : 4766.5,
"75.0" : 5821.0,
"95.0" : 6478.0,
"99.0" : 6478.0
}
}
}
}
percentiles aggregation은 디폴트로 1%, 5%, 25%, 50%, 75%, 95%, 99% 구간에 위치 해 있는 값들을 표시 해 줍니다. 백분위 구간을 직접 지정하고 싶으면 percents 옵션을 이용해서 지정이 가능합니다. 다음은 20%, 60%, 80% 백분위의 값을 가져오는 percentiles aggregation 입니다.
request
response
passangers 필드의 백분위를 지정해서 가져오는 aggs
GET my_stations/_search
{
"size": 0,
"aggs": {
"pass_percentiles": {
"percentiles": {
"field": "passangers",
"percents": [ 20, 60, 80 ]
}
}
}
}
passangers 필드의 백분위를 지정해서 가져오는 aggs 결과
{
"took" : 1,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 10,
"relation" : "eq"
},
"max_score" : null,
"hits" : [ ]
},
"aggregations" : {
"pass_percentiles" : {
"values" : {
"20.0" : 1667.5,
"60.0" : 5568.0,
"80.0" : 6021.0
}
}
}
}
percentile_ranks aggregation을 이용하면 반대로 값을 입력해서 그 값이 위치 해 있는 백분위를 볼 수 있습니다.
request
response
passangers 필드의 값을 지정해서 백분위를 가져오는 aggs
GET my_stations/_search
{
"size": 0,
"aggs": {
"pass_percentile_ranks": {
"percentile_ranks": {
"field": "passangers",
"values": [ 1000, 3000, 6000 ]
}
}
}
}
passangers 필드의 값을 지정해서 백분위를 가져오는 aggs 결과
{
"took" : 1,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 10,
"relation" : "eq"
},
"max_score" : null,
"hits" : [ ]
},
"aggregations" : {
"pass_percentile_ranks" : {
"values" : {
"1000.0" : 10.059568131049886,
"3000.0" : 29.218263576617087,
"6000.0" : 79.1549295774648
}
}
}
}
위 쿼리에서 입력한 passangers 값 1000, 3000, 6000이 각각 10.059...%, 29.218...%, 79.154...% 백분위에 위치 한 결과를 확인할 수 있습 니다. percentile_ranks aggregation 은 전체 수험생의 성적 중에서 특정 점수가 상위 몇% 에 있는지 등을 파악할 때 매우 편리하게 사용할 수 있습니다.
Last modified 3yr ago