6.5.3 Pattern

Search…
6.5.3 Pattern
  앞에서 살펴본 토크나이저들은 다소 차이는 있지만 기본적으로는 공백을 기준으로 하여 텀 들을 분리합니다. 분석 할 데이터가 사람이 읽는 일반적인 문장이 아니라 서버 시스템이나 IoT 장비 등에서 수집된 머신 데이터인 경우 공백이 아닌 쉼표나 세로선 같은 기호가 값 항목의 구분자로 사용되는 경우가 종종 있습니다. 이런 특수한 문자를 구분자로 사용하여 텀을 분리하고 싶은 경우 사용할 수 있는 것이 Pattern 토크나이저 입니다.
  Pattern 토크나이저는 분리할 패턴을 기호 또는 Java 정규식 형태로 지정할 수 있습니다. 구분자 지정은 pattern 항목에 설정합니다. 다음은 인덱스 pat_tokenizer에 슬래시 /를 구분자로 하는 my_pat_tokenizer라는 사용자 정의 토크나이저를 만들고 "/usr/share/elasticsearch/bin" 를 분석하는 예제입니다.
pat_tokenizer 인덱스에 my_pat_tokenizer 토크나이저 생성
1
PUT pat_tokenizer
2
{
3
  "settings": {
4
    "analysis": {
5
      "tokenizer": {
6
        "my_pat_tokenizer": {
7
          "type": "pattern",
8
          "pattern": "/"
9
        }
10
      }
11
    }
12
  }
13
}
Copied!
request
response
my_pat_tokenizer 토크나이저로 문장 분석
1
GET pat_tokenizer/_analyze
2
{
3
  "tokenizer": "my_pat_tokenizer",
4
  "text": "/usr/share/elasticsearch/bin"
5
}
Copied!
my_pat_tokenizer 토크나이저로 문장 분석 결과
1
{
2
  "tokens" : [
3
    {
4
      "token" : "usr",
5
      "start_offset" : 1,
6
      "end_offset" : 4,
7
      "type" : "word",
8
      "position" : 0
9
    },
10
    {
11
      "token" : "share",
12
      "start_offset" : 5,
13
      "end_offset" : 10,
14
      "type" : "word",
15
      "position" : 1
16
    },
17
    {
18
      "token" : "elasticsearch",
19
      "start_offset" : 11,
20
      "end_offset" : 24,
21
      "type" : "word",
22
      "position" : 2
23
    },
24
    {
25
      "token" : "bin",
26
      "start_offset" : 25,
27
      "end_offset" : 28,
28
      "type" : "word",
29
      "position" : 3
30
    }
31
  ]
32
}
Copied!
  "pattern": "/" 같은 단일 기호 외에도 알파벳 대문자를 기준으로 텀을 분리하도록 하는 "pattern": "(?<=\\p{Lower})(?=\\p{Upper})" 와 같은 정규식(Regular Expression) 으로도 설정이 가능합니다.
6.5.2 UAX URL Email
6.5.4 Path Hierarchy
Last modified 2yr ago
Copy link