hojichar.filters.tokenization

 1from typing import List
 2
 3from hojichar.core.filter_interface import Filter
 4from hojichar.core.models import Document
 5
 6
 7class BlankCharTokenizer(Filter):
 8    """
 9    Tokenizer の実装例です.
10    ドキュメントを空白文字でトークンに分割します.
11    """
12
13    def apply(self, document: Document) -> Document:
14        tokens = self.tokenize(document.text)
15        document.set_tokens(tokens)
16        return document
17
18    def tokenize(self, text: str) -> List[str]:
19        """
20        >>> BlankCharTokenizer().tokenize("hello world")
21        ['hello', 'world']
22        """
23        return text.split()
24
25
26class MergeTokens(Filter):
27    """
28    Merger の実装例です.
29    破棄されていないトークンを結合し, Document を更新します.
30    """
31
32    def merge(self, tokens: List[str]) -> str:
33        """
34        >>> MergeTokens().merge(["hoo", "bar"])
35        'hoobar'
36        """
37        return "".join(tokens)
38
39    def apply(self, document: Document) -> Document:
40        remained_tokens = [token.text for token in document.tokens if not token.is_rejected]
41        document.text = self.merge(remained_tokens)
42        return document
43
44
45class SentenceTokenizer(Filter):
46    """
47    日本語を想定したセンテンス単位のトーカナイザです.
48    句点`。`で文章を区切ります. これだけでは実際の日本語テキストで不十分な例が多くある
49    (句点にピリオドが用いられる, 会話のカギカッコ内で句点が用いられるなど)ため,
50    将来的には適切なセンテンス単位のトーカナイザに置き換えられるべきです.
51    """
52
53    def apply(self, document: Document) -> Document:
54        tokens = self.tokenize(document.text)
55        document.set_tokens(tokens)
56        return document
57
58    def tokenize(self, text: str) -> List[str]:
59        """
60        >>> SentenceTokenizer().tokenize("おはよう。おやすみ。ありがとう。さよなら。")
61        ['おはよう。', 'おやすみ。', 'ありがとう。', 'さよなら。']
62
63        >>> SentenceTokenizer().tokenize("さよなら。また来週")
64        ['さよなら。', 'また来週']
65        """
66        tokens = text.split("。")
67        if len(tokens) > 1:
68            if text.endswith("。"):
69                tokens = [token + "。" for token in tokens[:-1]]
70            else:
71                last = tokens[-1]
72                tokens = [token + "。" for token in tokens]
73                tokens[-1] = last
74
75        return tokens