hojichar.filters.document_filters

   1import json
   2import logging
   3import pathlib
   4import re
   5import string
   6import time
   7import unicodedata
   8from collections import Counter
   9from itertools import groupby
  10from os import PathLike
  11from typing import Any, Dict, List, Optional, Union
  12
  13import numpy as np
  14
  15import hojichar
  16from hojichar.core.filter_interface import Filter
  17from hojichar.core.models import Document, Token
  18
  19try:
  20    import emoji
  21    from fugashi import Tagger  # type: ignore
  22
  23    is_loaded_extras = True
  24except ImportError:
  25    is_loaded_extras = False
  26
  27BASE_PATH = pathlib.Path(hojichar.__path__[0])
  28logger = logging.getLogger(__name__)
  29
  30
  31class ExampleHojiChar(Filter):
  32    """基本的なフィルタの実装例です. 末尾に'<hojichar>'を追加します."""
  33
  34    def apply(self, document: Document) -> Document:
  35        """
  36        >>> ExampleHojiChar()("hello, world")
  37        'hello, world<hojichar>'
  38        """
  39        document.text += "<hojichar>"
  40        return document
  41
  42
  43class ExampleDiscardDocumentContainKeyword(Filter):
  44    """特定のキーワードを持つドキュメントを破棄するようなフィルタの実装例です."""
  45
  46    def __init__(self, keyword: str, *args: Any, **kwargs: Any) -> None:
  47        super().__init__(*args, **kwargs)
  48        self.keyword = keyword
  49
  50    def apply(self, document: Document) -> Document:
  51        """
  52        >>> ExampleDiscardDocumentContainKeyword("バカ").apply(Document("あいつはバカだ")).is_rejected
  53        True
  54        """
  55        if self.keyword in document.text:
  56            document.is_rejected = True
  57        return document
  58
  59
  60class Identity(Filter):
  61    """何も変化を加えないフィルタです. テスト・デバッグに用いられます."""
  62
  63    def apply(self, document: Document) -> Document:
  64        return document
  65
  66
  67class DiscardAll(Filter):
  68    """
  69    すべてのドキュメントを破棄するフィルタです.
  70    テスト・デバッグに用いられます.
  71    """
  72
  73    def apply(self, document: Document) -> Document:
  74        document.is_rejected = True
  75        return document
  76
  77
  78class ApplyDiscard(Filter):
  79    """
  80    上流フィルタで破棄された`Document`を空文字列にします.
  81
  82    `Document.is_rejected=True` の ドキュメントは無視されるため,
  83    このフィルタを `Compose` のコンストラクタに渡しても動作しません.
  84    このフィルタは主に`Compose` 内部や, `discard_filtered=False` を指定
  85    したデバッグ時などに利用されます.
  86    """
  87
  88    def __init__(self, *args: Any, **kwargs: Any) -> None:
  89        super().__init__(*args, **kwargs)
  90
  91    def apply(self, document: Document) -> Document:
  92        """
  93        >>> ApplyDiscard().apply(Document(text="hello", is_rejected=True)).text
  94        ''
  95        """
  96        if document.is_rejected:
  97            document.text = ""
  98
  99        return document
 100
 101
 102class Sleep(Filter):
 103    """
 104    デバッグ用のフィルタです. 指定秒スリープします.
 105    """
 106
 107    def __init__(self, time: float = 1.0, *args: Any, **kwargs: Any) -> None:
 108        super().__init__(*args, **kwargs)
 109        self.time = time
 110
 111    def apply(self, document: Document) -> Document:
 112        """
 113        >>> Sleep(0.1)('hello')  # After 0.1 seconds,
 114        'hello'
 115        """
 116        time.sleep(self.time)
 117        return document
 118
 119
 120class DocumentNormalizer(Filter):
 121    """
 122    Unicode の正規化をします.
 123    """
 124
 125    def __init__(self, *args: Any, **kwargs: Any) -> None:
 126        super().__init__(*args, **kwargs)
 127
 128    def apply(self, document: Document) -> Document:
 129        document.text = unicodedata.normalize("NFKC", document.text)
 130        return document
 131
 132
 133class JSONLoader(Filter):
 134    """
 135    テキストを Json として解釈し, `key` で指定した要素を文字列として
 136    doument に格納します.デフォルトの `key` は 'text' です.
 137
 138    Json の読み込み, あるいは `key` の読み込みに失敗した際には例外を送出します.
 139    これらを無視する場合は, `ignore=True` にします. その際, 読み込みに失敗
 140    したドキュメントは破棄されます.
 141    """
 142
 143    def __init__(
 144        self,
 145        key: str = "text",
 146        ignore: bool = False,
 147        extra_keys: Optional[List[str]] = None,
 148        *args: Any,
 149        **kwargs: Any,
 150    ) -> None:
 151        super().__init__(*args, **kwargs)
 152        self.key = key
 153        self.ignore = ignore
 154        self.extra_keys = extra_keys
 155
 156    def apply(self, document: Document) -> Document:
 157        """
 158        >>> JSONLoader()( '{"text": "hello, world", "words": 2}' )
 159        'hello, world'
 160
 161        >>> JSONLoader()( '{"text": hello, world ....' ) # Broken JSON
 162        Traceback (most recent call last):
 163            ...
 164        json.decoder.JSONDecodeError: Expecting value: line 1 column 10 (char 9)
 165
 166        >>> JSONLoader()( '{"words": 2}' )
 167        Traceback (most recent call last):
 168            ...
 169        KeyError: 'text'
 170
 171        >>> JSONLoader(ignore=True).apply(Document('{"text": hello, world ....' )).is_rejected
 172        True
 173        """
 174        try:
 175            data = json.loads(document.text)
 176            document.text = str(data[self.key])
 177            if self.extra_keys is not None:
 178                document.extras = {key: data[key] for key in self.extra_keys if key in data}
 179        except Exception as e:
 180            logger.error(f"Failed to parsing in JSONLoader. Input document: \n{document.text}")
 181            if self.ignore:
 182                document.is_rejected = True
 183                return document
 184            else:
 185                raise e
 186
 187        return document
 188
 189
 190class JSONDumper(Filter):
 191    """
 192    Document.text の文字列を json に変換します.
 193    必要に応じ Document のメタデータを付与します. これはドキュメントの破棄事由が含まれ、偽陽性の分析に有効です。
 194    デフォルトで `skip_rejected` が `False` にセットされており、Document の破棄フラグにかかわらず
 195    処理されます。
 196    """
 197
 198    def __init__(
 199        self,
 200        dump_reason: bool = False,
 201        p: float = 1,
 202        skip_rejected: bool = False,
 203        *args: Any,
 204        **kwargs: Any,
 205    ) -> None:
 206        """
 207        Args:
 208            dump_reason (bool, optional): `is_rejected`, `reason` エントリをダンプします. Defaults to False.
 209            p (float, optional): Apply probability. Defaults to 1.
 210            skip_rejected (bool, optional): 破棄済みサンプルを排除しません.
 211        """
 212        super().__init__(p, skip_rejected, *args, **kwargs)
 213        self.dump_reason = dump_reason
 214
 215    def apply(self, document: Document) -> Document:
 216        """
 217        >>> JSONDumper()("hojichar")
 218        '{"text": "hojichar"}'
 219        """
 220        text = document.text
 221        if self.dump_reason:
 222            document.text = json.dumps(
 223                {
 224                    "text": text,
 225                    "is_rejected": document.is_rejected,
 226                    "reason": document.reject_reason,
 227                },
 228                ensure_ascii=False,
 229            )
 230        else:
 231            document.text = json.dumps({"text": text}, ensure_ascii=False)
 232        return document
 233
 234
 235class DocumentLengthFilter(Filter):
 236    """
 237    `min_doc_len`, `max_doc_len` で指定した上限・下限の範囲内にないドキュメントを破棄します.
 238    デフォルトでは 200字 以上 50000字以内のテキストが受理されます.
 239    """
 240
 241    def __init__(
 242        self,
 243        min_doc_len: Optional[int] = None,
 244        max_doc_len: Optional[int] = None,
 245        *args: Any,
 246        **kwargs: Any,
 247    ) -> None:
 248        super().__init__(*args, **kwargs)
 249
 250        self.min_doc_len = min_doc_len
 251        self.max_doc_len = max_doc_len
 252
 253    def apply(self, doc: Document) -> Document:
 254        """
 255        >>> DocumentLengthFilter(min_doc_len=5).apply(Document("1234")).is_rejected
 256        True
 257        """
 258        doc_len = len(doc.text)
 259        if self.min_doc_len is not None:
 260            if doc_len < self.min_doc_len:
 261                doc.is_rejected = True
 262        if self.max_doc_len is not None:
 263            if self.max_doc_len < doc_len:
 264                doc.is_rejected = True
 265        return doc
 266
 267
 268class NgWordsFilterJa(Filter):
 269    """
 270    日本語のNGワード(および不適切語)を含む文書を破棄します.
 271    `dict_path` で指定したファイルから, キーワードのリストを得ます.
 272    ファイルは単語が改行で羅列されたテキストファイルです.
 273
 274    `ignore_confused` を `True` にすると,
 275    偽陽性を軽減するために, カタカナのNGワードは前後にカタカナが無い場合のみNG判定されます.
 276    デフォルト値は `False` です.
 277    """
 278
 279    def __init__(
 280        self,
 281        dict_path: Union[str, PathLike],
 282        ignore_confused: bool = False,
 283        *args: Any,
 284        **kwargs: Any,
 285    ) -> None:
 286        super().__init__(*args, **kwargs)
 287
 288        with open(dict_path, encoding="utf-8") as fp:
 289            ng_words = fp.read().split("\n")
 290        ng_words = [w.strip() for w in ng_words if not len(w) == 0]
 291
 292        if ignore_confused:
 293            words_katakana = []
 294            words_not_katakana = []
 295            for w in ng_words:
 296                if re.fullmatch(r"[ァ-ヴー]+", w):
 297                    words_katakana.append(re.escape(w))
 298                else:
 299                    words_not_katakana.append(re.escape(w))
 300            katakana_pat = "|".join(words_katakana)
 301            katakana_pat = rf"(?<![ァ-ヴー])({katakana_pat})(?![ァ-ヴー])"
 302            pat = "|".join(words_not_katakana) + "|" + katakana_pat
 303            self.keyword_pat = re.compile(pat)
 304        else:
 305            ng_words = [re.escape(w) for w in ng_words]
 306            pat = "|".join(ng_words)
 307            self.keyword_pat = re.compile(pat)
 308
 309    def apply(self, doc: Document) -> Document:
 310        regex_match = self.keyword_pat.search(doc.text)
 311        if regex_match:
 312            doc.is_rejected = True
 313            self.matched_text = regex_match.group()
 314            self.matched_text_neighbor = doc.text[
 315                regex_match.start() - 20 : regex_match.end() + 20
 316            ]
 317
 318        return doc
 319
 320
 321class NgWordsFilterEn(Filter):
 322    """
 323    英語のNGワード(および不適切語)を含む文書を破棄します.
 324    `dict_path` で指定したファイルから, キーワードのリストを得ます.
 325    ファイルは単語が改行で羅列されたテキストファイルです.
 326    """
 327
 328    def __init__(self, dict_path: Union[str, PathLike], *args: Any, **kwargs: Any) -> None:
 329        super().__init__(*args, **kwargs)
 330
 331        with open(dict_path, encoding="utf-8") as fp:
 332            ng_words = fp.read().split("\n")
 333        ng_words = [re.escape(w.strip()) for w in ng_words if not len(w) == 0]
 334        pat = "|".join(ng_words)
 335        # 英語のパターンにマッチするようにしている, \s[単語]\s や [単語]. [単語], などにマッチ.
 336        self.keyword_pat = re.compile(rf"(?:^| )({pat})(?:( |,|\.)|$)", re.IGNORECASE)
 337
 338    def apply(self, doc: Document) -> Document:
 339        if self.keyword_pat.search(doc.text):
 340            doc.is_rejected = True
 341        return doc
 342
 343
 344class DiscardAdultContentJa(NgWordsFilterJa):
 345    """
 346    日本語のアダルトキーワード(および不適切語)を含む文書を破棄します.
 347    `dict_path` で指定したファイルから, キーワードのリストを得ます.
 348    ファイルは単語が改行で羅列されたテキストファイルです.
 349    デフォルトの`dict_path` は /hojichar/dict/adult_keywords_ja.txt です.
 350    """
 351
 352    def __init__(
 353        self,
 354        dict_path: Union[str, PathLike] = BASE_PATH / "dict/adult_keywords_ja.txt",
 355        *args: Any,
 356        **kwargs: Any,
 357    ) -> None:
 358        super().__init__(dict_path, *args, **kwargs)
 359
 360    def apply(self, doc: Document) -> Document:
 361        """
 362        >>> DiscardAdultContentJa().apply(Document("<TEST_STRING_OF_ADULT_KEYWORD>")).is_rejected
 363        True
 364
 365        >>> DiscardAdultContentJa().apply(Document("ほうじ茶")).is_rejected
 366        False
 367
 368        挙動は正しいが誤検知しているケース. 他にも, サック in リュックサック,
 369        >>> DiscardAdultContentJa().apply(Document("アスパラガス")).is_rejected \
 370        # Matching with NG keyword "アス"
 371        True
 372        """
 373        return super().apply(doc)
 374
 375
 376class DiscardAdultContentEn(NgWordsFilterEn):
 377    """
 378    英語のアダルトキーワード(および不適切語)を含む文書を破棄します.
 379    `dict_path` で指定したファイルから, キーワードのリストを得ます.
 380    ファイルは単語が改行で羅列されたテキストファイルです.
 381    デフォルトの`dict_path` は /hojichar/dict/adult_keywords_en.txt です.
 382    """
 383
 384    def __init__(
 385        self,
 386        dict_path: Union[str, PathLike] = BASE_PATH / "dict/adult_keywords_en.txt",
 387        *args: Any,
 388        **kwargs: Any,
 389    ) -> None:
 390        super().__init__(dict_path, *args, **kwargs)
 391
 392    def apply(self, doc: Document) -> Document:
 393        """
 394        >>> DiscardAdultContentEn().apply(Document("<TEST_STRING_OF_ADULT_KEYWORD>")).is_rejected
 395        True
 396
 397        >>> DiscardAdultContentEn().apply(Document("hojichar")).is_rejected
 398        False
 399        """
 400        return super().apply(doc)
 401
 402
 403class DiscardDiscriminationContentJa(NgWordsFilterJa):
 404    """
 405    日本語の差別キーワード(および不適切語)を含む文書を破棄します.
 406    `dict_path` で指定したファイルから, キーワードのリストを得ます.
 407    ファイルは単語が改行で羅列されたテキストファイルです.
 408    デフォルトの`dict_path` は /hojichar/dict/discrimination_keywords_ja.txt です.
 409    """
 410
 411    def __init__(
 412        self,
 413        dict_path: Union[str, PathLike] = BASE_PATH / "dict/discrimination_keywords_ja.txt",
 414        *args: Any,
 415        **kwargs: Any,
 416    ):
 417        super().__init__(dict_path, *args, **kwargs)
 418
 419    def apply(self, doc: Document) -> Document:
 420        """
 421        >>> DiscardDiscriminationContentJa().\
 422            apply(Document("<TEST_STRING_OF_DISCRIMINATION_KEYWORD>")).is_rejected
 423        True
 424
 425        >>> DiscardDiscriminationContentJa().apply(Document("ほうじ茶")).is_rejected
 426        False
 427        """
 428        return super().apply(doc)
 429
 430
 431class DiscardViolenceContentJa(NgWordsFilterJa):
 432    """
 433    日本語の暴力・脅迫を示唆するキーワードを含む文書を破棄します.
 434    `dict_path` で指定したファイルから, キーワードのリストを得ます.
 435    ファイルは単語が改行で羅列されたテキストファイルです.
 436    デフォルトの`dict_path` は /hojichar/dict/violence_keywords_ja.txt です.
 437    """
 438
 439    def __init__(
 440        self,
 441        dict_path: Union[str, PathLike] = BASE_PATH / "dict/violence_keywords_ja.txt",
 442        *args: Any,
 443        **kwargs: Any,
 444    ) -> None:
 445        super().__init__(dict_path, *args, **kwargs)
 446
 447    def apply(self, doc: Document) -> Document:
 448        """
 449        >>> DiscardViolenceContentJa()\
 450            .apply(Document("<TEST_STRING_OF_VIOLENCE_KEYWORD>")).is_rejected
 451        True
 452
 453        >>> DiscardViolenceContentJa().apply(Document("ほうじ茶")).is_rejected
 454        False
 455        """
 456        return super().apply(doc)
 457
 458
 459class DiscardBBSComments(Filter):
 460    """
 461    正規表現 "BBS Pattern" に `max_allow_num` 回よりたくさんマッチする文書を破棄します.
 462    `max_allow_num` のデフォルト値は14です.
 463    正規表現 "BBS Pattern" は下記のリンクで検証可能です.
 464    https://regex101.com/r/ybQvL2/1
 465    """
 466
 467    def __init__(self, max_allowed_num: int = 14, *args: Any, **kwargs: Any) -> None:
 468        super().__init__(*args, **kwargs)
 469
 470        self.max_allowed_num = max_allowed_num
 471        self.keyword_pat = re.compile(
 472            r"\d{4}[年\.\-\/][\ ]*\d{1,2}[月\.\-\/][\ ]*\d{1,2}[日]*|コメント|SOLD OUT|レビュー|投稿|ページ|\([月火水木金土日]\)|質問|\d+話|楽天市場|-"  # noqa
 473        )
 474
 475    def apply(self, doc: Document) -> Document:
 476        """
 477        >>> DiscardBBSComments().apply(Document("楽天市場 質問 投稿 コメント レビュー "*3)).is_rejected
 478        True
 479
 480        >>> DiscardBBSComments().apply(Document("鏡餅")).is_rejected
 481        False
 482        """
 483        bbs_factor = self.keyword_pat.findall(doc.text)
 484        if len(bbs_factor) > self.max_allowed_num:
 485            doc.is_rejected = True
 486        return doc
 487
 488
 489class DiscardAds(Filter):
 490    """
 491    主に広告キーワードを`max_allow_num`より多く含む文書を破棄します.
 492    デフォルトで`max_allow_num` は14です.
 493    `dict_path` で指定したファイルから, 広告キーワードのリストを得ます.
 494    ファイルは単語が改行で羅列されたテキストファイルです.
 495    デフォルトの`dict_path` は /hojichar/dict/advertisement_keywords_ja.txt です.
 496    """
 497
 498    def __init__(
 499        self,
 500        dict_path: Union[str, PathLike] = BASE_PATH / "dict/advertisement_keywords_ja.txt",
 501        max_allowed_num: int = 14,
 502        *args: Any,
 503        **kwargs: Any,
 504    ):
 505        super().__init__(*args, **kwargs)
 506
 507        self.max_allow_num = max_allowed_num
 508        with open(dict_path, encoding="utf-8") as fp:
 509            ng_words = fp.read().split("\n")
 510        ng_words = [re.escape(w.strip()) for w in ng_words if not len(w) == 0]
 511        pat = r"|".join(ng_words)
 512        self.keyword_pat = re.compile(pat)
 513
 514    def apply(self, doc: Document) -> Document:
 515        """
 516        >>> DiscardAds().apply(Document("お問い合わせください 営業時間 よくある質問"*5)).is_rejected
 517        True
 518
 519        >>> DiscardAds().apply(Document("おはよう")).is_rejected
 520        False
 521        """
 522        ads_factor = self.keyword_pat.findall(doc.text)
 523        if len(ads_factor) > self.max_allow_num:
 524            doc.is_rejected = True
 525        return doc
 526
 527
 528class AcceptJapanese(Filter):
 529    """
 530    日本語でないドキュメントを破棄します. 日本語判定は次の手順で行われます.
 531        1. テキストを左から`lookup_size` (デフォルトで50字) 参照し,
 532        ひらがな・カタカナが存在すれば日本語と判定する.
 533    """
 534
 535    def __init__(self, lookup_size: int = 50, *args: Any, **kwargs: Any) -> None:
 536        super().__init__(*args, **kwargs)
 537
 538        self.lookup_size = lookup_size
 539        self.hiragana_katakana_pat = re.compile(r"[ぁ-んァ-ン]")
 540
 541    def apply(self, doc: Document) -> Document:
 542        """
 543        >>> AcceptJapanese().apply(Document("This is English document")).is_rejected
 544        True
 545
 546        >>> AcceptJapanese().apply(Document("a"*50 + "あ")).is_rejected
 547        True
 548
 549        >>> AcceptJapanese().apply(Document("ほうじ茶")).is_rejected
 550        False
 551        """
 552        if not self.hiragana_katakana_pat.search(doc.text[: self.lookup_size]):
 553            doc.is_rejected = True
 554        return doc
 555
 556
 557class DiscardRareKuten(Filter):
 558    """
 559    日本語でないドキュメントを破棄します. 日本語判定は次の手順で行われます
 560    ドキュメントを句点"。"で区切り, 平均文長が
 561    `max_avarage_sentence_length` より長い場合は破棄します.
 562    `max_avarage_sentence_length` のデフォルト値は100です.
 563    このフィルタは, 文章中の句点の割合が少なすぎるドキュメントを破棄します.
 564    """
 565
 566    def __init__(self, max_average_sentence_length: int = 100, *args: Any, **kwargs: Any) -> None:
 567        super().__init__(*args, **kwargs)
 568
 569        self.max_average_sentence_length = max_average_sentence_length
 570        self.kuten_pat = re.compile(r"。")
 571
 572    def apply(self, doc: Document) -> Document:
 573        """
 574        >>> DiscardRareKuten(max_average_sentence_length=4).apply(Document("おはよ。")).is_rejected
 575        False
 576        >>> DiscardRareKuten(max_average_sentence_length=4).apply(Document("おはよう。")).is_rejected
 577        True
 578        """
 579        kuten_lst = self.kuten_pat.findall(doc.text)
 580        min_kuten_num = len(doc.text) / self.max_average_sentence_length
 581        if len(kuten_lst) < min_kuten_num:
 582            doc.is_rejected = True
 583        return doc
 584
 585
 586class HeaderFooterTagsRemover(Filter):
 587    """
 588    ドキュメントの冒頭・末尾のトークンを調査し, ヘッダー・フッダー的な
 589    タグが存在していた場合, そのトークンを除去します.
 590
 591    このフィルタを通す前に, 事前にセンテンスレベルにトーカナイズしておいてください.
 592    このフィルタでは Document.token にのみ変更が加えられるので, 出力前 あるいは 下流フィルタで
 593    Document.text に変更を加える前にトークンをマージしておいてください.
 594    """
 595
 596    def __init__(
 597        self,
 598        dict_path: Union[str, PathLike] = BASE_PATH / "dict/header_footer_keywords_ja.txt",
 599        *args: Any,
 600        **kwargs: Any,
 601    ) -> None:
 602        super().__init__(*args, **kwargs)
 603
 604        with open(dict_path) as fp:
 605            keywords = fp.read().split("\n")
 606        keywords = [re.escape(w.strip()) for w in keywords if not len(w) == 0]
 607        self.keyword_pat = re.compile(r"|".join(keywords))
 608
 609    def apply(self, doc: Document) -> Document:
 610        if len(doc.tokens) == 0:
 611            return doc
 612
 613        lookup_size = 0
 614        if 1 <= len(doc.tokens) < 4:
 615            lookup_size = 1
 616        elif 4 <= len(doc.tokens) < 6:
 617            lookup_size = 2
 618        elif 6 <= len(doc.tokens):
 619            lookup_size = 3
 620
 621        for i in range(lookup_size):
 622            if self.should_drop_token(doc.tokens[i]):
 623                doc.tokens[i].is_rejected = True
 624            if self.should_drop_token(doc.tokens[-(i + 1)]):
 625                doc.tokens[i].is_rejected = True
 626
 627        return doc
 628
 629    def should_drop_token(self, token: Token) -> bool:
 630        """
 631        >>> HeaderFooterTagsRemover().should_drop_token(Token("<TEST_STRING_OF_KEYWORD>"))
 632        True
 633
 634        >>> HeaderFooterTagsRemover().should_drop_token(Token("ほうじ茶"))
 635        False
 636
 637        Comment.
 638        Original legacy code removed a pattern r"« _ | Main | _ »" .
 639        In the pattern, "|" is not escaped, so **ANY** string was eliminated.
 640        It seems unintended behavior, so I fix this.
 641        """
 642        if self.keyword_pat.match(token.text):
 643            return True
 644        else:
 645            return False
 646
 647
 648class MaskPersonalInformation(Filter):
 649    """
 650    ドキュメントに含まれる電話番号・電子メールアドレスを一部マスキングします.
 651    """
 652
 653    def __init__(self, *args: Any, **kwargs: Any) -> None:
 654        super().__init__(*args, **kwargs)
 655
 656        self.phone_pat = re.compile(
 657            r"((0|\+\d{1,3}[- ]?)(\d{2}[- ]?\d{4}[- ]?|\d[- ]?\d{4}[- ]?|\d{2}[- ]?\d{3}[- ]?|\d{3}[- ]?\d{2}[- ]?|\d{4}[- ]?\d{1}[- ]?))\d{4}"  # noqa
 658        )
 659        self.email_pat = re.compile(
 660            r"[a-zA-Z0-9!#$%&'*+\-/=?^_`{|}~.]+@[A-Za-z0-9!#$%&'*+\-/=?^_`{|}~.]+(\.[A-Za-z0-9\-]+)"  # noqa
 661        )
 662
 663    def apply(self, doc: Document) -> Document:
 664        """
 665        >>> MaskPersonalInformation()('06-1234-5678')
 666        '06-1234-XXXX'
 667        >>> MaskPersonalInformation()('075-123-4567')
 668        '075-123-XXXX'
 669        >>> MaskPersonalInformation()('0166-12-3456')
 670        '0166-12-XXXX'
 671        >>> MaskPersonalInformation()('09808-1-2345')
 672        '09808-1-XXXX'
 673        >>> MaskPersonalInformation()('090-1234-5678')
 674        '090-1234-XXXX'
 675        >>> MaskPersonalInformation()('0751234567')
 676        '075123XXXX'
 677        >>> MaskPersonalInformation()('08012345678')
 678        '0801234XXXX'
 679        >>> MaskPersonalInformation()('連絡は075-123-4567 まで')
 680        '連絡は075-123-XXXX まで'
 681        >>> MaskPersonalInformation()('+81-80-1234-5678')
 682        '+81-80-1234-XXXX'
 683        >>> MaskPersonalInformation()('+818012345678')
 684        '+81801234XXXX'
 685        >>> MaskPersonalInformation()('hogehoge@example.com')
 686        'xxxx@yyy.com'
 687        >>> MaskPersonalInformation()('何かあれば hogehoge@example.ne.jp まで連絡')
 688        '何かあれば xxxx@yyy.jp まで連絡'
 689        """
 690        text = self.phone_pat.sub(r"\1XXXX", doc.text)
 691        text = self.email_pat.sub(r"xxxx@yyy\1", text)
 692        doc.text = text
 693        return doc
 694
 695
 696class DiscardTooManyNouns(Filter):
 697    """
 698    [!CAUTION] This filter requires `fugashi` package. Please install it
 699    by `pip install 'hojichar[all]'`.
 700
 701    A filter that removes document with too many nouns in Japanese i.e.,
 702    documents such as advertisement, word salad, etc ...
 703    """
 704
 705    def __init__(self, threshold: float = 0.80, *args: Any, **kwargs: Any) -> None:
 706        """
 707        Args:
 708            threshold: document whose noun ratio is higher than this value will be discarded
 709            *args:
 710            **kwargs:
 711        """
 712        super().__init__(*args, **kwargs)
 713        assert (
 714            is_loaded_extras
 715        ), "fugashi is required for this filter. Try pip install 'hojichar[all]'"
 716
 717        self.threshold = threshold
 718        self.tagger = Tagger("-Owakati")
 719        assert (
 720            "unidic" in self.tagger.dictionary_info[0]["filename"]
 721        ), "MeCab dictionary must be unidic"
 722
 723    def apply(self, doc: Document) -> Document:
 724        """
 725        >>> DiscardTooManyNouns().apply(Document("自然言語処理大好き！")).is_rejected
 726        False
 727        >>> DiscardTooManyNouns().apply(Document("リンゴ・オレンジ・ミカン・バナナ セール中")).is_rejected
 728        True
 729        >>> DiscardTooManyNouns().apply(Document("今日の仙台朝市ではリンゴがセール中")).is_rejected
 730        False
 731        """
 732        # remove "補助記号" from part-of-speech statistics
 733        # because they often decrease the noun ratio,
 734        # e.g., the sentence "リンゴ・オレンジ・バナナ・" has 補助記号 ratio of 0.5
 735        # however, we don't want such sentence
 736        pos_count = Counter(
 737            w.feature.pos1 for w in self.tagger(doc.text) if w.feature.pos1 != "補助記号"
 738        )
 739        try:
 740            noun_ratio = pos_count["名詞"] / sum(pos_count.values())
 741        except ZeroDivisionError:
 742            noun_ratio = 0.0
 743        if noun_ratio >= self.threshold:
 744            doc.is_rejected = True
 745        return doc
 746
 747
 748class CharRepetitionRatioFilter(Filter):
 749    """
 750    文字Ngramの重なり率（文書中で高頻度文字Ngramが占める割合）を計算して, 重なりの大きいものを除去します.
 751    名詞の連続からなるような広告テキストを取り除くのに有効です.
 752
 753    実装は, BigScience で採用されていた前処理を参考にしています.
 754    元実装: https://github.com/bigscience-workshop/data-preparation/blob/9d0588419073cc5bf0fb92b58f37f2a1016572c3/preprocessing/training/01b_oscar_cleaning_and_filtering/filtering.py#L425-L453  # noqa: E501
 755
 756    「高頻度文字Ngram」は、sqrt(ユニークなNgramの総数)によって求めていますが,
 757    これは文書長の影響を軽減するためだとされています.
 758
 759    掲示板のテキストが引っかかりやすい傾向があります.
 760    13: 名無しさん@実況で競馬板アウト 2019/08/18(日) 15:28:46.10 ID:eBvZg8h+0
 761    的なものが高頻度で登場するため、文字Ngramの重なり率も高くなってしまう
 762    """
 763
 764    def __init__(
 765        self, threshold: float = 0.33, ngram_size: int = 5, *args: Any, **kwargs: Any
 766    ) -> None:
 767        """
 768
 769        Args:
 770            threshold: document with character repetition ratio higher than this value will be discarded
 771            ngram_size: character ngram size. Larger value will decrease the false positive of long documents
 772            *args:
 773            **kwargs:
 774        """  # noqa: E501
 775
 776        super().__init__(*args, **kwargs)
 777        self.threshold = threshold
 778        self.ngram_size = ngram_size
 779
 780    def apply(self, doc: Document) -> Document:
 781        ratio = self.compute_character_repetition_ratio(doc.text, self.ngram_size)
 782        if ratio >= self.threshold:
 783            doc.is_rejected = True
 784        return doc
 785
 786    @staticmethod
 787    def compute_character_repetition_ratio(
 788        document: str, character_repetition_length: int
 789    ) -> float:
 790        def get_freq_character_ngrams(document: str, n: int) -> Dict[str, int]:
 791            character_ngrams: List[str] = [
 792                document[i : i + n] for i in range(len(document) - n + 1)
 793            ]
 794            freq_character_ngrams_dict: Dict[str, int] = {}
 795            for character_ngram in character_ngrams:
 796                freq_character_ngrams_dict[character_ngram] = (
 797                    freq_character_ngrams_dict.get(character_ngram, 0) + 1
 798                )
 799            return freq_character_ngrams_dict
 800
 801        freq_character_ngrams_dict = get_freq_character_ngrams(
 802            document, character_repetition_length
 803        )
 804        if len(freq_character_ngrams_dict) == 0:
 805            return 0.0
 806        freq_character_ngrams: List[int] = list(freq_character_ngrams_dict.values())
 807        freq_character_ngrams = sorted(freq_character_ngrams, reverse=True)
 808        val_one = len([el for el in freq_character_ngrams if el == 1])
 809        num_rep_character_ngrams = min(
 810            int(np.sqrt(len(freq_character_ngrams))),
 811            len(freq_character_ngrams) - val_one,
 812        )
 813        character_repetition_ratio = sum(freq_character_ngrams[:num_rep_character_ngrams]) / sum(
 814            freq_character_ngrams
 815        )
 816        return character_repetition_ratio
 817
 818
 819class WordRepetitionRatioFilter(Filter):
 820    """
 821    [!CAUTION] This filter requires `fugashi` package. Please install it
 822    by `pip install 'hojichar[all]'`.
 823
 824    単語Ngramの重なり率（文書中で重複する単語Ngramが占める割合）を計算して、重なりの大きいものを弾くためのフィルタ.
 825    BigScienceで採用されていた前処理を参考にしている.
 826
 827    名詞が連打されているような広告テキストを取り除くのに有効な様子
 828    まともな文書がたまたま2回繰り返されている場合もあり、これを取り除いて良いのかは分からない
 829    例：
 830    "ウェブ\n本文: ニコンの上昇率16%超える、今3月期は経常76%の大幅増益見込む(ニコン) 2013年05月10日[minkabu PRESS] - みんなの株式 (みんかぶ)\n2013/05/10(10:57)
 831    ニコン<7731.T>が急騰、寄り付き直後に前日比355円高の2537円まで買い上げ
 832    られ、上昇率は16%を超えた。外国為替市場で円が1ドル100円台、1ユーロ131円台に入るなど急速に円安が進み、輸出株が軒並み高になる
 833    なか、9日取引終了後に発表した前年3月期決算で、今3月期は2ケタ近い増収で大幅増益を見込んだことが買い気を強めさせた。連結売上
 834    高は前期比9.8%増の1兆1100億円、経常利益75.8%増の850億円を予想。前期は半導体、電子部品の低迷が足かせになり、2ケタ増収ながら
 835    経常46%の大幅減益になったが、レンズ交換式デジタルカメラの拡大や液晶ディスプレイの回復で収益が急回復する。ニコンの株価は10時
 836    56分現在2491円(△309円)出所:株経通信(株式会社みんかぶ)\n2013/05/10 - ニコン(7731) の関連ニュース。 ニコン<7731.T>が急騰、寄
 837    り付き直後に前日比355円高の2537円まで買い上げられ、上昇率は16%を超えた。外国為替市場で円が1ドル100円台、1ユーロ131円台に入
 838    るなど急速に円安が進み、輸出株が軒並み高になるなか、9日取引終了後に発表した前年3月期決算で、今3月期は2ケタ近い増収で大幅増
 839    益を見込んだことが買い気を強めさせた。連結売上高は前期比9.8%増の1兆1100億円、経常利益75.8%増の850億円を予想。前期は半導体、
 840    電子部品の低迷が足かせになり、2ケタ増収ながら経常46%の大幅減益になったが、レンズ交換式デジタルカメラの拡大や液晶ディスプレ
 841    イの回復で収益が急回"
 842    """  # noqa: E501
 843
 844    def __init__(
 845        self, threshold: float = 0.40, ngram_size: int = 7, *args: Any, **kwargs: Any
 846    ) -> None:
 847        """
 848
 849        Args:
 850            threshold: document whose character repetition ratio is higher than this value will be discarded
 851            ngram_size: character ngram size. Larger value will decrease the false positive of long documents
 852            *args:
 853            **kwargs:
 854        """  # noqa: E501
 855        super().__init__(*args, **kwargs)
 856        assert (
 857            is_loaded_extras
 858        ), "fugashi is required for this filter. Try pip install 'hojichar[all]'"
 859
 860        self.threshold = threshold
 861        self.ngram_size = ngram_size
 862        self.tagger = Tagger("-Owakati")
 863
 864    def apply(self, doc: Document) -> Document:
 865        ratio = self.compute_word_repetition_ratio(doc.text, self.ngram_size)
 866        if ratio >= self.threshold:
 867            doc.is_rejected = True
 868        return doc
 869
 870    def compute_word_repetition_ratio(self, document: str, word_repetition_length: int) -> float:
 871        def get_freq_word_ngrams(document: str, n: int) -> Dict[str, int]:
 872            # tokenizing given document
 873            words = [w.surface for w in self.tagger(document)]
 874            word_ngrams = [" ".join(words[i : i + n]) for i in range(len(words) - n + 1)]
 875            freq_word_ngrams: Dict[str, int] = {}
 876            for word_ngram in word_ngrams:
 877                freq_word_ngrams[word_ngram] = freq_word_ngrams.get(word_ngram, 0) + 1
 878            return freq_word_ngrams
 879
 880        freq_word_ngrams_dict = get_freq_word_ngrams(document, word_repetition_length)
 881        if len(freq_word_ngrams_dict) == 0:
 882            return 0
 883        freq_word_ngrams = list(freq_word_ngrams_dict.values())
 884        word_repetition_ratio = sum(freq for freq in freq_word_ngrams if freq > 1) / sum(
 885            freq_word_ngrams
 886        )
 887
 888        return word_repetition_ratio
 889
 890
 891class DiscardTooManySpecialToken(Filter):
 892    """
 893    [!CAUTION] This filter requires `emoji` package. Please install it
 894    by `pip install 'hojichar[all]'`.
 895
 896    句読点を含む記号、空白、絵文字、その他特殊な文字を一定の割合以上含むような文書を取り除くためのフィルタ
 897    元実装: BigScience https://github.com/bigscience-workshop/data-preparation/blob/9d0588419073cc5bf0fb92b58f37f2a1016572c3/preprocessing/training/01b_oscar_cleaning_and_filtering/parameters_filtering.py#L5-L16  # noqa: E501
 898    """
 899
 900    def __init__(self, threshold: float = 0.4, *args: Any, **kwargs: Any) -> None:
 901        """
 902
 903        Args:
 904            threshold: document whose special token ratio is higher than this value will be discarded
 905            *args:
 906            **kwargs:
 907        """  # noqa: E501
 908        super().__init__(*args, **kwargs)
 909
 910        # digits are not regarded as special tokens
 911        # otherwise many false positives are made, i.e., good documents discarded
 912        main_special_characters = string.punctuation + string.whitespace  # + string.digits
 913        other_special_characters = (
 914            "’ “— ™ – •‘œ　   ˜ ‚ƒ„’“”–▬…✦�­£​•€«»°·═"
 915            "×士＾˘⇓（）§″′´¿−±∈¢ø‚„½¼¾¹²³―⁃，ˌ¸‹›ʺˈʻ¦‐⠀‰……‑≤≥‖"
 916            "◆●■►▼▲▴∆▻¡★☆✱ːº。¯˜¥ɪ≈†：⁄♡✓⊕․．⋅÷１‟；،、¨ाাी्े◦˚"
 917            "゜ʼ≖ʼ¤℃√！？【】‿∞➤～πه۩☛₨➩☻๑٪♥ıॽ《‘©﴿٬？▷Г♫∟™ª₪®「—❖"
 918            "」﴾》�"
 919        )
 920
 921        en_emoji = emoji.EMOJI_DATA.keys()
 922
 923        special_characters_default = set(main_special_characters + other_special_characters)
 924        special_characters_default.update(en_emoji)
 925        self.special_characters = special_characters_default
 926
 927        self.threshold = threshold
 928
 929    def _compute_special_characters_ratio(self, text: str) -> float:
 930        if len(text) == 0:
 931            return 0
 932
 933        special_characters_ratio = len(
 934            [char for char in text if char in self.special_characters]
 935        ) / len(text)
 936        return special_characters_ratio
 937
 938    def apply(self, doc: Document) -> Document:
 939        special_characters_ratio = self._compute_special_characters_ratio(doc.text)
 940
 941        if special_characters_ratio > self.threshold:
 942            doc.is_rejected = True
 943        return doc
 944
 945
 946class SingleCharacterRepetitionFilter(Filter):
 947    """
 948    単一文字が大量に繰り返されているような文書を取り除くためのフィルタ
 949    そのような文書はノイズである可能性が高いため
 950    参考: BigScienceプロジェクトによると、oscarデータセットの中にバックスラッシュだけを2M個含むような文書が含まれていたらしい
 951    https://github.com/bigscience-workshop/bigscience/blob/master/train/tr8-104B-wide/chronicles.md#2m-backslash-only-samples-in-our-dataset  # noqa: E501
 952    """
 953
 954    def __init__(
 955        self,
 956        threshold: int = 200,
 957        *args: Any,
 958        **kwargs: Any,
 959    ) -> None:
 960        """
 961        Args:
 962            threshold: The document is removed if character is repeated for this value or more
 963            *args:
 964            **kwargs:
 965        """
 966        super().__init__(*args, **kwargs)
 967        self.threshold = threshold
 968
 969    def _is_repeat_contained(self, text: str) -> bool:
 970        groups = groupby(text)
 971        is_repeat_contained = any(sum(1 for _ in group) >= self.threshold for _, group in groups)
 972        return is_repeat_contained
 973
 974    def apply(self, doc: Document) -> Document:
 975        if self._is_repeat_contained(doc.text):
 976            doc.is_rejected = True
 977        return doc
 978
 979
 980class DiscardTooManyEndingEllipsis(Filter):
 981    """
 982    ellipsisで終わるような行が大量に含まれるような文書を取り除くためのフィルタです.
 983    ellipsisとしては ... と … を用いている
 984    同様のフィルタが RedPajama v2で用いられています.
 985
 986    例として, 以下のような文書を検知します.
 987    ```
 988    ペアーズは女性、という驚愕の過食が出ているのをごアラサーですか。時代から付...
 989    バツイチアラフォー 婚活ち女性の特徴と子持な付...
 990    ```
 991
 992    デフォルトではしきい値を0.7としているが, これはC4から0.1%を削るような設定であり、
 993    precisionを重視した設定です.
 994    """
 995
 996    def __init__(
 997        self,
 998        threshold: float = 0.7,
 999        *args: Any,
1000        **kwargs: Any,
1001    ) -> None:
1002        """
1003        Args:
1004            threshold: The document is removed if ratio of lines ending with ellipsis is higher than this value
1005            *args:
1006            **kwargs:
1007        """  # noqa: E501
1008        super().__init__(*args, **kwargs)
1009        self.threshold = threshold
1010        self.ellipsis_pattern = re.compile(r"(\.{3}|…)\n")  # matches ...\n and …\n
1011
1012    def apply(self, doc: Document) -> Document:
1013        ellipsis_count = len(self.ellipsis_pattern.findall(doc.text))
1014        newline_count = max(doc.text.count("\n"), 1)  # avoid zero division
1015        ellipsis_ratio = ellipsis_count / newline_count
1016
1017        if ellipsis_ratio > self.threshold:
1018            doc.is_rejected = True
1019        return doc
1020
1021
1022class DiscardTooShortLines(Filter):
1023    """
1024    短い行を大量に含む文書を捨てるためのフィルタです.
1025
1026    メニューバーやパンくずリストのような要素を大量に含む文書を取り除くのに有効です.
1027    """
1028
1029    def __init__(self, threshold: float = 0.5, *args: Any, **kwargs: Any) -> None:
1030        """
1031        Args:
1032            threshold: The document is removed if the ratio of short (<10 chars) lines are more than this value.
1033            *args:
1034            **kwargs:
1035        """  # noqa: E501
1036        super().__init__(*args, **kwargs)
1037        self.threshold = threshold
1038        # この値は適当に決め打ち
1039        self.minimum_line_length = 10
1040
1041    def apply(self, doc: Document) -> Document:
1042        lines = [len(x) for x in doc.text.split("\n")]
1043        short_lines = [x for x in lines if x <= self.minimum_line_length]
1044        if (len(short_lines) / len(lines)) > self.threshold:
1045            doc.is_rejected = True
1046        return doc