#stop word

[droidtown]

中文 NLP 也需要處理停用詞 (Stop Words) 嗎？

Stop word (停用詞) 是什麼？

一句話說明「停用詞就是可以忽略的詞」！

那麼，在 NLP 或是資訊檢索的任務中，怎麼決定哪些詞可以忽略呢？有沒有一個標準可以依循呢？哪些詞要被忽略，則要看計算的目的和文本集的內容。因此，我們很少看到一個統一的或標準的「停用詞表」。只要在 Google 裡搜尋「停用詞 中文 site:github.com」就會出現不同的人搜尋的停用詞表。像是：

tomlinNTUB 整理的 [停用詞-繁體中文]

或是簡體中文世界裡常用的「哈工大」、「百度」停用詞表

那這些詞是哪來的呢？

在資訊檢索中，為節省存儲空間和提高搜索效率，每篇文章都會出現的詞，便會被列為停用詞，因為這個詞彙「每．一．篇．都．有」，那麼表示用它來做搜尋是沒有效率的。例如中文的「的」、「是」、「因為」、「我」...等等就屬於這類，而這樣的詞就可以被列為停用詞。

讀到這裡，讀者應該已經看出來「既然停用詞是依『每一篇文本』都會出現的詞來決定的」，那麼去列出一個停用詞表，期待你的 NLP 應用能像鬼滅之刃的善逸一樣只用一招走天下，實際上是需要大量的運氣成份，才能取得良好結果的。

雖然基本上，一個詞是否為停用詞，需要看文獻集和計算目的，這和一個詞在語言學上的意義無關。因為停用詞是從計算的角度來討論，會造成計算上的負擔或是降低搜尋準確度的詞，都可以當作停用詞。另一方面，如果某些計算或檢索，不希望遺漏任何一個詞，那麼就不適用停用詞表。

此外，以目前流行的深度學習來說，計算對象是原始文獻，因為在訓練模型時，不需要做任何前處理。因此在深度學習的實作流程中，很少看到有人使用「停用詞」。

綜合以上，我們可以有幾個小結論：

直接使用別人的停用詞表，容易造成誤砍自己文本停用詞的問題，因此不適合使用停用詞表。

以深度學習的 NLP 應用而言，在文本數量極大的情況下，為了避免使用停用詞而對模型的效果造成影響，因此也不適合使用停用詞表。

那麼，究竟什麼候應該使用停用詞呢？當你的模型並不是透過數 TB 這種量級的文本集訓練出來的，或是你希望可以最大化地凸顯手邊文本集的特徵時，就可以使用「停用詞」。

問題來了，我們該怎麼樣才能達到「既要使用停用詞」但「又不要使用停用詞表」這樣的目標呢？

根據前述的定義條件，「停用詞」跟代名詞、助動詞、介系詞、連接詞等和文法、句法有關的「功能詞」相似。因此 Articut 中內建了一個工具來達成這個目標：.getContentWordLIST()

.getContentWordLIST() 會留下每個句子（或文章）主要的內容詞彙，效果就幾乎和去掉停用詞一樣了。下表列出四個句子使用 .getContentWordLIST() 後得到的內容詞：

用 .getContentWordLIST() 已經將每句話的表達意義的主要詞彙篩選出來後，所謂的「內容詞」，就是每個句子裡較有意義的詞彙：

餐桌, 有, 蘋果

鱔魚, 意麵, 甜

雞肉飯, 也, 甜

接下來我們以這三個句子為範圍來做一個常見的 NLP 任務：利用 tf-idf 來計算每一個句子的關鍵字。結果如下表：

如結果所示（在此不特別解釋 tf-idf 的各項意義），「甜」這個詞因為在兩個句子中出現，因此 IDF 的值低於其他只在一個句子中出現的詞。因此「甜」這個詞的 tf-idf 值就小於其他的詞。

簡言之，「甜」做為關鍵詞的重要性是比較低的。

當然除了 tf-idf 之外，還可以做其他 NLP 的詞彙計算。最重要的是，有了 Articut 的工具，我們不用再為停用詞傷腦筋，直接取用 .getContentWordLIST() 的功能來做 TF-IDF，找出來的關鍵字，就非常有代表性了！

[hybridispiritualsystems]

In computing, stop words are words which are filtered out before or after processing of natural language data (text).[1] Though stop words usually refer to the most common words in a language, there is no single universal list of stop words used by all natural language processing tools, and indeed not all tools even use such a list. Some tools specifically avoid removing these stop words to support phrase search.

https://en.wikipedia.org/wiki/Stop_words

[mafeizaguirre]

In computing, stop words are words which are filtered out before or after processing of natural language data (text).[1] Though stop words usually refer to the most common words in a language, there is no single universal list of stop words used by all natural language processing tools, and indeed not all tools even use such a list. Some tools specifically avoid removing these stop words to support phrase search.

https://en.wikipedia.org/wiki/Stop_words