#tf-idf

[thatwareindia]

Boost Your SEO with Hyper Intelligence SEO: Leveraging BoW & TF-IDF Models

In today’s competitive digital landscape, Hyper Intelligence SEO is a powerful strategy that can dramatically enhance your keyword targeting and content optimization. By utilizing advanced text analysis models like Bag of Words (BoW) and TF-IDF (Term Frequency-Inverse Document Frequency), businesses can gain deeper insights into keyword performance and make smarter content decisions.

Understanding Bag of Words (BoW)

The Bag of Words (BoW) model is a foundational concept in text analysis that focuses on word frequency within a given document. By treating each word as an individual feature, BoW disregards grammar and word order, simplifying the process of understanding key phrases. The main objective of BoW is to count how often specific terms appear, helping businesses identify potential keywords that resonate with their audience. This approach is especially useful for keyword analysis and improving content strategies by revealing which words appear most often and matter most for ranking purposes.

By incorporating BoW into Hyper Intelligence SEO, content creators can quickly determine keyword patterns, spot gaps in their keyword targeting, and optimize content to align better with search engine algorithms. Using BoW, businesses can stay ahead by identifying and reinforcing high-value terms, improving SEO performance over time.

Unlocking the Power of TF-IDF

While BoW gives a straightforward count of word frequency, the TF-IDF model takes this further by introducing two key components: Term Frequency and Inverse Document Frequency. This technique weighs each word based on how frequently it appears in a specific document versus across a larger document set. The core idea is that words that appear frequently in a single document but infrequently across many others are more likely to be significant.

By incorporating TF-IDF into your Hyper Intelligence SEO strategy, businesses can prioritize keywords that are not only frequent but also rare enough to be highly relevant. This method helps prevent overuse of common terms and encourages content optimization that targets keywords with strong search potential but limited competition. Ultimately, this improves the content’s relevance and ability to rank for those specific keywords.

Enhancing SEO Strategy with BoW and TF-IDF

By combining BoW and TF-IDF models within your SEO efforts, you can gain an unmatched clarity on which terms truly matter to your audience. The strength of Hyper Intelligence SEO lies in the way these models empower businesses to precisely target high-value keywords that resonate with search engines and users alike.

Moreover, applying these techniques helps businesses craft content that strikes a balance between keyword optimization and natural readability. While BoW identifies frequently used words, TF-IDF ensures that you focus on those that hold the most weight, allowing your content to shine in search rankings.

Conclusion

Incorporating both BoW and TF-IDF into a Hyper Intelligence SEO approach brings a strategic edge to keyword targeting. By analyzing word frequency and rarity, these models provide invaluable insights that enable businesses to make smarter content decisions. Embracing these tools ensures that your content isn’t just SEO-optimized but also positioned to thrive in an increasingly competitive digital space.

[rag-llm-model]

Bag of Word vs TF-IDF !

Both the Bag of Words (BoW) model or TF-IDF (Term Frequency-Inverse Document Frequency) function are used. Text-specific extractions but different purposes and characteristics.

Bag of word (BOW) or TF-IDFThe bag of words (BoW) model is a simple and widely used methodology for natural language processing (NLP) and te

[bloggriffin]

An Optimum Approach Towards the Bag of Words with Code Illustration in Python

Bag of words is used for the sentimental analysis of words, TF-IDF is a method for presenting text data into numbers using ML algorithms. Understand this process using python code.

As it is unethical to talk to a blind man in sign language, similarly machine demands numbers as input, not text. Want to know how to convert all the text into numbers or vectors to model your algorithms? Just click to know an optimum approach towards the Bag of Words with code illustration in python.

[droidtown]

中文 NLP 也需要處理停用詞 (Stop Words) 嗎？

Stop word (停用詞) 是什麼？

一句話說明「停用詞就是可以忽略的詞」！

那麼，在 NLP 或是資訊檢索的任務中，怎麼決定哪些詞可以忽略呢？有沒有一個標準可以依循呢？哪些詞要被忽略，則要看計算的目的和文本集的內容。因此，我們很少看到一個統一的或標準的「停用詞表」。只要在 Google 裡搜尋「停用詞 中文 site:github.com」就會出現不同的人搜尋的停用詞表。像是：

tomlinNTUB 整理的 [停用詞-繁體中文]

或是簡體中文世界裡常用的「哈工大」、「百度」停用詞表

那這些詞是哪來的呢？

在資訊檢索中，為節省存儲空間和提高搜索效率，每篇文章都會出現的詞，便會被列為停用詞，因為這個詞彙「每．一．篇．都．有」，那麼表示用它來做搜尋是沒有效率的。例如中文的「的」、「是」、「因為」、「我」...等等就屬於這類，而這樣的詞就可以被列為停用詞。

讀到這裡，讀者應該已經看出來「既然停用詞是依『每一篇文本』都會出現的詞來決定的」，那麼去列出一個停用詞表，期待你的 NLP 應用能像鬼滅之刃的善逸一樣只用一招走天下，實際上是需要大量的運氣成份，才能取得良好結果的。

雖然基本上，一個詞是否為停用詞，需要看文獻集和計算目的，這和一個詞在語言學上的意義無關。因為停用詞是從計算的角度來討論，會造成計算上的負擔或是降低搜尋準確度的詞，都可以當作停用詞。另一方面，如果某些計算或檢索，不希望遺漏任何一個詞，那麼就不適用停用詞表。

此外，以目前流行的深度學習來說，計算對象是原始文獻，因為在訓練模型時，不需要做任何前處理。因此在深度學習的實作流程中，很少看到有人使用「停用詞」。

綜合以上，我們可以有幾個小結論：

直接使用別人的停用詞表，容易造成誤砍自己文本停用詞的問題，因此不適合使用停用詞表。

以深度學習的 NLP 應用而言，在文本數量極大的情況下，為了避免使用停用詞而對模型的效果造成影響，因此也不適合使用停用詞表。

那麼，究竟什麼候應該使用停用詞呢？當你的模型並不是透過數 TB 這種量級的文本集訓練出來的，或是你希望可以最大化地凸顯手邊文本集的特徵時，就可以使用「停用詞」。

問題來了，我們該怎麼樣才能達到「既要使用停用詞」但「又不要使用停用詞表」這樣的目標呢？

根據前述的定義條件，「停用詞」跟代名詞、助動詞、介系詞、連接詞等和文法、句法有關的「功能詞」相似。因此 Articut 中內建了一個工具來達成這個目標：.getContentWordLIST()

.getContentWordLIST() 會留下每個句子（或文章）主要的內容詞彙，效果就幾乎和去掉停用詞一樣了。下表列出四個句子使用 .getContentWordLIST() 後得到的內容詞：

用 .getContentWordLIST() 已經將每句話的表達意義的主要詞彙篩選出來後，所謂的「內容詞」，就是每個句子裡較有意義的詞彙：

餐桌, 有, 蘋果

鱔魚, 意麵, 甜

雞肉飯, 也, 甜

接下來我們以這三個句子為範圍來做一個常見的 NLP 任務：利用 tf-idf 來計算每一個句子的關鍵字。結果如下表：

如結果所示（在此不特別解釋 tf-idf 的各項意義），「甜」這個詞因為在兩個句子中出現，因此 IDF 的值低於其他只在一個句子中出現的詞。因此「甜」這個詞的 tf-idf 值就小於其他的詞。

簡言之，「甜」做為關鍵詞的重要性是比較低的。

當然除了 tf-idf 之外，還可以做其他 NLP 的詞彙計算。最重要的是，有了 Articut 的工具，我們不用再為停用詞傷腦筋，直接取用 .getContentWordLIST() 的功能來做 TF-IDF，找出來的關鍵字，就非常有代表性了！

[perennial-beginner]

Term frequency–inverse document frequency for Chinese novel/documents implemented in python. - Jasonnor/tf-idf-python

Example of doing tf-idf for Chinese in Python.

[dazzle-pop-blog]

TF-IDF: What It Is & How It Can Help SEO

Like many other concepts in SEO, TF-IDF it a topic that is much debated. First, you read about it being a silver bullet to rank your content on Google. Then, immediately, you hear that TF-IDF is so old-school that it isn’t worth any effort. The truth usually lies somewhere in the middle. This post will explore why you shouldn’t expect TF-IDF to substitute a comprehensive optimization strategy and what the true benefits are of using it for SEO. TF-IDF: What Kind of Beast Is That? For a human brain, it doesn’t take any math to tell what my article is about. It’s about TF-IDF, right? But when relevancy is evaluated (and, most importantly, compared for several articles) by a machine, we need a numeric representation to see that: Article A is about TF-IDF (as opposed to, say, link building).Article A is more about TF-IDF than article B. Could we simply count the number of times our keyword, TF-IDF, appears in each document? No, thus we obviously ignore the size of the documents. Could we compare the count of our keyword to the total number of words? This is what we call keyword density – a widely used content optimization metric of the past. But relying on keyword density makes me think that the word “to be” (not “TF-IDF”) is the most prominent one in this article. Is there a way to adjust my calculations for the fact that some words appear more frequently in speech in general? This is where TF-IDF comes into play, letting us see how “TF-IDF” use frequency in this article compares to its average use frequency across other documents on the Web. Thus, we’re able to pay less attention to all the commonly used words and distinguish a very specific topic for a particular piece of content. The formula for my calculations looks like this: Or, to put it simply (disclaimer: I’m purposefully oversimplifying here for the sake of conveying the basic idea), we’re taking: Term Frequency = (count of the term) / (total word count in the document)Inverse Document Frequency = log (number of docs) / (docs containing keyword) When multiplied by Inverse Document Frequency, Term Frequency gets lower for commonly used words and higher for unique topic-identifying terms. Back to our example, the verb “to be” is used in each and every article in English. But very few articles mention “TF-IDF”, “keywords”, “content” and other important subtopics I’m covering in my article. So, TF-IDF for these terms gets higher and… voila! The machine knows what my article is about. Generally, TF-IDF is used when we need a machine to identify topics of a huge set of documents. For instance, it’s widely applied in recommender systems in digital libraries. Is Google Using TF-IDF as a Ranking Signal? The short answer is “no.” TF-IDF is referred to in a number of Google Patents as something that the search engine may use for stop words removal, which is to get rid of all the function words within a search query and in page content: But using this exact mechanism for identifying and comparing relevancy is very unlikely. Simply because being an example of a lexical search mechanism, TF-IDF is unable to look beyond keywords. The model considers keywords as strings of characters and cannot identify semantic relations between them, as opposed to semantic search models most probably used by Google. In other words, TF-IDF itself is not a ranking signal that determines your page’s position. There’s no expected TF-IDF value you need to match for each keyword in your content. And you’d better run from anyone trying to convince you otherwise. Semantic Search & Co-Occurrences So, Google has moved to semantic search, trying to match the meaning of a search query to topically relevant content, as opposed to matching query keywords to the same keywords on pages. Source: https://www.searchenginejournal.com/tf-idf-can-it-really-help-your-seo/331075/?ver=331075X3

[droidtown]

關鍵詞提取：你的 TF/IDF 演算法會漏字嗎？

TF-IDF 可說是在關鍵字提取工作上最基本的演算法之一。它的基本想法有兩個重點：

如果在某篇文章中，有個詞一直出現，那麼它一定很重要囉！(TF)

如果在某篇文章中，有個詞是其它文章中沒出現的，那麼它一定很重要囉！(IDF)

以皮卡丘為例…

這一大票的皮卡丘裡，有兩個重點：

黃色是一直出現的特質，所以整隻都黃黃的。

有一隻皮卡丘耳朵上有戴花圈，其它的沒有。

所以只要能用『整隻黃黃的的寶可夢，耳朵有戴花圈』這樣的描述，我們立刻就知道是在講哪一隻皮卡丘囉。

同樣的道理，我們在處理文件的時候，也希望可以算出這兩種角度的詞彙，這麼一來就有助於我們將文章分類，並且快速查找。

我們開發的 ArticutAPI 裡也有一樣的 TF-IDF 功能，只要…

#取得斷詞結果

result = articut.parse(inputSTR, level="lv2", openDataPlaceAccessBOOL=True)

#使用 analyse.extract_tags() 來取得 TF-IDF 的結果

tfidfResult = articut.analyse.extract_tags(result)

pprint(tfidfResult)

就好了。和大家常用的 Jieba (結巴斷詞) 相比，我們刻意把函式取了一樣的名字，這麼一來，大家只要把 jieba.analyse.extract_tags() 改成 articut.analyse.extract_tags()，您原來的程式就能繼續延用了。

詳細說明文件：https://api.droidtown.co/document/

此外，和 Jieba 最大的不同是，我們的 Articut 不漏字。

以這篇文章為例： 晚餐的沙拉部分為煙燻鮭魚與胡蘿蔔沙拉佐香橙醬汁，主餐則是能吃到鮮蝦、螃蟹的海鮮風味茄汁奶油風味義大利麵，還可以搭配香烤麵包，十分有飽足感。甜點則是香草莓果慕斯搭配造型薄片巧克力，優雅酸甜的口感就如牧羊女帶給大家的印象。（特別套餐2,480日幣）

Jieba (結巴斷詞) 處理的結果如下：

我們可以發現，Jieba 在計算 TF-IDF 的時候，是刻意忽略掉「單字詞」的。雖然這會讓最後的結果在人眼檢查的時候產生「真詞很多，Jieba 處理得很好」的錯覺，但是以這篇食記而言，「佐」是一個很重要的詞，而「麵」也應該是個重要的詞彙才對。

我們應該能想像得到：「一篇食記和其它非食記相比，應該會出現很多菜單或是菜色的介紹。這麼一來『佐』這個字應該要常常出現才對。此外，如果一個菜單中出現了許多次『佐』，而其它的食記中卻沒有出現，我們也能想像得到，這個菜單應該是異國料理，才會有許多不同的食材需要用『佐』這個字眼表示加在一起」。

從這個角度來看，把「佐」這個詞彙漏掉，是很嚴重的問題。我們可以繼續追蹤 Jieba 的原始碼，能發現在：

https://github.com/fxsjy/jieba/blob/master/jieba/analyse/tfidf.py

這個檔案的  101 行，Jieba 的確是把「單字詞」給忽略了。如果我們把 101~102 行註解掉，讓它不要執行這個略過單字詞的步驟，同一篇文章就能得到以下的結果：

雖然沒看到「佐」，應該是由於 Jieba 內建的 TF-IDF 模型是基於人民日報內容而建立的，但我們的確能看到單字詞的「麵」開始冒出頭來了。這也更能突顯這是一篇「描述食物」的文章，畢竟它的內文就是「主食 - 義大利麵」。

Articut 則沒有這個問題。一方面，Articut 內建的 TF-IDF 模型是基於台灣的報紙內容而建立，二方面，Articut 基於提供詳實結果，而不做過度篩濾的立場，同一篇文章透過 Articut 而取得的 TF-IDF 結果如下：

不但保留了「佐」，還出現了「烤」這類和烹飪相關的單字詞彙。此外，也能發現 Articut 能提供的詞彙在語意上是更完對的。比如說「海鮮風味」並不是「海鮮」，因此以「海鮮風味」做為一個獨立的詞，將比「海鮮」更能完整表達文章原來的意思，並凸顯這篇文章在透過 TF-IDF 抽取關鍵詞以及進行文本分類時的效果。

最後附上一張比較圖：

從圖中能發現，Articut 不單單是斷詞的效果比較好，連 TF-IDF 也誠實以告，不會亂漏字呢。

[註] 皮卡丘照片取自 https://www.flickr.com/photos/yoshikazut/14905092432 並依原作者要求依 Attribution 2.0 Generic (CC BY 2.0) 標註來源。

[droidtown]

中文斷詞與關鍵字詞抽取

「找關鍵字詞這件事大概和讀書時劃重點一樣屬於某種特殊技能吧！」

無論是寫正式的論文、商品的文案、說明書、日誌…等等電子化的文字記錄，只要用上「搜尋」的功能，取得關鍵字詞一直是個門檻。懂門道的作法是利用某些演算法，計算出這份文件和其它文件相比之下「最特殊」的那幾個字眼；不懂門道的作法…除了那神秘莫測的一句「憑經驗」以外，大概就只剩下卜卦了。

既然我們的目標是要找出「最特殊的那幾個且代表性的字眼」，那麼需要處理的東西就剩下兩個。一是「夠特殊，具代表性」，能讓人一下就回想起這篇文章或是讓機器找到相關文件，二是它的是個「真實的字眼」能讓人輕鬆記憶。

我們將「真實的字眼」定義為「可讀性較高」的詞彙，也就是在句法結點中較高位置的詞組。理論上，結點位置愈高，能傳遞的語意愈完整。在短期記憶的長度限制下，當傳遞的語意愈完整，其可讀性就愈高，也容易被記住。舉例來說：以「紅氣球」做為關鍵字，就遠比用「紅」或「氣球」做為關鍵字的可讀性高。

以下將展示，利用不同的中文斷詞系統來解析文章以後，得到的每個「詞彙」，再以最基本的 TF-IDF 演算法來計算每個詞彙的「特殊性」。最後我們提出「關鍵字的擷取流程中，除了特殊性應該兼顧可讀性」的結論。

讓機器從文件中找出對人類而言「夠真實」的字眼，需要良好的斷詞以及處理未知詞的能力。有良好的斷詞結果，才能避免產生無意義詞彙的問題。比如說把「具代表性」斷成了「具代」和「表性」這兩個無意義的詞彙；有良好的處理未知詞的能力，則有助於後續演算法找出「具代表性」的字眼，做為文件的關鍵字詞。

為了在第一步取得斷詞處理後的「詞彙」，我們先將幾篇新聞文稿，分別利用 Jieba (結巴斷詞)、中研院的 CKIP 斷詞系統以及卓騰開發的 Articut 中文斷詞暨詞性標記引擎進行預處理。

以其中一篇關於「世界地球日」的新聞為例，部份內容如下：『四月二十二日是世界地球日，四百名小朋友昨天在「臺灣小孩愛地球」活動中，分別以國語、閩南語、客語和英語發表「兒童環境宣言」與「兒童十大環境關懷議題」，...。臺北市立木柵動物園、荒野保護協會主辦的「臺灣小孩愛地球」活動，...。昨天在「臺灣小孩愛地球」活動現場，設計了四十多種認識自然與環保的闖關遊戲，包括「我是小小自然觀察家」，讓小朋友用五官來聽一聽、摸一摸、嘗一嘗、聞一聞、看一看，分辨動物的聲音...。』 為了尊重原文的版權，我們無法在此呈現全文。但讀者應該都能想像得到，這篇新聞和其它新聞最大的不同，應該是它報導的主題『世界地球日』。

我們將全文分別送進 Jieba、中研院 CKIP 和 Articut 斷詞引擎進行處理以後，再依 TF-IDF 的算法，計算出每個詞彙和全部的文章相比，在這篇文章中所能代表的特殊性的一個值。最後，我們再將「特殊性(tf-idf) x 詞彙長度」取得一個值，並依高到低排序。企圖同時能保有這個詞彙的「特殊性兼顧可讀性」的特色來做為我們選擇「關鍵字」的標準。

最後，我們選擇前 12 個字眼做為我們的「候選關鍵字」，若遇到詞彙內包含數字的話，則略過並由下一個往上遞補。以下是我們取得的結果：

從表格中可以明顯地看出來。由於這則新聞事件是發生在「二十二日」，因此這個詞彙的確是這篇新聞特有的詞彙。除此之外，只有透過 Articut 斷詞結果才計算出「世界地球日」和「環境宣言」這兩個重要、具代表性，且可讀性相當高的詞彙。

可讀性通常和未知詞的處理能力相關。雖然三種斷詞方式都找到了「環境」和「宣言」這兩個詞彙，但因為 Articut 會做句法結構上的推理，因此進一步將「環境宣言」視為更能呈現意義的詞彙，而將結合在一起。這麼一來，就產生了比其它斷詞方法的結果「可讀性更高」的結果。

挑出了「世界地球日」和「環境宣言」這兩個詞彙以後，當我們在網頁上要做自動關鍵詞的產生時：

就能更精確地列出能代表這篇文章，且可讀性高的「關鍵字」，並且利用這些關鍵字查找到其它的相關文章，增加使用者在頁面上的停留時間，並且投放最相關的廣告在頁面上增加曝光度。

光是以情緒強烈的字眼 （例如：「嗆」、「怒」）或是企圖以模糊指涉來引起興趣的句型（例如：「原來是用了那種東西！」、「明星說了這句話！」），都沒有定出一個「可讀性高」的關鍵字容易被大腦記住並不斷回想。

要將產品內容「塞」到受眾的大腦裡，當然要配合大腦運作的方式，才能事半功倍。

你的關鍵字抽取策略是什麼？用過於碎片化的資訊技術來斷詞並抽取關鍵字，還是卜卦作法求靈感呢？何不試試用 Articut 再加上 TF-IDF (或是 TextRanking) 就能有不錯的效果了呢。 [外部連結]

Articut 粉絲頁  https://www.facebook.com/Articut

卓騰 API 服務 https://api.droidtown.co/