不可不知 | 有關(guān)文本挖掘的14個概念

---

我們所處的信息時代以急速增長的數(shù)據(jù)信息收集、儲存和轉(zhuǎn)換成電子格式為特征。大量的商業(yè)數(shù)據(jù)以雜亂無章的文本形式儲存。

據(jù)美林公司（Merrill Lynch）和高德納公司（Gartner）聯(lián)合進行的一項調(diào)查表明，85%的企業(yè)數(shù)據(jù)或多或少是以無序的方式收集儲存的。同時，調(diào)查聲稱這些雜亂無章的數(shù)據(jù)每18個月增長一倍。

 

當(dāng)今商界奉行“知識就是力量”，知識來源于數(shù)據(jù)和信息，若企業(yè)能夠高效且有效地挖掘文本數(shù)據(jù)背后的資源，就能夠做出更好的決策。

文本挖掘（在文本數(shù)據(jù)庫也稱文本數(shù)據(jù)挖掘或者知識發(fā)現(xiàn)）是從大量無結(jié)構(gòu)的數(shù)據(jù)中提煉出模式（也就是有用的信息和知識）的半自動化處理過程。

請注意，數(shù)據(jù)挖掘是從有結(jié)構(gòu)的數(shù)據(jù)庫中鑒別出有效的、新穎的、可能有用的并最終可理解的模式。在這個有結(jié)構(gòu)的數(shù)據(jù)庫中，分類的、順序的或者連續(xù)型變量構(gòu)建起記錄，數(shù)據(jù)在這些記錄下進行組織。文本挖掘與數(shù)據(jù)挖掘的共同之處在于，它們都為了同樣的目標(biāo)，使用同一處理方式，不同之處在于文本挖掘流程中“輸入”一項是一堆雜亂無章的（或者說是未經(jīng)整理的）數(shù)據(jù)文件，比如Word、PDF、本文文檔摘錄、XML文件等。

在大量數(shù)據(jù)產(chǎn)生的領(lǐng)域，文本挖掘的益處尤為突出。

·信息提取。通過模式匹配尋找出文本中先定的物件和序列，文本挖掘能夠鑒別文本中主要的短語和關(guān)系。最常見的信息提取形式大概就是“實體抽取”。命名實體抽取包括命名實體識別（利用現(xiàn)有對域的知識，進行已知實體名稱的識別，包括：人、企業(yè)、地點的名字、時間表達式以及某些數(shù)值表達式）、指代消解（檢測文本實體間的同指代和回指代聯(lián)系）、關(guān)系抽?。ㄨb別實體間的關(guān)系）。

·話題跟蹤。根據(jù)用戶瀏覽的文件記錄，文本挖掘可以預(yù)測用戶可能喜歡的其他文本。

·總結(jié)。文本挖掘可以為讀者總結(jié)文本概要，節(jié)省閱讀時間。

·分類。文本挖掘能夠發(fā)現(xiàn)穩(wěn)當(dāng)?shù)闹黝}，并歸置在預(yù)先制定的類別之下。

·聚類。文本挖掘可以在沒有預(yù)先制定的類別時歸類相似的文檔。

·概念銜接。文本挖掘可以鑒別文檔的共享概念，從而把相關(guān)的文檔連接在一起。用戶由此可以找到傳統(tǒng)搜索方法無法發(fā)現(xiàn)的信息。

·答疑。通過知識驅(qū)動的模式匹配，文本挖掘可以找出問題的最佳答案。

文本挖掘有自己的語言體系，包括多種多樣的術(shù)語和縮略詞。

·非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)有其預(yù)設(shè)的格式，常和簡單的數(shù)據(jù)數(shù)值（分類的、順序的或者連續(xù)型變量）一同被組織進入記錄并儲存在數(shù)據(jù)庫。

·語料庫。在語言學(xué)中，語料庫是一個大型的結(jié)構(gòu)化文本的集合（現(xiàn)在一般是以電子形式儲存和處理），用作知識發(fā)現(xiàn)的工具。

·術(shù)語。術(shù)語是由在一個特定域的語料庫中，通過自然語言處理提取的單詞或者多詞短語。

·概念。概念是通過人工、統(tǒng)計、規(guī)則導(dǎo)向或者多種混合的分類方法，從一系列文檔中生成的特征。與術(shù)語相比，生成概念需要更高層次的抽象。

·詞干提取。詞干提取是將屈折詞簡化到詞干（或者詞根）的處理方式。比如，stemmer,stemming和stemmed都來自stem。

·停用詞。停用詞（也稱為“干擾詞”），是在自然語言處理之前或者之后被過濾掉的單詞。停用詞沒有統(tǒng)一的清單，大多數(shù)自然語言處理工具將冠詞（如a,am,the,of等），助動詞（如is,are,was,were等）以及只在上下文中有意義，不具有區(qū)分價值的詞視作停用詞。

·同義詞和多義詞。同義詞是在句法上不同（也就是拼寫不一樣），但是意思一致或者相似的詞語。相反地，多義詞或者“同形異義詞”，是句法上一致，但意義不同（例如bow，有鞠躬、船頭、蝴蝶結(jié)等多個意思）。

·標(biāo)記化。標(biāo)記是句子中已分類的文本塊。根據(jù)功能的不同，與標(biāo)記對應(yīng)的文本塊被分門別類，這一與意義相關(guān)的過程被稱為“標(biāo)記化”。只要對結(jié)構(gòu)化文本有意義，標(biāo)記可以是任何形式的。

·術(shù)語詞典。術(shù)語詞典是一個小而專的領(lǐng)域里的術(shù)語集合，可以控制從語料庫中提取的字詞。

·詞頻。詞頻就是一個單詞在某文本中出現(xiàn)的次數(shù)。

·詞性標(biāo)注。詞性標(biāo)注就是根據(jù)單詞的意思和它在上下文的用法標(biāo)記詞性（是名詞、動詞、形容詞還是副詞）。

·形態(tài)學(xué)。形態(tài)學(xué)是語言學(xué)的一個分支，是自然語言處理的一部分，它研究的是詞語的內(nèi)部結(jié)構(gòu)。

·術(shù)語-文本矩陣。常用來呈現(xiàn)術(shù)語和文本間基于頻率的關(guān)系，以表格的形式表現(xiàn)，行表示術(shù)語，列表示文本，術(shù)語和文本間的頻率以整數(shù)形式填在每個格里。

·奇異值分解（也稱為潛在語義索引）。是一種將術(shù)語——文本矩陣轉(zhuǎn)化到可操作大小的降維手段。它利用一種與主成分分析法類似的矩陣控制法來生成中等大小的術(shù)語——文本頻率表現(xiàn)形式。

本文轉(zhuǎn)載自微信公眾號《數(shù)據(jù)之王 ID：shujuzhiwang》

更多大數(shù)據(jù)與分析相關(guān)行業(yè)資訊、解決方案、案例、教程等請點擊查看>>>

詳情請咨詢在線客服！

客服熱線：023-66090381