單詞列表是許多領(lǐng)域的大量研究的基礎(chǔ)。ComplexityScienceHub的研究人員現(xiàn)已開發(fā)出一種算法，可以應(yīng)用于不同的語言，并且可以比其他算法更好地?cái)U(kuò)展單詞列表。

許多項(xiàng)目都是從創(chuàng)建單詞列表開始的，不僅在創(chuàng)建思維導(dǎo)圖的公司中如此，而且在所有研究領(lǐng)域也是如此。想象一下，您想通過分析Twitter帖子來了解人們?cè)谀膸滋煨那樘貏e好。僅僅尋找“快樂”這個(gè)詞是不夠的。

相反，您將不得不使用一種算法來檢測(cè)所有表明某人快樂的推文。“因此，第一步是創(chuàng)建一個(gè)包含所有表明這一點(diǎn)的詞的列表。整個(gè)研究都是這樣做的，”維也納復(fù)雜性科學(xué)中心的研究員AnnaDiNatale解釋說。但是如何得出最準(zhǔn)確、最完整的單詞列表呢?

【資料圖】

一個(gè)很多人都關(guān)心的問題

這個(gè)普遍存在的問題不僅涉及想要了解公眾如何接受政客言論的輿論研究人員。公司也想通過情緒分析了解他們的產(chǎn)品是如何被感知的。

為了改進(jìn)，DiNatale現(xiàn)在開發(fā)了一種名為L(zhǎng)EXpander的新方法，該方法在兩種不同語言(德語和英語)中的性能優(yōu)于以前的算法。此外，有史以來第一次，她開發(fā)了一種完全可以比較不同工具的方法。

提高性能

與其他四種詞表擴(kuò)展算法(WordNet、Empath2.0、FastText和GloVe)相比，LEXpander的表現(xiàn)要好得多，尤其是在德語中。例如，研究人員發(fā)現(xiàn)，LEXpander在擴(kuò)展英語單詞列表以獲得積極意義時(shí)，猜對(duì)了43%的單詞。相比之下，現(xiàn)有的流行模型FastText只有28%的時(shí)間是正確的。

獨(dú)立于語言本身

原因是該工具獨(dú)立于語言工作。它不是基于一種語言，而是基于所謂的colexification網(wǎng)絡(luò)。這一公認(rèn)的語言概念基于同音異義詞和多義詞，即具有兩個(gè)或更多不同含義的單個(gè)詞。例如：古希臘詞φìρμακον(pharmacon)可以表示藥物或毒藥。這是兩件不同的事情，但主題很接近。但還有其他一些并不暗示親屬關(guān)系——例如作為金融機(jī)構(gòu)的“銀行”或河流沿岸的土地。

“如果你用多種語言收集它們——在這里我們分析了大約19種不同的語言——你可以看到它們之間的聯(lián)系，”DiNatale說。當(dāng)這些并置化以跨不同語系的多種語言發(fā)生時(shí)，網(wǎng)絡(luò)就形成了，從而建立了聯(lián)系。

這種與語言本身的獨(dú)立性允許LEXpander在不同語言中取得更好的效果?！坝性S多針對(duì)英語開發(fā)的方法。它們工作得非常好，而且很快，每個(gè)人都在使用它們。嘗試將它們應(yīng)用于其他語言是可行的，但如果你已經(jīng)開始為德語或語開發(fā)方法，效果可能會(huì)差很多，”迪納塔萊解釋道。

對(duì)于COVID等新主題很重要

對(duì)于許多主題，已經(jīng)有很好的單詞列表。但對(duì)于新主題(例如COVID)，必須創(chuàng)建新主題。到目前為止，它們通常是在同事之間集思廣益時(shí)手工創(chuàng)建的，并使用了多種工具來提供幫助。但直到現(xiàn)在還沒有辦法比較它們。

AnnaDiNatale和她的團(tuán)隊(duì)現(xiàn)在創(chuàng)造了這種可能性，并且還開發(fā)了一種性能優(yōu)于其他工具的新工具。這可以成為未來各個(gè)領(lǐng)域許多研究項(xiàng)目的重要基石。

關(guān)鍵詞：