當我在2014年初加入易貝的機器翻譯團隊時，我被告知易貝的機器翻譯與其他任何地方都完全不同。老實說，我沒花多少時間就明白了為什么。那么，是什么讓我們的機器翻譯流程如此特別，我們?nèi)绾尾拍茏屗l(fā)揮作用呢？
背景
目前易貝上有超過8億個列表?？紤]到每個列表大約有300個單詞，你認為翻譯這些列表需要多少時間？我有沒有提到有些商品可能一天或一周才上線，庫存會不斷變化？
所以連計算器都不要拿出來。答案很簡單——人工翻譯不可行。但是，如果你真的想知道，我們花1000名翻譯人員五年時間，只翻譯了俄羅斯6000萬名合格的翻譯人員！對于列表，機器翻譯顯然更適合這種情況。我們明確表示，其他類型的內(nèi)容(如用戶界面、客戶支持等。)由我們的語言專家團隊進行本地化。
有多難？
也許我們面臨的最大挑戰(zhàn)之一是由用戶編寫，而不是由專業(yè)作家或內(nèi)容開發(fā)者編寫。他們使用不同的方法，不同的設備和不同的注意力。你猜對了。正如你所猜測的，翻譯用戶生成的內(nèi)容對于任何一個MT系統(tǒng)來說都是很難的，因為它需要學習如何處理拼寫錯誤、語法錯誤、缺少標點符號、外來詞等等。
我們估計只需要1000名翻譯人員用5年時間就能翻譯出6000萬棟符合俄羅斯條件的房子。
我們系統(tǒng)的另一個巨大挑戰(zhàn)是它們處理不同類型的內(nèi)容。易貝上有超過12，000個類別，從汽車零件到古董，從原創(chuàng)漫畫藝術(shù)到電動工具。這意味著我們的機器翻譯有一個引擎來處理，例如，每個類別都有正確的術(shù)語。為特定領(lǐng)域訓練機器翻譯系統(tǒng)相對容易，但事情變得更加復雜。
談域名，第三個挑戰(zhàn):很難在域名中找到數(shù)據(jù)來訓練我們的引擎。我們使用統(tǒng)計翻譯模型。簡而言之，它意味著從大量平行語言數(shù)據(jù)(源語言和目標語言的對齊文本)中生成的概率結(jié)果。一般科目的平行數(shù)據(jù)不難找到。有些數(shù)據(jù)是有的，但是有很多關(guān)于棒球裝備或者動作人物的雙語文本。沒那么容易
我剛找到一個很現(xiàn)實的例子:“這是一只看起來很棒的蝙蝠”。沒有任何背景，可以怪MT不知道。真的能怪MT覺得好看嗎？
盡量找很多關(guān)于棒球裝備或者動作人物的雙語課文。沒那么容易
超過1.5億的EBay活躍用戶正在嘗試查看這些列表，這些用戶正在訪問網(wǎng)站的30多個國家/地區(qū)。所有這些都需要龐大而堅實的基礎設施。
那么MT在易貝是如何工作的呢？
我們有一個機器翻譯科學團隊和一個機器翻譯語言團隊，他們多年來一直在共同努力實現(xiàn)這一目標。由于我是后者的一部分，所以我將把重點放在語言上。我之前提到過，不是什么都翻譯成MT；我們專注于:
搜索查詢:這是用戶正在尋找的。這是唯一主要使用英語的情況。查詢真的很難翻譯，因為除了其他因素之外，沒有上下文，所以很多單詞都是多義詞，所以它們有不止一個意思。比如用戶搜索“眼鏡”的時候，是在找眼鏡還是啤酒杯？
項目標題和描述:每個列表都有一個標題，因此您可以快速找到項目的內(nèi)容和描述，以便查看信息、指標、規(guī)范和其他項目。如果你熟悉標題，它們幾乎從不使用或遵循正確的語法規(guī)則。它們通常是一個接一個的單詞集合，有時充滿了同義詞。一個真實的例子:“一個高品質(zhì)的硬鉛筆誘餌fising誘餌crankbait 3d眼”。在機器翻譯中，術(shù)語“格式”被使用。
查詢很難翻譯，因為沒有上下文。
他們經(jīng)常擠滿了俚語和習語(“最好的爆炸”)和俚語；有時候語境是不存在的(比如“這是我最喜歡的斧頭”)，或者用戶試圖搞笑，用笑話，玩文字，雙關(guān)語等等。所有這些都很難把MT做對。
產(chǎn)品描述:這些是專業(yè)的書面文字，用戶可以閱讀更多關(guān)于他們想要購買的產(chǎn)品。
會員之間的交流(M2MT):有時候買家和賣家的語言不一樣，我們就用他們來互相交流。
進行培訓、測試和再培訓
那么，機器翻譯系統(tǒng)如何學習處理所有這些復雜問題呢？你訓練它。我們的科學團隊使用我們的機器翻譯引擎進行翻譯，這些翻譯經(jīng)過后期編輯，然后在內(nèi)部審核。如果后期編輯的文本質(zhì)量好，就會反饋給引擎。該系統(tǒng)從這些改進的翻譯中學習，并希望在未來使用它來產(chǎn)生更好的翻譯。
然而，需要測試機器翻譯輸出的質(zhì)量，以衡量培訓過程的影響。我們該怎么辦？人工翻譯。內(nèi)容是內(nèi)部審查的“傳統(tǒng)方式”，這些翻譯與引擎生成的翻譯進行比較。MT和HT之間的差異和相似性被用來生成分數(shù)，該分數(shù)可以被用作MT輸出質(zhì)量的指示。
最后一個想法。
MT對于擴大易貝的全球影響力至關(guān)重要。正如你所看到的，從科學家到語言學家，這是一個循環(huán)中有許多人的過程，我們的目標是建立一個可以很好地轉(zhuǎn)化為所有這些挑戰(zhàn)的系統(tǒng)。試圖有效地連接世界各地的買家和賣家并不容易，但絕對令人興奮。
