本文目錄一覽：

電話機(jī)器人首要便是用來(lái)模仿人工通話電話機(jī)器人軟件架構(gòu)的一組程序電話機(jī)器人軟件架構(gòu)，一般由，CRM體系，語(yǔ)義辨認(rèn)，轉(zhuǎn)化文字，話術(shù)體系，這是軟的部分，再加上底層軟交換和通訊模塊一同，兼并起來(lái)便是一套完好的電話機(jī)器人體系。

跟著人工智能的飛速開展以及廣泛落地運(yùn)用，越來(lái)越多的設(shè)備將會(huì)被植入智能問(wèn)答技能，人機(jī)交互場(chǎng)景隨處可見，智能問(wèn)答在未來(lái)將會(huì)成為一個(gè)十分重要的進(jìn)口。

騰訊小知憑借著業(yè)界搶先的智能AI引擎算法和海量大數(shù)據(jù)倉(cāng)庫(kù)，已將智能問(wèn)答技能落地施行，而且經(jīng)過(guò)許多的事務(wù)檢測(cè)和優(yōu)化，常識(shí)點(diǎn)匹配度和準(zhǔn)確率都已到達(dá)90%以上，在2018 年 GITC 全球互聯(lián)網(wǎng)技能大會(huì)上，騰訊小知榮獲年度互聯(lián)網(wǎng)最具價(jià)值產(chǎn)品獎(jiǎng)。

騰訊小知算法擔(dān)任人陳松堅(jiān)也在會(huì)場(chǎng)宣布電話機(jī)器人軟件架構(gòu)了關(guān)于智能問(wèn)答技能原理及其在To B場(chǎng)景下的運(yùn)用的專題講演，從自己的視點(diǎn)為電話機(jī)器人軟件架構(gòu)咱們展示智能問(wèn)答技能的最新作用。

電話機(jī)器人軟件架構(gòu)他首要從智能問(wèn)答是什么，為什么和怎樣做的三個(gè)問(wèn)題動(dòng)身，闡明電話機(jī)器人軟件架構(gòu)了他對(duì)當(dāng)時(shí)智能問(wèn)答技能的定位和價(jià)值，首要，現(xiàn)階段的智能問(wèn)答是信息檢索技能的晉級(jí)，是突變而未到達(dá)突變。可是不管在To B仍是To C的場(chǎng)景下，當(dāng)時(shí)的技能都可以實(shí)在處理一些用戶的痛點(diǎn)，提高用戶體會(huì)，是亟待推動(dòng)和充溢幻想的方向。

在答復(fù)怎樣做這個(gè)問(wèn)題時(shí)，他具體介紹電話機(jī)器人軟件架構(gòu)了幾種不同的問(wèn)答機(jī)器人的完結(jié)途徑，包含單輪問(wèn)答機(jī)器人，多輪問(wèn)答機(jī)器人及閱覽了解機(jī)器人。其間要點(diǎn)論述了單輪問(wèn)答機(jī)器人的完結(jié)原理，包含字面匹配，詞向量匹配，深度語(yǔ)義匹配，搬遷學(xué)習(xí)等技能。

爾后他還同享了小知團(tuán)隊(duì)將上述技能產(chǎn)品化的經(jīng)歷，包含智能客服機(jī)器人和電話機(jī)器人兩大塊，首要同享了當(dāng)時(shí)產(chǎn)品的形狀，亮點(diǎn)和實(shí)踐項(xiàng)目中獲得的一些作用。

終究，他簡(jiǎn)略總結(jié)了小知現(xiàn)在完結(jié)的作業(yè)以及就智能問(wèn)答的開展提出了自己的幾點(diǎn)觀點(diǎn)。

--------------------------------------------------------------

以下是講演稿全文：

各位下午好，很快樂(lè)今日能在這兒給咱們做同享陳述。先介紹一下，咱們騰訊小知是致力于為政府和各職業(yè)供給一攬子智能問(wèn)答處理計(jì)劃的團(tuán)隊(duì)，現(xiàn)在現(xiàn)已落地的包含依據(jù)文本的智能客服機(jī)器人和依據(jù)語(yǔ)音的電話機(jī)器人等。

在大多數(shù)人的認(rèn)知里，智能問(wèn)答很或許是以上的3個(gè)形象，2011年打敗了人類獲得問(wèn)答比賽冠軍的waston;2017年被沙特頒發(fā)公民身份的機(jī)器人sofia;更為咱們熟知的鋼鐵俠中的機(jī)器人管家jarvis。在咱們心目中，智能就意味著可以像真人相同溝通。可是作為從業(yè)者，很惋惜地告知咱們，現(xiàn)在的技能還遠(yuǎn)沒(méi)有到達(dá)這個(gè)方針，我以為本質(zhì)上現(xiàn)在的智能問(wèn)答技能是對(duì)信息檢索技能的一次晉級(jí)，是突變而未到突變。這個(gè)皇冠上的明珠還等待咱們?nèi)フ　?/p>

已然問(wèn)答技能還不老練，那為什么還要投身到這個(gè)范疇呢。我想從To B和To C兩個(gè)視點(diǎn)去答復(fù)。對(duì)企業(yè)來(lái)講，當(dāng)時(shí)的問(wèn)答技能盡管無(wú)法回答雜亂的咨詢，可是大部分的簡(jiǎn)略的頭部問(wèn)題是可以比較好的回答的。從本輪AI大潮NLP賽道的幾名種子選手都從智能客服這個(gè)方向切入就可以看出企業(yè)是的確存在對(duì)智能問(wèn)答的剛性需求。而對(duì)普通用戶來(lái)講，一方面siri等語(yǔ)音幫手每天都在為用戶供給快捷的交互界面，另一方面像amazon echo這一類的智能家居產(chǎn)品也逐漸進(jìn)入千家萬(wàn)戶，成為物聯(lián)網(wǎng)生態(tài)的中心進(jìn)口之一，這便是智能問(wèn)答的價(jià)值地點(diǎn)。

那怎么完結(jié)智能問(wèn)答機(jī)器人呢?咱們先來(lái)看最根本的單輪問(wèn)答機(jī)器人的完結(jié)原理。

了解搜索引擎的朋友會(huì)發(fā)現(xiàn)這個(gè)架構(gòu)跟搜索引擎的很相似。單輪問(wèn)答一般來(lái)說(shuō)便是FAQ問(wèn)答，是依據(jù)事務(wù)問(wèn)答對(duì)組成的問(wèn)答庫(kù)進(jìn)行檢索匹配。其間FAQ問(wèn)題集包含多個(gè)相似問(wèn)法供用戶問(wèn)題去匹配。預(yù)處理階段一般會(huì)進(jìn)行文本糾錯(cuò)，標(biāo)準(zhǔn)化和底層NLP特征提取;召回階段會(huì)在倒排索引中召回若干個(gè)候選問(wèn)題(粗排)，而終究的匹配階段會(huì)依據(jù)各種模型進(jìn)行匹配打分并回來(lái)得分最高的成果(精排)。匹配階段還會(huì)引進(jìn)其他模塊，如常識(shí)圖譜和拒識(shí)模型，目的是輔佐提高匹配的終究準(zhǔn)確率。

retrieval中的匹配可以看做是naive solution，詞袋+VSM, 挑選候選夠用了，可是精排需求更精美的戰(zhàn)略，榜首，要運(yùn)用監(jiān)督信息做擬合，咱們構(gòu)建依據(jù)問(wèn)題對(duì)的練習(xí)語(yǔ)料，擬合是否匹配這個(gè)二分類方針。第二，特征上扔掉稀少的詞袋模型，而是結(jié)構(gòu)各種相似度來(lái)做base scorer，然后運(yùn)用非線性的抗噪才能強(qiáng)的xgboost來(lái)做交融，比方咱們用到詞bigram, 字bigram, 中心詞，名詞等特征調(diào)集的相似度。這種辦法的優(yōu)缺點(diǎn)是一體的，由于模型只學(xué)習(xí)字面相似的特征，因而不受范疇影響，通用性強(qiáng)，合適用在冷啟動(dòng)階段;但也由于只考慮字面相似，無(wú)法處理更深層的語(yǔ)義匹配。

那怎么衡量語(yǔ)義的相似呢。詞向量技能的鼓起是語(yǔ)義匹配的條件，所謂詞向量，是將孤立的傳統(tǒng)的token表明映射到彼此相關(guān)的向量空間中，這種相關(guān)性，或許說(shuō)是相似性，是經(jīng)過(guò)詞語(yǔ)的上下文的來(lái)描繪的。也便是說(shuō)，上下文越相似的詞語(yǔ)，他們的語(yǔ)義就越相似，詞向量的歐式間隔就越近。這是很簡(jiǎn)略了解的，更妙的是，經(jīng)過(guò)對(duì)向量進(jìn)行簡(jiǎn)略加減運(yùn)算，可以呈現(xiàn)出概念的聯(lián)系，比方king-man+woman的成果十分接近于queen, 因而闡明詞向量可以必定程度描寫語(yǔ)義。那對(duì)語(yǔ)句怎么做向量表明呢?一個(gè)簡(jiǎn)略的主意是直接求和均勻，WMD是另一個(gè)比較有意思且有用的做法，他將核算語(yǔ)句到語(yǔ)句的相似度建模成一個(gè)運(yùn)送的問(wèn)題，把語(yǔ)句p的各個(gè)詞，運(yùn)送到q的各個(gè)詞上，也可以說(shuō)是改換;運(yùn)送成本是詞向量的cosine相似度，而要運(yùn)送的是各個(gè)詞在語(yǔ)句中的權(quán)重，用線性規(guī)劃求解一個(gè)最優(yōu)解，即為p到q的間隔。別的還有個(gè)有用的辦法是SIF，思路是做詞向量加權(quán)求和，可是突顯出語(yǔ)句中非通用的部分，即權(quán)重用詞頻倒數(shù)來(lái)核算權(quán)重，試驗(yàn)作用也很不錯(cuò)。

上面的辦法有一個(gè)問(wèn)題便是沒(méi)有運(yùn)用有監(jiān)督信息，所以作用有顯著的天花板。下面介紹這個(gè)作業(yè)是依據(jù)深層網(wǎng)絡(luò)做有監(jiān)督學(xué)習(xí)的匹配的，做法也比較簡(jiǎn)略，首要把語(yǔ)句文本用one-hot編碼，假設(shè)詞典巨細(xì)是500K，那編碼完長(zhǎng)度便是500K維，其實(shí)等于是詞袋模型，然后輸入到一個(gè)多層的神經(jīng)網(wǎng)絡(luò)去學(xué)習(xí)，終究得到一個(gè)128維的向量作為語(yǔ)句的語(yǔ)義表明，然后用cosine核算兩個(gè)語(yǔ)句與文檔的相似度作為模型輸出。這個(gè)辦法其實(shí)是將高維稀少的token特征映射到低維語(yǔ)義空間，跟詞向量的思路很相似，只不過(guò)練習(xí)方針不同，而且這兒運(yùn)用了深層網(wǎng)絡(luò)結(jié)構(gòu)。

可是CNN對(duì)上下文的處理才能依賴于窗口巨細(xì)，遠(yuǎn)間隔就沒(méi)辦法處理了，因而要考慮另一種網(wǎng)絡(luò)單元RNN，這種單元是專門為時(shí)序模型量身打造的，簡(jiǎn)略來(lái)說(shuō)，每一時(shí)間t上的躲藏狀況，或許說(shuō)第t個(gè)詞上的語(yǔ)義編碼，都由兩個(gè)輸入一起決議，即上一時(shí)間的躲藏狀況和當(dāng)時(shí)時(shí)間的原始輸入，而為了處理遠(yuǎn)間隔傳遞導(dǎo)致的梯度消失和梯度爆破等問(wèn)題，RNN有一些變種結(jié)構(gòu)來(lái)應(yīng)對(duì)，比方 LSTM和GRU等。

CNN和RNN都是對(duì)原始輸入進(jìn)行語(yǔ)義編碼的根本單元，編碼后的向量就可以接入多層感知機(jī)進(jìn)行相似度核算，假如是直接核算cosine相似度，那便是dssm的晉級(jí)版，而更常見的做法是把兩個(gè)語(yǔ)句的編碼向量拼接在一同，再經(jīng)過(guò)一個(gè)多層感知機(jī)核算相似度，而這種辦法統(tǒng)稱為表達(dá)式建模;

另一種計(jì)劃考慮到兩個(gè)語(yǔ)句之間的交互信息對(duì)學(xué)習(xí)他們是否匹配明顯更為重要，這一類計(jì)劃被稱為交互式建模，右邊是一個(gè)典型的比方，他最大的不同是首要對(duì)兩個(gè)語(yǔ)句的一切窗口組合進(jìn)行拼接和卷積，得到交互信息。然后再進(jìn)行屢次卷積和池化得到表明。其他的交互方法還包含編碼之后，進(jìn)行交互操作，如作差，點(diǎn)乘等，還有核算attention表明，也是常見的交互方法。

下面介紹咱們的計(jì)劃，跟上面介紹的模型比較，咱們的計(jì)劃首要做了兩處改動(dòng)，一個(gè)是運(yùn)用了稠密銜接的網(wǎng)絡(luò)結(jié)構(gòu)，讓rnn層的輸入和輸出拼接在一同做為下一層的輸入，第二個(gè)是混合注意力機(jī)制，即在核算attention向量進(jìn)行交互式建模的基礎(chǔ)上，添加self-attention向量核算，然后把兩個(gè)attention向量經(jīng)過(guò)門機(jī)制進(jìn)行交融，這樣做一方面引進(jìn)了問(wèn)句間的交互信息，一起又增強(qiáng)了對(duì)本身的表達(dá)建模。

上面的模型是比較雜亂的模型，參數(shù)量有5.8M。在實(shí)踐中運(yùn)用中練習(xí)語(yǔ)料會(huì)嚴(yán)重不足，為了處理這個(gè)問(wèn)題，咱們引進(jìn)了搬遷學(xué)習(xí)的戰(zhàn)略。首要榜首種是多使命聯(lián)合學(xué)習(xí)，比方在擬合兩個(gè)問(wèn)句是否匹配的一起，也對(duì)問(wèn)句進(jìn)行分類猜測(cè);別的還可以一起對(duì)匹配的問(wèn)題對(duì)做seq2seq的翻譯模型練習(xí)。這兩個(gè)戰(zhàn)略都證明能有用提高準(zhǔn)確率。

而另一個(gè)思路愈加直觀，即引進(jìn)其他范疇的語(yǔ)料，所謂多語(yǔ)料搬遷。Fine-tune即參數(shù)微調(diào)是其間一種做法，即先用通用語(yǔ)料練習(xí)網(wǎng)絡(luò)，固定底層表達(dá)層的參數(shù)，然后再運(yùn)用范疇語(yǔ)料調(diào)整上層參數(shù);另一種思路參閱了對(duì)立學(xué)習(xí)的思維，即引進(jìn)一個(gè)新的使命“混雜分類器”去判別當(dāng)時(shí)樣本是來(lái)自源語(yǔ)料仍是方針語(yǔ)料，經(jīng)過(guò)在丟失函數(shù)中添加反向的混雜分類丟失項(xiàng)，讓混雜分類器盡或許地?zé)o法區(qū)別樣本的來(lái)歷，然后確保同享了參數(shù)的表達(dá)網(wǎng)絡(luò)可以學(xué)習(xí)到兩部分語(yǔ)料中共性的部分。

以上的介紹都是為了完結(jié)一個(gè)根本的單輪對(duì)話機(jī)器人，而實(shí)踐運(yùn)用中，往往存在需求需求交互的場(chǎng)景，比方查詢社保余額，就需求用戶供給指定信息，如名字，身份證號(hào)，手機(jī)號(hào)等。這種是所謂使命導(dǎo)向型機(jī)器人，而另一種，依據(jù)常識(shí)圖譜的機(jī)器人也往往會(huì)涉及到多輪交互。這兒簡(jiǎn)略介紹一下多輪對(duì)話機(jī)器人的架構(gòu)，全體上是一個(gè)對(duì)話辦理體系，總的來(lái)說(shuō)是辦理會(huì)話狀況，包含4個(gè)模塊，分別是輸入部分：自然言語(yǔ)了解模塊NLU，擔(dān)任目的辨認(rèn)和抽取槽位實(shí)體，比方這兒匹配到了目的是查詢社保余額，抽取到了社保號(hào)1234。得到的目的和槽位值會(huì)送入到對(duì)話狀況追尋模塊，DST，他擔(dān)任會(huì)話狀況的更新，形式化來(lái)說(shuō)是一個(gè)函數(shù)，輸入是當(dāng)時(shí)狀況s和當(dāng)時(shí)的query經(jīng)過(guò)NLU處理過(guò)得到的目的和槽位值q, 輸出新的狀況s‘，下一步是把s’送入DPL，對(duì)話戰(zhàn)略模塊，這個(gè)模塊是依據(jù)新的狀況s‘輸出舉動(dòng)a，一般這個(gè)決議計(jì)劃挑選會(huì)依賴于一個(gè)外部數(shù)據(jù)庫(kù)或常識(shí)圖譜，終究，由輸出部分，自然言語(yǔ)生成模塊NLG擔(dān)任將舉動(dòng)轉(zhuǎn)化為自然言語(yǔ)文本，回來(lái)給用戶。

前面說(shuō)到的單輪FAQ機(jī)器人，有一個(gè)問(wèn)題是問(wèn)答準(zhǔn)確率依賴于問(wèn)答庫(kù)的質(zhì)量，而問(wèn)答庫(kù)的構(gòu)建耗時(shí)吃力，所以針對(duì)數(shù)據(jù)較大的非結(jié)構(gòu)化文檔，假如可以直接從中抽取答案，是十分抱負(fù)的做法。比方斯坦佛大學(xué)開源的drQA，便是依據(jù)wikipedia的語(yǔ)料做的一個(gè)敞開域上的問(wèn)答機(jī)器人，咱們來(lái)看看這種閱覽了解機(jī)器人的架構(gòu)暗示，他也是依據(jù)檢索重排的思路，首要把或許的文段從語(yǔ)料庫(kù)中摘取出來(lái)，然后送入閱覽了解模型進(jìn)行答案定位，打分，排序和挑選得分最高的答案。閱覽了解模型與匹配模型是相似的，需求先對(duì)問(wèn)題和候選文段進(jìn)行編碼表明，不同之處在于終究猜測(cè)的方針是答案的開始和完畢方位。我地點(diǎn)的團(tuán)隊(duì)在上一年，在閱覽了解的威望揭露測(cè)評(píng)Squad v1中獲得過(guò)榜首的成果，一起參與這個(gè)測(cè)評(píng)的包含了google, facebook, 微軟，阿里idst, 科大訊飛等國(guó)內(nèi)外同行。闡明業(yè)界對(duì)這種技能仍是十分垂青的。

下面同享小知在把以上技能落地產(chǎn)品化的經(jīng)歷。首要咱們來(lái)看看小知的全體架構(gòu)圖，中心引擎有兩部分，一塊是上面要點(diǎn)論述的深度語(yǔ)義匹配模型，另一塊是本次同享沒(méi)有打開的常識(shí)圖譜引擎，在此之上，咱們構(gòu)建了FAQ機(jī)器人，多輪會(huì)話機(jī)器人(使命機(jī)器人)，閑談機(jī)器人等。以下是咱們單輪和多輪機(jī)器人的示例。

在咱們實(shí)踐的落地項(xiàng)目中，得益于深度搬遷模型的語(yǔ)義匹配才能和職業(yè)常識(shí)圖譜的的精準(zhǔn)匹配和輔佐詰問(wèn)，小知機(jī)器人可以做到95%左右的問(wèn)答準(zhǔn)確率，而且節(jié)省了50%以上的服務(wù)人力，實(shí)在為政府和企業(yè)提高功率和下降成本。

在智能客服的基礎(chǔ)上，咱們又打造了依據(jù)語(yǔ)音的電話機(jī)器人，力主交融智能客服，人工在線客服，工單體系和電話機(jī)器人，為客戶打造從售前售中售后的全體處理計(jì)劃。

以下是電話機(jī)器人的全體架構(gòu)圖，中心是自然言語(yǔ)了解NLU模塊，擔(dān)任辨認(rèn)用戶發(fā)問(wèn)目的

提取相關(guān)實(shí)體。依據(jù)NLU輸出的成果，內(nèi)置的對(duì)話辦理引擎會(huì)進(jìn)行流程狀況流通和盯梢。

別的，ASR語(yǔ)音辨認(rèn)和TTS語(yǔ)音組成是不可或缺的重要服務(wù)，這三個(gè)模塊彼此協(xié)作，一起完結(jié)與用戶的交互。

終究對(duì)智能問(wèn)答的未來(lái)開展提幾點(diǎn)我的觀點(diǎn)。現(xiàn)在學(xué)術(shù)界比較公認(rèn)的一個(gè)方向是，需求更有機(jī)地結(jié)合模型和規(guī)矩，而在問(wèn)答范疇，規(guī)矩的一大組成部分便是常識(shí)圖譜，包含敞開范疇的常識(shí)圖譜和專業(yè)范疇常識(shí)圖譜。而更進(jìn)一步地，咱們需求研討帶有推理性質(zhì)的事理型常識(shí)圖譜去描繪范疇內(nèi)的規(guī)矩和常識(shí)，讓機(jī)器人可以處理帶有雜亂條件的問(wèn)題，供給更智能的回復(fù)。在我看來(lái)，智能問(wèn)答的一個(gè)突破口就在于處理以上三個(gè)問(wèn)題。以上便是今日同享的內(nèi)容，謝謝咱們。

主講人介紹：

陳松堅(jiān)，騰訊數(shù)據(jù)渠道部算法高檔研討員，有著8 年的 NLP 研制經(jīng)歷，2017 年參加騰訊 TEG 數(shù)據(jù)渠道部，擔(dān)任智能客服產(chǎn)品騰訊小知的算法規(guī)劃和落地。擔(dān)任過(guò)多個(gè)智能客服項(xiàng)目，對(duì)關(guān)閉范疇的智能問(wèn)答有豐厚的實(shí)戰(zhàn)經(jīng)歷。

南京硅基智能電話機(jī)器人的優(yōu)勢(shì)有許多的，我給你簡(jiǎn)略說(shuō)幾個(gè)：

1、依據(jù)自然言語(yǔ)了解、 支撐打斷：經(jīng)過(guò)大數(shù)據(jù)分析，樹立智能決議計(jì)劃反饋體系，練習(xí)適配事務(wù)場(chǎng)景的言語(yǔ)模型。

2、人工轉(zhuǎn)接：經(jīng)過(guò)語(yǔ)義辨認(rèn)和處理功用可對(duì)客戶的意向進(jìn)行實(shí)時(shí)盯梢，主動(dòng)轉(zhuǎn)接人工跟進(jìn)，下降客戶丟失的概率。

3、定制化：產(chǎn)品選用模塊化軟件架構(gòu)，能快速構(gòu)建適配不同事務(wù)場(chǎng)景需求的定制模塊。