受訪者|楊植麟，循環智能聯合創始人
記者|徐威龍，編輯|郭芮
出品|CSDN（ID：CSDNnews）
「AI技術生態論」人物訪談欄目是CSDN發起的百萬人學AI倡議下的重要組成部分。通過對AI生態頂級大咖、創業者、行業KOL的訪談，反映其對于行業的思考、未來趨勢的判斷、技術的實踐，以及成長的經歷。本文為該系列訪談的第12期，通過和循環智能聯合創始人楊植麟的訪談，本文詳細解讀了XLNet模型等自然語言技術以及對話數據的應用場景等內容。
近年來，由于面向大規模用戶的音頻、視頻、圖像等業務急劇增長，全球數據量呈現出爆發式的增長，數據石油也為無數的科技公司提供了覆手為云的發展契機。數據預測，到2020年全球的數據量將到達40ZB，車聯網、智能制造、智慧能源、無線醫療、無線家庭娛樂、無人機等新型應用都將創造出新的數據維度。技術換代下，伴隨著數據海嘯而來的淘金熱也居高不下。
事實證明，數據帶來的機會是極為龐大的，但目前人們還未能徹底挖掘出數據資產的全部價值。在過去，對話數據的含金量就一直被嚴重忽視了。
隨著自然語言處理技術的不斷發展，時下的對話數據價值正在逐漸被喚醒，不同領域的最佳行業實踐和實際效果都在逐步提升——而那些富有遠見的企業，已經開始重視對話數據的價值了，但是他們之中的很多人仍缺乏利用這些數據產生業務價值的最佳實踐。循環智能則正是基于此出發點，填補了這一技術空缺。
基于原創的XLNet模型、Transformer-XL模型等自然語言處理底層技術，循環智能打造了領先的AI技術矩陣。我們做的事情主要就是：從銷售過程產生的對話數據中，包括跟企業的IM聊天、微信聊天、電話銷售溝通，進行文本的洞察，實現決策層面的賦能，最終提升銷售的轉化率。針對不同行業的具體需求，實現不同的對話數據應用場景落地。在本文中，CSDN采訪了循環智能聯合創始人楊植麟，其將從對話數據的應用場景出發，為我們全面解析XLNet模型原理、核心技術、當前NLP的發展以及AI人才成長路徑等內容。
在深度學習和自然語言處理領域，楊植麟頗有建樹。作為第一作者，其與卡內基梅隆大學、Google Brain團隊聯合推出NLP領域熱門的國際前沿預訓練XLNet模型，在20個標準任務上超過了曾經保持最優性能記錄的Google BERT模型，并在18個標準任務上取得歷史最好結果，更被稱為BERT之后的重要進展。
△楊植麟與兩位導師Ruslan Salakhutdinov（蘋果AI研究負責人，右）、William Cohen（谷歌Principal Scientist，左）合影
在北京智源人工智能研究院公布的2019年度智源青年科學家名單中，他還是最年輕的、也是唯一的90后。
分析對話語義，挖掘數據價值
發揮數據價值已成為大多企業的共識，在這其中，很多企業出于提升服務水平和效率、保存企業數據資產的原因，存儲了大量銷售與客戶、客服與客戶溝通的錄音、文本記錄。如何從對話數據中找到對企業有用的信息、挖掘出客戶所表達內容中隱含的潛在產品需求——則是循環智能的技術初衷所在。
他表示，目前具體有四個場景：第一，使用對話數據，做高意向銷售線索的挖掘、排序和打分，給每一個線索做解決方案匹配和產品推薦；第二，從對話數據中抽取客戶畫像，幫助企業構造畫像體系。企業借助畫像體系可以設計針對性的運營活動；第三，從對話數據中自動挖掘銷售的有效話術，這些有效話術可以為銷售新人做實時輔助，告訴新人更高效地與客戶溝通；第四，監測話術的執行情況，這個過程通常被稱為執行力監督或質檢。
同時，我們通過分析對話的語義跟最終結果——是否成單之間的關系，預測哪些對話有更高的成單意向，從而讓這四個場景形成閉環。在實際案例上，楊植麟分享了一個比較Top的壽險公司應用，我們的線索評分上線之后，大概通話時長提升了100%，轉化率提升了到原來的270%。
△循環智能的產品架構圖
技術層剖析：XLNet優于BERT
在技術實現層面，我們所做的事情和實現的場景，跟傳統的對話機器人、聊天機器人或者機器人客服，都有著極大的差別。
楊植麟表示，機器人主要做的事情是通過一套模板做簡單的匹配，匹配之后用規則去生成接下來要說什么。從技術上說，目前機器人公司基本上沒有使用新一代技術，而循環智能所做的業務場景則是幫企業做產品與客戶的匹配、銷售線索推薦，這些場景直接影響企業的業績，因此企業對準確率非常敏感，必須使用最新一代的、更高準確率的技術才可以。我們用了自己原創的XLNet算法去做很大的模型，用很多的數據去學習，使得標注的效率、對文本長序列的處理都取得了很大提升，可以來支撐我們的上層業務。此外，還能更好地結合上下文語義，從溝通對話數據中實時提取語義標簽，來做合規質檢、客戶畫像和反饋的自動挖掘、銷售和客服的執行力監督。
在楊植麟看來，相比BERT，XLNet模型有其明顯的優越性。原理上，兩者都是屬于預訓練的方法。但從更具體的角度來說，XLNet其實是融合了兩種不同的預訓練方法：自回歸和自編碼兩種。BERT可以看成是一種自編碼的方法，XLNet則會克服BERT的一些缺點，主要是兩個：XLNet不用引入特殊的Mask符號，所以會減輕在預訓練和微調（Fine-tuning）時候數據分布不一致的情況；此外，XLNet可以對不同詞之間的關聯性進行建模，而BERT假設所有要預測詞之間都是獨立的。XLNet通過一些比較巧妙的、形式上的變化，使得它不需要有這個假設。所以XLNet是一個更通用的模型，去掉了比較嚴格的假設，可以對自然語言里面的上下文關系進行更好地建模。
△XLNet原理圖
在具體的產品和解決方案背后，循環智能同樣面臨著兩方面的技術難點。一方面，他們需要將自己提出來的模型用到業務場景里面，另一方面是要針對具體場景里的一些挑戰，針對性地提出技術解決辦法。具體來說，第一塊主要是用了我們提出的Transformer-XL、XLNet等一系列通用NLP模型，以及一些主動學習（ActiveLearning）的算法，作為底層去支撐上層的應用。第二塊就是針對這些具體的場景，它相對來說會有一些比較難的地方。
難點1：線索評分會涉及到怎么去融合多種不同模態的數據。比如除了對話數據，有時候還會有行為數據、業務數據，需要將不同模態的數據融合到同一個框架。
難點2：怎么對很長的對話結構的文本進行建模。用預訓練好的模型通常效果不好，因為它一無法有效地對對話結構進行建模，二沒辦法對很長的文本序列進行建模，所以要對模型進行改進，我們現在可以處理長度幾千個詞的文本。
難點3：規模化生產沒有辦法非常依賴標注數據，所以需要提升標注的效率。通過小樣本學習的思路，上了一套新的系統，現在只用10%的標注量，就可以達到跟以前一樣的效果，這對規模化復制業務有非常大的幫助。
這其中，技術瓶頸是不可避免的。
做實驗的時候，你每一個新的想法不一定都能Work。楊植麟認為更重要的是在應對瓶頸的時候，把心態變得更好。很多時候，你不是需要追求做實驗一直不失敗，而是要用更快的速度去迭代，用更快的速度取得結果。
NLP輝煌時代已至
最近幾年，語音識別、計算機視覺、語言理解等技術的崛起使得沉寂了半個多世紀的人工智能再次火爆起來。事實也證明，人工智能不僅僅是需求驅動，而且是內生驅動。
楊植麟認為，算法和算力其實是一個螺旋螺旋式上升的過程。人工智能的驅動方式是算力和算法螺旋型上升、相輔相成。一開始算力非常小，科學家只能去研究最好的算法。但是等到算力大的時候，很多算法就沒用了。很多論文都有這種問題：在算力小的情況下跑了一下效果不錯，但是算力大的時候，一點用都沒有。本質上，在算法和算力互相迭代的過程中，最新一代的算法解決了大數據和大模型這兩個問題，比如說做NLP的話，那大模型就是Transformer，大數據就是通過預訓練來解決的。
也正是大模型+大數據的繁榮，直接造就了當下NLP的輝煌時代。
他表示最近幾年NLP領域有兩大突破：第一個突破是從模型的角度看，從簡單的模型演進到了基于Transformer的大模型。Transformer的好處是隨著參數的變多，效果不斷變好，而且具有非常強的長距離建模的能力。Transformer模型這兩個優點，使得現在可以做到很多以前做不了的事情。第二個比較大的進步是思維范式上的轉變，誕生了基于預訓練的方式，可以有效地利用沒有標注的數據。簡單來說，Transformer是模型角度的突破，預訓練方法是思維范式上的突破，前者解決的是如何訓練一個大模型的問題，后者解決的是如何解決NLP沒有大數據的問題。
對于那些想要扎根AI領域的開發者來說，楊植麟表示把握當下的時代契機十分重要。想學習AI開發技術，我覺得可以分兩條路徑：第一條路徑是自上向下的、系統性的學習。比如看一本比較系統性的教科書，或者網上的課程，幫助你對整個領域的知識脈絡有一些系統性的了解；第二條路徑是自底向上、需求驅動的做法。就是說，你先遇到現實中的一個問題，然后從這個問題出發，通過各種網上的搜索工具去調研相關的文獻。而最最重要的是，一定要去寫代碼！，或者去跑一些真正的代碼，而不僅僅停留在看的層面——實踐很重要。
從人機單獨作戰到人機耦合，AI終將賦能溝通
在人工智能領域，我最欣賞‘神經網絡之父’Geofrey Hinton，因為他是最早的奠基人，重要性不言而喻。也是他，驅使楊植麟多年來在自然語言處理領域持續深耕下去，此外，我覺得語言本身比較有意思，語言是人類知識和認知的載體，如果機器能夠理解語言，然后在理解語言的基礎上進行推理，去做出一些決策，其實是一種很高級的智能的表現，這也是人工智能領域比較重要的話題。另一方面則跟時機有關，因為我四五年前開始做研究的時候，計算機視覺CV或者語音識別這兩塊已經取得突破了，很多效果已經做得比較好了。但NLP仍缺少一些突破，我覺得這個領域會有更多有挑戰性的問題需要去解決。
而Google、Facebook等頂尖公司的工作經歷，也為他后來的成功創業打下了基礎。在這兩家公司有兩個最直接的收獲：其一就是做了一些研究成果出來，現在我們也在實際落地運用，包括ActiveLearning（主動學習）的思想、預訓練模型，都可以直接用上；第二個收獲，更偏的方法論。就是說，遇到一個問題的時候學著將大的問題拆成小的問題，然后逐個擊破。我覺得其實創業跟研究有很多方法論上共通的地方。
但在AI真正去賦能溝通的坦蕩前路上，還有一些亟待突破的技術難點。他表示主要有三個方面：
第一，從人機單獨作戰到人機耦合。現在市面上做對話機器人的公司最多，它們做的事情其實是人機單獨作戰。比如在銷售場景下，把銷售線索先讓機器人去跟進，然后其中比較好的再讓人去跟；在客服場景下也是一樣，先用機器人去接一些簡單的問題，難的再交給人工客服去接。這其實是一個割裂的狀態，機器人和人做的是獨立的任務，沒有實現協同。我們希望讓人和機器更好地耦合，比如在銷售過程中，機器給業務員提供輔助，協助人做決策，或者機器給人推薦方案，由人去執行方案。我覺得人機耦合最終會成為銷售場景比較好的形態，而不僅僅是人和機器分別作戰。
第二，從比較淺層的客戶觸達到深度的決策輸出。還是對話機器人的例子，他們做事情主要是用自動外呼機器人給客戶傳遞一些簡單信息，或者是問一些簡單問題收集一個問卷，或者做個提醒功能。這些其實是比較淺層的觸達，就是說機器人只負責傳遞信息，而且是較為淺顯的信息。我們做的事情是讓機器學習或者NLP算法深度參與到最重要的銷售決策過程，包括應該去跟進哪些人、給他推什么東西、如何與客戶做溝通等。
第三，要讓機器能有自學習的能力。當我們做到人機耦合、機器可以跟人一起工作，那機器就需要能根據人的行為或者人的決策產生的結果，去自動更新和升級算法模型，形成閉環，幫助銷售能力一直演進下去，而非停留在靜態模型。
