人工智能在线问答-智能问答

问答系统是信息检索的高级形式，能够以准确、简洁的自然语言回答用户用自然语言提出的问题。 其研究兴起的主要原因是人们对快速、准确获取信息的需求。 其中，问答系统是人工智能和自然语言处理领域备受关注、具有广阔发展前景的研究方向。 不同类型的问答系统有不同的数据处理方法。 一般来说人工智能在线问答，问答系统的处理框架包括三个功能组件：问题理解、信息检索和答案生成。

**问题理解：** 客户的意图只是一个抽象的形式。 如果机器能理解人工智能在线问答，就需要将其转换成机器能理解的形式，并作为答案检索的基础。 在研究过程中，信息需求作为用户意图的代表表情包设计，可以根据问题的语义结构从问题类别和问题内容两个方面来表达。 自然语言技术通常用于深入了解问题。

**信息检索：**根据问题理解得到的信息表示，信息检索负责从购买的语料库和问答知识库中检索相关信息，并传递给后续的答案生成模块。 基于不同的问答系统表情包设计，系统的检索模型和检索数据形式也不同。 对于基于问题答案对的问答系统，信息检索过程就是通过问题检索得到与用户问题相似的候选问题，并返回对应的候选答案列表。问题检索的主要研究方向是如何缩小搜索范围。用户问题和知识库中的问题之间的语义差距

**答案生成：**答案生成模块根据信息检索得到的搜索信息，主要实现候选答案的提取以及答案置信度的计算，最终返回简洁、正确的答案。 根据答案信息的粒度，候选答案提取可分为段落答案提取、句子答案提取和词汇短语答案提取。 答案置信度计算是在句法和语义层面对问题和候选答案进行验证，以保证返回的答案是最符合用户问题的结果。应用最广泛的是基于统计的置信度计算方法机器学习

机器学习实践：

1.潜在语义分析（LSA）：将单词和句子映射到低维连续空间，并可以计算潜在语义空间中的相似度。

2. PLSA（Probabilistic Latent Semantic Analysis）或LDA（Latent Dirichlet Allocation）等浅层主题模型的技术方向。

优点：文本的语义表示简洁，较好地弥补了传统词汇匹配方法的缺点

缺点：无法完全取代基于单词的匹配技术

深度学习：

Word2vec基于神经网络训练进行文本匹配计算

缺点：

无监督Word2vec在句子匹配计算的实际效果上仍然存在不足，没有解决短语和句子的语义表示问题

句子级别的神经网络语言模型：DSSM模型（Deep Structured Semantic Model）

基于二维交互匹配的卷积匹配模型

多视图递归神经网络匹配模型（MV – LSTM）

基于矩阵匹配的分层匹配模型MatchPyramid

虽然模型的结构非常多样，但底层的结构单元基本都是全连接层、LSTM、卷积层、池化层。