1. 研究目的与意义、国内外研究现状(文献综述)
1、课题意义:由于互联网的信息十分庞大,人们难以找到自己想要的答案,问答系统的出现就是为了解决这样的问题。
很多企业和学术机构都开发了自己的问答系统或者聊天机器人,例如mit的start系统,苹果的siri, google的google now等等。
聊天机器人一开始是为了方便人们的生活和工作以及某些商业领域的应用应运而生的,聊天机器人实在问答系统的基础之上发展而来的。
2. 研究的基本内容和问题
研究目标:1. 实现cnn lstm的图像问答算法。
2. 实现一个基于图灵机器人的聊天机器人3. 实现一个可以处理简单图像问答任务的聊天机器人研究内容:1. 基于cnn和lstm的图像问答算法首先利用卷积神经网络(cnn)对图像进行特征提取,利用lstm进行问题理解,抽取出问题的特征向量,最后将图像的特征向量和问题的特征向量作为lstm的输入生成最后的答案。
2. 聊天机器人的服务端完成上述算法的接口设计,完成客户端消息接收接口,消息回复接口,消息类型判别接口,文本消息回复接口,图像消息回复接口等接口的设计与实现。
3. 研究的方法与方案
研究方法:(1)阅读相关文献、书籍以及学术论文等(2)学习stanford cs224d 以及 cs231n两门课程。
(3)试验研究法。
使用公开数据集vqa dataset进行大量试验。
4. 研究创新点
图像问答算法与聊天机器人的结合
5. 研究计划与进展
任务 开始时间 持续时间简单神经网络 1/1 7RNN学习 1/7 7LSTM学习 1/14 7问题词向量生成 2/7 7CNN学习 2/14 7利用CNN进行图像特征提取 2/21 7问题词向量和图像特征向量合并 2/28 7答案生成 3/7 7聊天机器人服务端开发 3/14 7聊天机器人安卓端开发 3/21 14撰写论文 4/4 26
