基于10086新老系统更新的数据回传业务的设计与开发开题报告

1. 研究目的与意义

在信息极度膨胀的当今世界，如何才能实现将信息无损地传输，如何才能将数据量极大的信息有效地传输，已经成为人们关注的问题，前者是对于信息的可靠性而言的，后者则是针对信息的有效性而言。

针对企业大数据更新的需求，以etl配置相关抽取脚本，配置完成后etl会运行脚本并把数据文件回传到省端sftp主机的采集技术为代表的信息处理传输技术，无论对于信息的有效性和可靠性的都有很高的要求。

随着人们数据处理的关注度越来越高，数据传输技术及对原有技术的进一步研究都有较快的发展，其中基于shell与oracle存储过程的数据传输技术有着重要的作用。

2. 国内外研究现状分析

土耳其中东技术大学研究开发的mind是基于dec object broker的多数据库管理系统,使用corba来处理系统级的异构性和分布性,采用集成的全局模式,实现ibm和几所北美大学合作开发的cords对多数据库的查询处理特别是查询优化爱尔兰dublin city大学的oasis采用了odmg作为其公共数据模型,基于五由于全球互联网信息技术的不断发展,导致数据迁移市场不断扩大,很多大的数了一个四层的模式体系结构。

做了较多的研宄工作,由于采用了关系模型,只能用表格处理数据层模体系结构,并通过协调器实现局部数据模型与据服务供应商,数据迁移方面的具体解决方案譬如ibm,oracle,celona等,陆续提出自己的关于商业数据迁移方面的具体解决方案。

国内有关数据迁移领域方面的研究主要包括:依据数据采集和迁移技术的研究提出一种基于交互式数据迁移技术的数据采集方法,导入/导出数据通过数据库本身的数据来完成、采集和迁移数据则利用转换工具去实现:科讯数码。

3. 研究的基本内容与计划

研究内容：一、大数据分析，新老数据表与字段映射关系分析二、Linux环境下定时任务与sftp的脚本编写三、通过shell语言搭建总体调用框架 四、 基于Oracle存储过程的编写完成对数据的迁移与更新进度计划：序号 项目 时间 阶段成果1 背景研究 1月3日至1月17日 文献综述，开题报告2 熟悉开发环境及语言 1月18日至2月14日 开发计划及技术方案3 搭建开发及测试环境 2月15日至2月21日 4 需求分析 2月22日至2月28日 界面及数据库设计报告5 编写源代码 3月1日至3月30日 6 系统测试及完善 4月1日至4月14日 7 撰写论文 4月17日至4月3日 毕业论文8 准备答辩材料，答辩 5月4日至5月11日 答辩演示文稿

4. 研究创新点

为实现全国并发高效的数据传输，对于总体方案做了统一化的相关规划与改进（1）省端按要求整理需求excel表格提交到总部，统一规划里面的表、数据库地址、用户、密码以及回传的省端sftp主机地址并且认证核对；（2）总部局方人员拿到各省的数据需求excel后会以此为输入，在etl配置相关抽取脚本，配置完成后etl会运行脚本并将数据文件回传到省端sftp主机；确保总部到省端sftp主机网络打通，sftp主机的用户名、目录按照之前的规划建立；