【开题答辩全过程】以基于Hadoop的电商数据分析系统为例，包含答辩的问题和答案
个人简介
一名14年经验的资深毕设内行人，语言擅长Java、php、微信小程序、Python、Golang、安卓Android等
开发项目包括大数据、深度学习、网站、小程序、安卓、算法。平常会做一些项目定制化开发、代码讲解、答辩教学、文档编写、也懂一些降重方面的技巧。
感谢大家的关注与支持！
各位老师好，我是数据科学与大数据技术专业的xx同学。我的课题是“基于Hadoop的电商数据分析系统”。系统主要把电商网站每天产生的订单、用户、商品日志通过Flume→Kafka→HDFS采集进来，用Hive做离线数仓分层（ODS→DWD→DWS→DWT→ADS），再用Azkaban定时调度MapReduce/Spark SQL任务，最后把统计结果（日销售额、TOP商品、用户留存等）用ECharts可视化展示出来。技术栈就是Hadoop+Hive+Sqoop+Flume+Kafka+Azkaban+ECharts，开发语言用Java和SQL，服务器是3台4C8G的Cent7虚拟机。
评委老师：为什么要选Hadoop，而不是直接MySQL+Python？
答辩学生：MySQL在千万级数据跑聚合非常慢，甚至卡死；Hadoop把计算分摊到多台机器，跑1亿条记录分组只要3分钟，而且后期加节点就能线性扩容，成本也低。
评委老师：系统里“数据清洗”这一步具体洗什么？
答辩学生：主要洗三类：1 订单金额为负数的脏数据；2 用户ID为空或重复的记录；3 商品名称里的表情符号和html标签。用Hive正则函数和UDF一次性过滤并写回新表。
评委老师：你怎么证明可视化结果是对的？
答辩学生：两步验证：先把Hive统计结果导出到Excel，随机抽100条人工用透视表核对；再把ECharts图上的日销售额和后台财务日报截图比对，误差在1%以内就通过。
评委老师：如果明年数据量涨10倍，系统怎么扩展？
答辩学生：线上直接加两台DataNode节点，把Hive分区从“天”改成“小时”，减少单次扫描量；同时把Azkaban的MapReduce任务换成Spark SQL，执行内存提高一倍即可。
评委老师：做完这个系统你觉得自己最大收获是什么？
答辩学生：真正理解了“数仓分层”概念，以前写SQL一把梭，现在会先想ODS存原始、DWD做清洗、ADS给业务，思路清晰很多；也体会到Linux敲命令比图形界面快，敢用命令行了。
评委老师评价：
xx同学选题贴近电商实际，技术路线清晰，问答环节能对数据清洗、误差验证、扩展方案给出具体做法，说明确实动手实践过。下一步建议把“实时部分”留作二期，先保证离线指标稳定落地即可。总体基础扎实，开题通过，继续加油。
以上是某同学的毕业设计答辩的过程，如果你现在还没有参加答辩，还是开题阶段，已经选好了题目不知道怎么写开题报告，可以下面找找有没有自己符合自己题目的开题报告内容，列表中的开题报告都是往届真实的开题报告，可发送使用或参考。文末或底部来联xi可免费获取
最后
有时间和有基础的同学，建议自己多花时间找一下资料（开题报告、源码）自己独立完成毕设，需要开题报告内容、源码参考的，可以联xi博主，没有选题的也可以联系我们进行帮你选题、定功能和建议。