基于Spark的校园信息分析系统的设计与实现
|
摘要
为了更好的挖掘"校园一卡通"系统的数据信息,设计了一个基于Spark的校园信息分析系统。该系统的前端开发使用了Django框架,数据处理则使用了Spark分布式框架,分析的结果以图表的方式直观地反馈给用户,从而实现了数据的预处理、数据分析、数据呈现等功能。
In order to better explore the data information of "the packaged campus card" system,a campus information analysis system based on Spark is designed. Front-end development of the system using the Django framework, data processing using the Spark distributed framework, the results of the analysis are intuitively fed back to the user in a graphical way, so as to realize the data preprocessing, data analysis, data presentation, etc.
In order to better explore the data information of "the packaged campus card" system,a campus information analysis system based on Spark is designed. Front-end development of the system using the Django framework, data processing using the Spark distributed framework, the results of the analysis are intuitively fed back to the user in a graphical way, so as to realize the data preprocessing, data analysis, data presentation, etc.
引文
[1]https://cwiki.apache.org/confluence/display/SPARK/Powerd+By+Spark.
[2]http://spark.apache.org/mllib/
[3]http://spark-summit.org/
[4]Discretized Streams:Fault-Tolerant Streaming Coumputation at Scale.matei Zaharia,Tathagata Das,Haoyuan Li,Timothy hunter,Scott Shenker,Ion Stoica.SOSP 2013 November2013.
[5](美)K antardzic M.数据挖掘——概念、模型、方法和算法[M].闪四清,等,译.北京:清华大学出版社,2003.
[6]安淑芝,等.数据仓库与数据挖掘[M].北京:清华大学出版社,2005年.
[7]张丽丽.数据挖掘技术的应用分析[J].山西经济管理干部学院学报,2003,11(4):75-76.
[8]毛建旭,毛建频,姚晓玲,等.基于等价类的大型数据库频繁项集挖掘算法[J].新型工业化,2011,1(4):35-44.
[9]霍红卫,林帅,于强,等.基于MapReduce的模体发现算法[J].新型工业化,2012,2(9):18-30.
[10]陈建军,钱慎一,卢中宁.校园一卡通系统的数据分析与系统规划[J].工业控制计算机,2002年15卷第9期.
[11]Ronald J.Branchman,Tej Anand.The Process of Knowledge Discovery in Database:A Human-centered Approach.Advances in Knowledge Discovery and Data Mining.AAAI Press/The MITPress,1996,pp-37-58.
[12]维克托,迈尔-舍恩伯格,肯尼思·库克耶.大数据时代:生活、工作与思维的大变革[M].盛杨燕,周涛,译.杭州:浙江人民出版社,2013.
[2]http://spark.apache.org/mllib/
[3]http://spark-summit.org/
[4]Discretized Streams:Fault-Tolerant Streaming Coumputation at Scale.matei Zaharia,Tathagata Das,Haoyuan Li,Timothy hunter,Scott Shenker,Ion Stoica.SOSP 2013 November2013.
[5](美)K antardzic M.数据挖掘——概念、模型、方法和算法[M].闪四清,等,译.北京:清华大学出版社,2003.
[6]安淑芝,等.数据仓库与数据挖掘[M].北京:清华大学出版社,2005年.
[7]张丽丽.数据挖掘技术的应用分析[J].山西经济管理干部学院学报,2003,11(4):75-76.
[8]毛建旭,毛建频,姚晓玲,等.基于等价类的大型数据库频繁项集挖掘算法[J].新型工业化,2011,1(4):35-44.
[9]霍红卫,林帅,于强,等.基于MapReduce的模体发现算法[J].新型工业化,2012,2(9):18-30.
[10]陈建军,钱慎一,卢中宁.校园一卡通系统的数据分析与系统规划[J].工业控制计算机,2002年15卷第9期.
[11]Ronald J.Branchman,Tej Anand.The Process of Knowledge Discovery in Database:A Human-centered Approach.Advances in Knowledge Discovery and Data Mining.AAAI Press/The MITPress,1996,pp-37-58.
[12]维克托,迈尔-舍恩伯格,肯尼思·库克耶.大数据时代:生活、工作与思维的大变革[M].盛杨燕,周涛,译.杭州:浙江人民出版社,2013.