本发明公开了一种Internet环境下MapReduce计算方法。该方法利用Internet桌面PC的空闲计算和存储资源来进行MapReduce计算。桌面PC以志愿者的形式加入系统成为工作节点，用户作为Master向服务器上传待处理的数据，服务器将Map和Reduce任务调度至工作节点上执行，待所有任务完成，最终结果自动返回给用户。该方法在元数据管理基础之上，采用数据驱动的方式，将任务调度转化为数据调度，解决了节点动态易失效带来的影响，提供了一种Internet环境下简单有效的容错MapReduce计算模型与方法。采用本发明，可在校园、企业、政府内利用现有桌面PC构建以私有为目的的MapReduce计算平台来进行海量数据分析，或用于改进志愿计算系统来支持MapReduce计算模型，降低志愿计算系统应用开发的难度。
声明：
“Internet环境下MapReduce计算方法” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究，如用于商业用途，请联系该技术所有人。
我是此专利(论文)的发明人(作者)
959
编辑：管理员
来源：北方有色网
咨询细节
