大数据技能复习--大数据处置惩罚与大数据安全

打印 上一主题 下一主题

主题 1041|帖子 1041|积分 3123

分布式盘算架构

RAS(reliability, availability, serviceability):最初来自IBM公司为其大型主机所做的宣传广告,强调主机体系的坚韧强固,即稳固性、可用性、可服务性
基于MapReduce批处置惩罚盘算架构


MPI信息传递接口,一种典范的并行编程框架



MapReduce使命流程

基于Spark分布式内存盘算架构

Mahout:基于Hadoop的机器学习和数据挖掘的一个分布式框架,Mahout用MapReduce实现了部分数据挖掘算法,办理了并行挖掘的问题
Hama:基于大批量同步并行计谋的大数据分析分布式盘算框架,可用于高级和复杂的盘算,比方图形、网络算法和矩阵


静态数据与流数据区别:


  • 支持决策分析而构建的数据仓库体系,存放的大量历史数据就是静态数据
  • 在Web应用、网络监控、传感检测等范畴,兴起的一种新的数据密集型应用就是流数据
大数据安全

大数据安全存在的典范问题:

  • 认证授权问题:许多大数据平台没能实现有效的认证授权问题,从而导致未授权的文件访问等
  • 访问控制问题:相对于传统的关系型数据库,现在大数据平台难以实现细粒化的数据访问控制。导致许多大数据体系为了不影响业务正常运行,只能指定非常粗粒度的访问控制计谋
  • 操作审计问题:现在大数据体系难以实现有效的审计。主要是操作记录存储分散,且记录每每过于简单,为后续分析带来了不便
  • 敏感数据掩护问题:开放的平台增长了数据走漏的风险,因此需要对敏感数据举行掩护

处置惩罚加速技能:


  • GPU:是拥有一个由数以千计的更小更高效的核心组成的大规模并行盘算架构
  • TPU:张量处置惩罚器
  • FPGA:现场可编程逻辑闸阵列FPGA

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

美食家大橙子

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表