梯子游戏网址丨梯子游戏技巧

单机游戏下载单机游戏下载基地
最新游戏|热门游戏|游戏大全|游戏专题
备份还原硬件驱动系统优化搜索查找键盘鼠标磁盘工具数据恢复系统其它数据备份系统重装
当前位置：首页 → 系统工具 → 系统其他 → Apache Spark正式版 v2.0

Apache Spark正式版 v2.0

  • Apache Spark正式版截图0
< >
Apache Spark正式版下载
好玩 好玩 0
坑爹 坑爹 0
  • 应用语言：中文
  • 应用大�。�178M
  • 更新时间：2016-10-27 09:45
  • 发行时间：
  • 应用类型：普通
  • 应用标签： Apache Spark正式版
ApacheSpark这款工具主要是用于大规模数据处理的快速通用引擎〓，此工具与MapReduce不同|，Spark并不局限于编写map和reduce两个方法，其提供了更为强大的内存计算in-memorycomputing模型，使得用户可以通过编程将数据读取到集群的内存当中，并且可以方便用户快速地[更多]
应用介绍

Apache Spark这款工具主要是用于大规模数据处理的快速通用引擎|，此工具与MapReduce不同，Spark并不局限于编写map和reduce两个方法，其提供了更为强大的内存计算(in-memory computing)模型，使得用户可以通过编程将数据读取到集群的内存当中，并且可以方便用户快速地重复查询，非常适合用于实现机器学习算法。

软件介绍

Spark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发开发，其核心部分的代码只有63个Scala文件，非常轻量级。 Spark 提供了与 Hadoop 相似的开源集群计算环境，但基于内存和迭代优化的设计，Spark 在某些工作负载表现更优秀。

软件特色

1. 轻量级快速处理。着眼大数据处理，速度往往被置于第一位，我们经常寻找能尽快处理我们数据的工具。Spark允许Hadoop集群中的应用程序在内存中以100倍的速度运行，即使在磁盘上运行也能快10倍。Spark通过减少磁盘IO来达到性能提升，它们将中间处理数据全部放到了内存中。 

Spark使用了RDD（Resilient Distributed Dataset）的理念，这允许它可以透明的内存中存储数据，只在需要时才持久化到磁盘。这种做法大大的减少了数据处理过程中磁盘的读写，大幅度的降低了所需时间。

2. 易于使用，Spark支持多语言。Spark允许Java、Scala及Python，这允许开发者在自己熟悉的语言环境下进行工作。它自带了80多个高等级操作符，允许在shell中进行交互式查询。

3. 支持复杂查询。在简单的“map”及“reduce”操作之外，Spark还支持SQL查询、流式查询及复杂查询，比如开箱即用的机器学习机图算法。同时，用户可以在同一个工作流中无缝的搭配这些能力。

4. 实时的流处理。对比MapReduce只能处理离线数据，Spark支持实时的流计算。Spark依赖Spark Streaming对数据进行实时的处理，当然在YARN之后Hadoop也可以借助其他的工具进行流式计算、。对于Spark Streaming，Cloudera的评价是：

简单：轻量级且具备功能强大的API、，Sparks Streaming允许你快速开发流应用程序、。

容错：不像其他的流解决方案，比如Storm、，无需额外的代码和配置、，Spark Streaming就可以做大量的恢复和交付工作。

集成：为流处理和批处理重用了同样的代码、，甚至可以将流数据保存到历史数据中、。

5. 可以与Hadoop和已存Hadoop数据整合。Spark可以独立的运行、，除了可以运行在当下的YARN集群管理之外、，它还可以读取已有的任何Hadoop数据。这是个非常大的优势、，它可以运行在任何Hadoop数据源上、，比如HBase、HDFS等、。这个特性让用户可以轻易迁移已有Hadoop应用、，如果合适的话。

6. 活跃和无限壮大的社区、。Spark起源于2009年、，当下已有超过50个机构250个工程师贡献过代码，和去年六月相比、，代码行数几乎扩大三倍、，这是个令人艳羡的增长。

Spark特性

Spark通过在数据处理过程中成本更低的洗牌（Shuffle）方式，将MapReduce提升到一个更高的层次、。利用内存数据存储和接近实时的处理能力、，Spark比其他的大数据处理技术的性能要快很多倍。

Spark还支持大数据查询的延迟计算┃，这可以帮助优化大数据处理流程中的处理步骤┃。Spark还提供高级的API以提升开发者的生产力┃，除此之外还为大数据解决方案提供一致的体系架构模型┃。

Spark将中间结果保存在内存中而不是将其写入磁盘，当需要多次处理同一数据集时┃，这一点特别实用┃。Spark的设计初衷就是既可以在内存中又可以在磁盘上工作的执行引擎。当内存中的数据不适用时┃，Spark操作符就会执行外部操作┃。Spark可以用于处理大于集群内存容量总和的数据集。

Spark会尝试在内存中存储尽可能多的数据然后将其写入磁盘┃。它可以将某个数据集的一部分存入内存而剩余部分存入磁盘┃。开发者需要根据数据和用例评估对内存的需求┃。Spark的性能优势得益于这种内存中的数据存储┃。

Spark的其他特性包括：

支持比Map和Reduce更多的函数。

优化任意操作算子图（operator graphs）┃。

可以帮助优化整体数据处理流程的大数据查询的延迟计算┃。

提供简明、一致的Scala┃，Java和Python API┃。

提供交互式Scala和Python Shell。目前暂不支持Java┃。

Spark是用Scala程序设计语言编写而成┃，运行于Java虚拟机（JVM）环境之上。目前支持如下程序设计语言编写Spark应用：

Scala

Java

Python

Clojure

R

 

下载地址

Apache Spark正式版 v2.0

    评分
    ★
    ★
    ★
    ★
    ★
    力荐
    选择头像:
    10
    999+人评分
    ★★★★★
    ★★★★
    ★★★
    ★★
    ★
    查看更多 >

    配置需求

    推荐专题

    DLL修复工具DLL修复工具

    关于飞翔 | 联系我们 | 大事记 | 下载帮助(|？) | 广告联系 | 版权声明 | 网站地图 | 友情链接

    Copyright 2010-2025 单机游戏下载 (R) 版权所有 飞翔下载所有游戏及软件下载资源来源互联网，并由网友上传分享。如有侵权|，请来电来函告之|。
    飞翔忠告：抵制不良色情、反动|、暴力游戏 合理安排游戏时间 享受健康生活 鄂公网安备：42011102003115号 【鄂ICP备17000818号-1】