51工具盒子
How does reduceByKey() in pyspark knows which column is key and which one is value?
<p>英文:</p> <p>How does reduceByKey() in pyspark knows which column is key and which one is value?</p> <h1>问题 {#heading}</h1> <p>我是一个对Pyspark新手，正在阅读&...
Spark
spark-joy
<blockquote> <p>死非生的对立面，而作为生的一部分永存。------《挪威的森林》</p> </blockquote> <p>✨? 2000 多种方法为您的产品增添设计风格、用户满意度和奇思妙想。</p> <p><a href="https://github.com...
spark安装与部署
<p>为了防止不必要的报错，部署之前请务必从开头开始看，切勿跳过其中一个部署模式，因为每一个部署模式都是从上一个模式的配置上进行的</p> <h2>环境说明 {#环境说明}</h2> <ul> <li><code>hadoop-2.7.5</code></li> <...
十亿条数据需要每天计算怎么办？Spark快速入门
<h2><a href="#一-概述">#</a> （一）概述 {#一-概述}</h2> <p>前段时间公司规划了一个新的项目，我成了这个项目的负责人。在做技术选型时，有一个需求阻碍了前进的步伐。大概有十亿条数据，数据总量在六百G左右，这些海量的数据需要每天根据一定的逻辑计算得到几千万的值。当数据量...
学会RDD就学会了Spark，Spark数据结构RDD快速入门
<h2><a href="#一-概述">#</a> （一）概述 {#一-概述}</h2> <p>Spark计算框架封装了三种主要的数据结构：RDD（弹性分布式数据集）、累加器（分布式共享只写变量）、广播变量（分布式共享支只读变量）</p> <h2><a href=&qu...
像写SQL一样去处理内存中的数据，SparkSQL入门教程
[#](#一-概述) （一）概述 {#一-概述} ------------------------ SparkSQL可以理解为在原生的RDD上做的一层封装，通过SparkSQL可以在scala和java中写SQL语句，并将结果作为Dataset/DataFrame返回。简单来讲，SparkSQL可以让我们像写SQL一样去处理内存中的数据。 Dataset是一个数据的分布式集...
Spark算子实战Java版，学到了
<h2><a href="#一-概述">#</a> （一）概述 {#一-概述}</h2> <p>算子从功能上可以分为Transformations转换算子和Action行动算子。转换算子用来做数据的转换操作，比如map、flatMap、reduceByKey等都是转换算子，这类算子通过懒加载执行。行...