泽民博客 ☰ Menu

spark_rdd创建转换

Posted by 夏泽民 Nov 14, 2017

RDD创建方式 1）从Hadoop文件系统（如HDFS、Hive、HBase）输入创建。 2）从父RDD转换得到新RDD。 3）通过parallelize或makeRDD将单机数据创建为分布式RDD。 4）基于DB(Mysql)、NoSQL(HBase)、S3(SC3)、数据流创建。

阅读全文

spark的ML和MLLib两个包区别和联系

Posted by 夏泽民 Nov 14, 2017

ML的API是面向Dataset的（Dataframe是Dataset的子集，也就是Dataset[Row]）， mllib是面对RDD的。Dataset和RDD有啥不一样呢？Dataset的底端是RDD。Dataset对RDD进行了更深一层的优化，比如说有sql语言类似的黑魔法，Dataset支持静态类型分析所以在compile time就能报错，各种combinators（map，foreach等）性能会更好

阅读全文

RDD/Dataset/DataFrame互转

Posted by 夏泽民 Nov 14, 2017

1.RDD -> Dataset val ds = rdd.toDS()

阅读全文

dataSet和dataFrame的创建方法

Posted by 夏泽民 Nov 14, 2017

Spark创建DataFrame的三种方法 跟关系数据库的表(Table)一样，DataFrame是Spark中对带模式(schema)行列数据的抽象。DateFrame广泛应用于使用SQL处理大数据的各种场景。

阅读全文

php_session

Posted by 夏泽民 Nov 9, 2017

void session_write_close ( void )

阅读全文

Search

Blog Categories

jekyll (35)
web (334)
technology (2)
php (201)
linux (415)
spark (51)
deep_learning (2)
storage (290)
golang (1081)
cryptology (15)
lang (74)
docker (100)
zookeeper (11)
elasticsearch (86)
java (7)
algorithm (134)
hadoop (2)
slug (1)
architect (46)
k8s (107)
node (82)
python (18)
mysql (42)
rust (4)
elasticSearch (1)
arch (1)
Javascript (1)
kafka (2)
nginx (7)

Popular posts

Anything in here will be replaced on browsers that support the canvas element

Recent posts

Tags

This blog is maintained by 夏泽民

Get in touch with me at [email protected]

Subscribe to our mailing list

* indicates required