Python量化半自动、追踪止损、分批止盈、全仓分批止盈示例Python量化交易多线程和异步协程

sql优化SQL调优

Flume入门案例1 监控端口数据官方案例1.1 案例需求：使用Flume监听一个端口，收集该端口数据，并打印到控制台。1.2 需求分析：1.3 实现步骤：1.3.1 安装netcat工具 {代码...} 1.3.2 判断44444端口是否被占用 {代码...} 1.3.3 创建Flume Agent配置文件flume-netcat-lo...

Flume Agent连接此模式不建议桥接过多的flume数量， flume数量过多不仅会影响传输速率，而且一旦传输过程中某个节点flume宕机，会影响整个传输系统。

ChannelSelector的作用就是选出Event将要被发往哪个Channel。其共有两种类型，分别是Replicating（复制）和Multiplexing（多路复用）。ReplicatingSelector会将同一个Event发往所有的Channel，Multiplexing会根据相应的原则，将不同的Event发往不同的Channel。

1 定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。2 flume基础框架2.1 AgentAgent是一个JVM进程，它以事件的形式将数据从源头送至目的。2.2 SourceSource是负责接收数据到Flume Agent的组...

Taildir Source维护了一个json格式的position File，其会定期的往position File中更新每个文件读取到的最新的位置，因此能够实现断点续传。Position File的格式如下：

当Hive将输出写入到表中时，输出内容同样可以进行压缩。属性hive.exec.compress.output控制着这个功能。用户可能需要保持默认设置文件中的默认值false，这样默认的输出就是非压缩的纯文本文件了。用户可以通过在查询语句或执行脚本中设置这个值为true，来开启输出结...

1．查看hadoop checknative命令使用 {代码...} 2．查看hadoop支持的压缩方式 {代码...} 3．将编译好的支持Snappy压缩的hadoop-2.7.2.tar.gz包导入到 {代码...} 4．解压hadoop-2.7.2.tar.gz到当前路径 {代码...} 5．进入到/opt/software/hadoop-2.7.2/lib/native路径...

select * from 表1 join 表2 on xxx where xxx group by xxx having xxx order by limit xxx

视图(View) ：视图是一种特殊(逻辑上存在)的表视图是只读的视图可以将敏感的字段进行保护，只将用户需要查询的字段暴露在视图中，保护数据隐私create view 视图名 as select 语句SQL VIEW 使用语法

设置 set io.sort.mb=10; 默认值是100io.sort.mb 的作用 排序所使用的内存数量。 默认值：100M，需要与mapred.child.java.opts相配 默认：-Xmx200m。 不能超过mapred.child.java.opt设置，否则会OOM。

hadoop 的 input Path 设为文件夹路径时，需要读取文件夹路径下所有文件报如下错误：原因：报错提示的意思是说，Path这个路径需要是一个具体的文件，而不能是文件夹。解决方案： 1、改为具体的文件的路径，则输入为该具体的文件 2、在具体的文件夹路径作如下修改，则...

给值为NULL的数据赋值，它的格式是NVL( string1, replace_with)。它的功能是如果string1为NULL，则NVL函数返回replace_with的值，否则返回string1的值，如果两个参数都为NULL ，则返回NULL。

Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认...

解压安装文件到/opt/server下面tar -zxvf hadoop-2.7.2.tar.gz -C /opt/server/查看是否解压成功

注意：1、load操作不会对数据做任何的转换修改操作2、从本地linux load数据文件是复制文件的过程3、从hdfs load数据文件是移动文件的过程4、load操作也支持向分区表中load数据，只不过需要添加分区列的值

MR： 在MapTask输出key-value时，为每个key-value计算一个区号，同一个分区的数据，会被同一个reduceTask处理这个分区的数据，最终生成一个结果文件！通过分区，将MapTask输出的key-value经过reduce后，分散到多个不同的结果文件中！Hive: 将表中的数据，分散到表目...

报错信息 {代码...} 参考链接Hadoop Java API 简单使用个人解决方式：由于用的父子maven文件2个都加了对应jar版本依赖

队列题目1数组实现队列tips：使用环形数组 {代码...} 题目2栈怎么实现图？队列怎么实现图？