最新消息:深度思考

最新发布 第2页

大数据随笔hadoop/spark/hive

two sum
算法

two sum

liuxuecheng 2年前 (2018-04-24) 1888浏览 0评论

1.题目 给定一个整型数组array和一个整数target,在数组中找出两个整数相加之和为target,返回这两个整数的下标。 Given nums = [2, 7, 11, 15], target = 9, Because nums[0]...

二叉搜索(排序)树实现-Java泛型版
算法

二叉搜索(排序)树实现-Java泛型版

liuxuecheng 2年前 (2018-03-02) 2307浏览 0评论

二叉查找树(Binary Search Tree),又叫二叉排序数(Binary Sort Tree),网上的实现都是假定元素是整型,这里使用泛型搞一个,实现插入、查找、删除、查找最小值这四个操作。 public class BST<T ext...

经典排序算法汇总
算法

经典排序算法汇总

liuxuecheng 2年前 (2018-02-28) 1743浏览 0评论

1.冒泡排序 是一种稳定的排序方式,时间复杂度O(n^2)。列出三种逐次优化的实现方法: 1.1 最普通 public class BubbleSortV1 { public static void bubbleSort(int[] arra...

2.kafka的高可靠性实现方案及保障机制
kafka

2.kafka的高可靠性实现方案及保障机制

liuxuecheng 2年前 (2017-11-07) 4571浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 作为一款商用的高可靠实时消息系统,kafka使用了replication,ISR,leader选举等机制保证其可靠性。具体分析如下: 1.文件存储机制 前面提到消息在逻辑上以topic存在...

1.kafka简介
kafka

1.kafka简介

liuxuecheng 2年前 (2017-11-06) 2777浏览 0评论

1.简介 kafka是由LinkedIn开源的一款分布式消息系统,使用scala语言开发,因其可扩展性和高吞吐率而被广泛使用。 开源到Apache以后已发展成一个分布式的实时处理平台,它具有以下特性: * 可以发布-订阅消息,作为ESB使用。 * 可...

jvm内存模型
Java

jvm内存模型

liuxuecheng 2年前 (2017-10-31) 2413浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 jvm在运行时会将管理的内存划分为多个区域,每个区域都有各自的作用,而且几乎每个区域都会有内存溢出或者泄露的问题。先上一张jvm运行时数据区域图。 1.程序计数器 程序计数器是记录线程执...

4.flume sink
flume

4.flume sink

liuxuecheng 2年前 (2017-10-27) 2953浏览 0评论

1.HDFS Sink hdfs sink支持将text类型或者sequenceFile类型的event写入hdfs,同时也支持在写入的时候进行压缩。 flume使用hadoop提供的FileSystem相关的操作工具,使用hsync或者hflush...

Conflicting collector combinations in option list
Java

Conflicting collector combinations in option list

liuxuecheng 2年前 (2017-10-24) 4877浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 最近在对一个项目的jvm参数进行优化的时候发现配置完以后项目无法启动,打印了日志看到如下提示: Conflicting collector combinations in optio...