1.1 拉取镜像到本地 网络问题无法从docker hub拉取镜像，可以选择从下面我的私有仓库中获取（留言联系我） docker pull registry.cn-beijing.aliyuncs.com/bigdater/gitbook:latest (2)以下命令使用gitbook镜像 1.2 初始化书籍地址 此操作会自动创建README.md…

2.1 前言 最近想通过调用WordPress的api来发文，研究了一下流程，做个记录。 2.2 Api调用凭证准备 在WordPress中启用REST API并获取API凭证。你可以通过以下方式进行身份验证： JWT (JSON Web Token) 身份验证: 需要安装JWT Authentication插件。 Basic Auth: 适合本地…

使用api发布的文章

来阿里两年多，眼看服务器要到期了，博客也荒废了好久。最近读了挺久《曾国藩家书》，写点读书笔记吧。 接触这本书，还是家里长辈极力推荐。说实话对于晚清的历史、人物我其实不太感兴趣，尤其曾国藩等处于晚清乃至中国历史比较尴尬的一段时间，在潜意识里觉得把一个偌大的中国玩坏了的政权不是什么好政权。这个集体里面的人应该也没啥可圈可点的。 但是，当下载了电子书，看…

生成jar、source-jar、和doc-jar的三个maven插件 <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugi…

1.背景 需求是使用sqoop导出HDFS上的数据到MySQL，理论上来说是个很简单的需求，写了个如下的sqoop脚本： sqoop export \ --connect jdbc:mysql://host:port/db \ --username username \ --password passwd \ --table tableName \…

1.背景 使用hive的动态分区(dynamic partition)时,如果最终生成的分区数比较多，会出现jvm直接内存（direct buffer memory）溢出的情况，导致分区作业失败。假如有一张订单表t_order_tmp,里面有个字段create_time记录了下单时间，现在要对这张表按日期分区，将同一天的订单信息放在t_order表…

1.背景 当前业务使用TextFile存储日志，每天增量5T左右，集群存储空间有限，且使用TextFile日志的扩展性非常差，因此想到使用protocol buffer序列化数据，后续传输及处理使用二进制。百度+google了一圈发现没有现成案例，所以决定自己搞一个。 2.问题 1.log4j如何将二进制文件写入flume？ 2.flume如何将二…

在本地安装hadoop可以很方便的连接eclipse等工具调试hadoop源码或者是自己写的yarn应用，下面讲一下如何安装。 1.下载文件 （1）下载hadoop，建议2.x版本（这里使用的是hadoop2.5.2）并解压到本地目录。 （2）下载hadooponwindows-master.zip 2.配置环境变量 （1）键单击我的电脑 –>属性…

1.简介 Avro是一个数据序列化系统，它有以下特性： （1）丰富的数据结构。 （2）一种紧凑、快速的二进制文件格式。 （3）存放持久化数据的容器文件。 （4）远程过程调用。 （5）支持动态语言、使用schema生成代码。 2.引入pom 在加入以下的依赖： <dependency> <groupId>org.apache.…