平常心

初级大数据相关内容记录

0
推荐
56
阅读

Golang系列-web开发

1. 使用自带库 httpimport ( "fmt" "net/http" ) func myWeb(w http.ResponseWriter, r *http.Request) { fmt.Fprintf(w, "web visit") } func hello(w http.ResponseWriter, r *http.Request) { fmt.Fprintf(w, "hello web") } func main() { handler := http.HandlerFunc(myWeb) if handler != nil { fmt.P...

发表了文章 • 2020-10-08 20:50 • 0 条评论

0
推荐
195
阅读

图计算neo4j系列2—— neo4j-java-driver

     这种方式是通过CQL(https://neo4j.com/developer/cypher)的方式进行数据操作。一. pom配置<dependency> <groupId>org.neo4j.driver</groupId> <artifactId>neo4j-java-driver</artifactId> <version>4.0.1</version>...

发表了文章 • 2020-09-03 09:41 • 0 条评论

0
推荐
104
阅读

图计算neo4j系列1-环境搭建和spring data neo4j

一. 环境安装因为是学习,所以采用docker的方式:docker pull neo4j:3.4 docker run -it --name neo4j -d -p 7474:7474 -p 7687:7687 neo4j:3.4通过http://localhost:7474 访问,默认用户名密码是 neo4j/neo4j,初次登录需要更改用户名和密码,更改成功后,进入的界面如下:二. 操作demo选择使用spring neo4j,后续使用...

发表了文章 • 2020-09-01 12:39 • 0 条评论

0
推荐
267
阅读

图计算Dgraph系列2-Schema操作

一. 环境准备1. dgraph4j <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <version>1.18.12</version> </dependency> <dependency> <grou...

发表了文章 • 2020-07-31 08:51 • 0 条评论

0
推荐
302
阅读

图计算Dgraph系列1-学习环境搭建

一. 开发环境搭建     因为是学习,所以选择docker的方式,操作命令如下:docker pull dgraph/standalone docker run --rm -it -p 8080:8080 -p 9080:9080 -p 8000:8000 -v ~/dgraph:/dgraph dgraph/standalone:latest     url地址访问:http://localhost:8000/?latest二. 代码开发 ...

发表了文章 • 2020-07-27 11:24 • 0 条评论

2
推荐
1174
阅读

spark2.x源码阅读之SparkSubmit

        通常spark程序提交通过bin/spark-submit.sh,而在shell中调用的是org.apache.spark.deploy.SparkSubmit,阅读代码如下:1.SparkSubmit:main()|-- val appArgs = SparkSubmitArguments(args)|-- appArgs.action =>SparkSubmitAction.SUBMIT => submit(appArgs)// SparkSubmitAction是...

发表了文章 • 2017-08-31 16:29 • 0 条评论

1
推荐
1480
阅读

hadoop设置用户

异常:org.apache.hadoop.security.AccessControlException: Permission denied: user=zhangsan, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x通常的解决方法是1.系统用户使用hadoop组中的用户操作;2.hdfs dfs -chmod -R 777 /dir设置操作权限今天想在代码中设置一下,尝试了两种方法:1.没有成功的尝试import ...

发表了文章 • 2017-06-13 20:14 • 0 条评论

0
推荐
1620
阅读

Kudu单机版本安装

参考:http://kudu.apache.org/docs/installation.html#install_packages [root@druid ~]# cd /opt/# mkdir -p /var/www/html/kudu/5.10.1/# yum install gcc gcc-c++ kernel-devel  [cloudera-kudu]# Packages for Cloudera's Distribution forkudu, Version 5, on RedHat or CentOS 6x86_64name=Cloude...

发表了文章 • 2017-06-02 15:32 • 0 条评论

0
推荐
2919
阅读

druid和cdh整合

Host: SZB-L0032017Druid0.9.2Cdh5.7.0[root@SZB-L0032017 druid]# tar -zxvfdruid-0.9.2-bin.tar.gz[root@SZB-L0032017 druid]# cd druid-0.9.2# mv conf-quickstart conf1.配置文件更改# cd /conf/druid/_common# vi common.runtime.propertiesdruid.extensions.loadList=["druid-hdfs-storage","mysql-metadata-stora...

发表了文章 • 2017-05-22 15:50 • 0 条评论

6
推荐
1020
阅读

2016年度总结及2017年的规划

1.工作        工作是最重要的一部分,加入了一个新团队,熟悉新的业务。        17年规划就是要根据自己的想法去实践一个推荐系统。2.生活        办公地点-地铁-宿舍就这样平平淡淡,无惊无喜,偶尔和熟悉的人小聚一下,吹吹牛逼。      ...

发表了文章 • 2017-01-20 17:30 • 3 条评论

0
推荐
1432
阅读

streamsets简单使用

    目前数据处理平台中针对数据流处理的工具有apache Nifi(数据处理和分发), StreamSets.1.log 流使用模式匹配 使用计数

发表了文章 • 2016-12-28 17:03 • 0 条评论

2
推荐
1091
阅读

shell启动java

1.shell脚本#!/bin/bash basepath=$(cd `dirname $0`; pwd) confpath=$basepath/../conf logpath=$basepath/../logs libpath=$basepath/../lib pidfile=$basepath/../run/app.pid prog="app" RETVAL=0 is_systemd=`pstree -p | head -1 | grep 'systemd(1)' -q && echo 1 || echo 0` app_arg=$2 CLASSPA...

发表了文章 • 2016-12-27 15:00 • 0 条评论

1
推荐
1368
阅读

curator操作zookeeper

1.选择curator-framework的jar包,1.0.1的版本已经十分稳定,相对应的zk版本是3.3.x,还在开发中的版本是1.1.x,对应的版本是zk3.4.x。2.zookeeper对应的hosts和永久znode路径public class ZKUtil { //Zookeeper 永久节点 public static final String PATH = "/spider"; //Zookeeper连接地址 public stat...

发表了文章 • 2016-12-19 13:56 • 0 条评论

0
推荐
1092
阅读

solr全文检索二

1.命令行创建coreD:\soft\worksoft\solr-6.3.0>bin\solr.cmd create -c SparkHtmlPage //SparkHtmlPage是core名称2.启动server后查看,可以通过web界面的Schema操作filed3.managed-schema文件更改3.1命令行产生之后,会在solr-6.3.0\server\solr生成SparkHtmlPagem目录,更改对应conf下面的managed-schema文...

发表了文章 • 2016-12-15 16:54 • 0 条评论

1
推荐
1065
阅读

solr全文检索一

1.环境配置jdk1.8 solr6.3.0 apache-tomcat-8.0.38 windows OS2.server的jetty启动方式cd D:\soft\worksoft\solr-6.3.0\ D:\soft\worksoft\solr-6.3.0>bin\solr.cmd -p 8983 Waiting up to 30 to see Solr running on port 8983 Started Solr server on port 8983. Happy searching!web访问确认:关闭服务:D:\soft\w...

发表了文章 • 2016-12-14 11:49 • 0 条评论