Hadoop
Hadoop是什么 hadoop是一个Aoache基金会所开发的分布式系统基础架构 。 主要解决，海量数据的存储和海量数据的分析计算问题。 广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。 Hadoop发展史Lucene论文GFS–>HDFSMap-Reduce–>MRBigTable–>HBaseHadoop三大发行版本Apache最原始，最基本的版本，对于入门学习较好 Cloudera在大型互联网企业中用的较多 Hortonworks文档较好 Hadoop的优势（4高） 高可靠：Hadoop底层维护了多个数据副本，所以即使Hadoop某个计算或存储出现故障，也不会导致数据丢失。 高扩展性：在集群建分配任务数据，可方便的扩展数以千计的节点。 高效性：在Mao-Reduce 的思想下，Hadoop是并行工作的，以加快任务处理速度。 高容错性：能够自动将失败的任务重新分配。 Hadoop组成1.x 与2.x HDFS架构概念1.NameNode...
SpringBoot使用docker部署加载外部配置文件
SpringBoot使用docker部署加载外部配置文件修改pom.xml文件，把配置文件copy到镜像中12345678910111213141516171819202122232425262728293031323334353637383940414243<build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> </plugin> <plugin> <groupId>com.spotify</groupId> <artifactId>docker-maven-plugin</artifactId> ...
Docker基本语法
官方中文文档 官方英文文档 DockerHub地址 国内仓库源 安装1.查看系统、内核CentOS7 要求64位系统、内核版本3.10以上CentOS6 要求版本在6.5以上，系统64位、内核版本2.6.32-431以上查看内核版本号 123uname -r #查看内核版本cat /etc/os-release #查看系统信息. 开启centos-extras资源库使用Centos 7，开启centos-extras资源库 2.卸载旧版本卸载旧版本 12345678sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ ...
Dockerfile 基本语法
保留字介绍FROM基础镜像，当前镜像是基于那个镜像创建的 MAINTAINER镜像作者加邮箱 RUN构建镜像时执行的命令 EXPOSE镜像暴露的端口 WORKDIR指定容器创建后，终端默认登陆进来的工作目录，一个落脚点 ENV (key value)构建镜像中设置环境变量(键值对) ADD添加并解压缩 1ADD 源路径 目标路径 COPY 添加并解压缩1COPY 源路径 目标路径 VOLUME容器卷，用于数据保存和持久化工作 CMD (exec/shell)指定容器启动时的命令，一个容器可有多个cmd 命令，但只有最后一个生效,CMD 会被docker run 的参数替换 ENTRYPOINT XXX指定容器启动时的命令，追加 docker run 的参数 ONBUILD XXX当构建一个被继承的Dockerfile 时运行命令，父镜像在被子镜像继承后，父镜像的ONBUILD 被触发 案例自定义mycentos 镜像自定义mycentos 镜像让其具备以下功能： 登陆后的默认lujing vim 编辑器 查看网络配置 ipconfig12345678FROM...
GitLab-CI-SpringBoot
GitLab-CI介绍官方介绍 .gitlab-ci.yml语法介绍官方.gitlab-ci.yml说明 创建SpringBoot项目使用Google的Jib插件构建docker镜像官方文档 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566import org.jetbrains.kotlin.gradle.tasks.KotlinCompileplugins { // 引入Google的Jib插件 id("com.google.cloud.tools.jib") version "3.3.1" id("org.springframework.boot") version "2.6.8" ...
GitLab
本案例使用docker-compose进行安装，如需安装docker环境，参考一下文章。 Docker环境安装 GitLab-ce 官方安装教程推荐 编写docker-compose1234567891011121314151617181920212223version: '3'services: gitlab-ce: image: 'gitlab/gitlab-ce:latest' container_name: 'gitlab-ce' privileged: true hostname: 'gitlab' environment: TZ: 'Asia/Shanghai' GITLAB_OMNIBUS_CONFIG: | external_url 'http://120.76.142.218' gitlab_rails['time_zone'] =...
SpringBoot使用docker打包的两种方式
SpringBoot使用docker打包的两种方式只使用maven插件在项目的根路径下打开pom.xml文件，在build节点加入一下内容1234567891011121314151617181920212223242526272829303132333435363738<build> <plugins> <plugin> <groupId>com.spotify</groupId> <artifactId>docker-maven-plugin</artifactId> <version>1.1.0</version> <executions> <execution> <id>build-image</id> ...
