• Elasticsearch 在各大互联网公司大量真实的应用案例

    国内现在有大量的公司都在使用 Elasticsearch,包括携程、滴滴、今日头条、饿了么、360安全、小米、vivo等诸多知名公司。 除了搜索之外,结合Kibana、Logstash、Beats,Elastic Stack还被广泛运用在大数据近实时分析领域,包括日志分析、指标监控、信息安全等多个领域。它可以帮助你探索海量结构化、非结构化数据,按需创建可视化报表,对监控数据设置报警阈值,甚至通过使用机器学习技术,自动识别异常状况。 一、京东到家订单中心 Elasticsearch 演进历程 京东…

  • 14个Linux系统安全小妙招,总有一招用的上

    对于互联网IT从业人员来说,越来越多的工作会逐渐转移到Linux系统之上,这一点,无论是开发、运维、测试都应该是深有体会。曾有技术调查网站W3Techs于2018年11月就发布一个调查报告,报告显示Linux在网站服务器的系统中使用率高达37.2%,这一数据也表明,Linux系统被广泛应用。其实,除了在网站服务器中的应用,Linux系统还被用于DNS域名解析服务器、电子邮件服务器、一些开源软件的应用(大数据应用:据Linux基金会的研究,86%的企业已经使用Linux操作系统进行云计算、大数据平…

  • 干货!MySql DAL中间件总结

    1.前言 mysql作为互联网公司都会用到的数据库,如果在使用过程中出现性能问题,会采用mysql的横向扩展,使用主从复制来提高读性能,要是解决写入问题,需要进行分库分表。本文不会去介绍mysql的高可用,需要了解Mysql高可用架构相关的请戳 浅谈MySQL集群高可用架构,本文主要介绍mysql的访问中间件(DAL)的一些实现方案。 2.Atlas 官网:https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md 2.1.atlas简介…

  • Https详解

    http存在的隐患 HTTP是属于应用层的协议,它是基于TCP/IP的,所以它只是规定一些要传输的内容,以及头部信息,然后通过TCP协议进行传输,依靠IP协议进行寻址,通过一幅最简单的图来描述: 客户端发出请求,服务端进行响应,就是这么简单。在整个过程中,没有任何加密的东西,所以它是不安全的,中间人可以进行拦截,获取传输和响应的数据,造成数据泄露。 对称加密 对于这种情况,我们想到的最直接的办法就是对数据加密 这种加密方式叫做:对称加密。 加密和解密用同一个秘钥的加密方式叫做对称加密。但是对称加…

  • 老司机告诉你:正规的运维工作是什么的?

    互联网运维工作,以服务为中心,以稳定、安全、高效为三个基本点,确保公司的互联网业务能够 7×24 小时为用户提供高质量的服务。 运维人员对公司互联网业务所依赖的基础设施、基础服务、线上业务进行稳定性加强,进行日常巡检发现服务可能存在的隐患,对整体架构进行优化以屏蔽常见的运行故障,多数据中接入提高业务的容灾能力。 通过监控、日志分析等技术手段,及时发现和响应服务故障,减少服务中断的时间,使公司的互联网业务符合预期的可用性要求,持续稳定地为用户提供务。 在安全方面,运维人员需要关注业务运行所涉及的各…

  • 谷歌SRE与运维工作的思考

    运维部门要保障产品业务稳定性,开发部门要想随时随地快速上线新功能,而线上的故障往往是由新的变更导致的——不管是新发布了版本,还是修改配置,或者是改变了用户某些行为导致流量负载产生变化,传统意义上这两个部门在本质目标上是相对的。所以运维部门往往会要求开发部门对变更或发布做控制,并且规定要走一些繁琐的流程;而开发部门会想法设法绕过这些繁琐步骤,以支持新功能更快上线。 谷歌的工作方式:面对运维部门与开发部门之间的产品稳定性与迭代创新速度之间的矛盾,允许产品在设定的“错误预算”内发生异常,利用可量化的S…

  • Kafka+ZooKeeper高可用集群部署

    集群环境 kafka+zk 我这里并没有设置专业的存储设备,大家用到生产中一定要把数据存储到专业的存储设备或者带有冗余设备的磁盘上 ###部署JDK tar xf jdk-8u161-linux-x64.tar.gz -C /usr/local/ cat << EOF >> /etc/profile #################JAVA################# export JAVA_HOME=/usr/local/jdk1.8.0_161 export …

  • Kubernetes中的emptyDir存储卷和节点存储卷

    Kubernetes支持存储卷类型中,emptyDir存储卷的生命周期与其所属的Pod对象相同,它无法脱离Pod对象的生命周期提供数据存储功能,因此emptyDir通常仅用于数据缓存或临时存储。不过基于emptyDir构建的gitRepo存储卷可以在Pod对象的生命周期起始时从响应的Git仓库中复制相应的数据文件到底层的emptyDir中,从而使得它具有了一定意义上的持久性。 emptyDir存储卷 emptyDir存储卷是Pod对象生命周期中的一个临时目录,类似于Docker上的docker挂…

  • 干货分享建议收藏:Jenkins集成GitLab

    Jenkins免密拉取GitLab项目 1.在Jenkins上为GitLab创建一个专有的拉取代码的账号 Jenkins需要构建哪些项目就在GitLab给予账号相应权限 我这里已经创建过Jenkins用户,下面用它登录后添加SSH-KEY 2.在Jenkins服务器上生成ssh-key [root@jenkins ~]# ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save th…

  • 误删不跑路,大牛运维神技能分分钟恢复

    一、背景 突发事件,应用上传的数据被程序自动删掉了,可悲的是还没有数据备份,数据是放在系统的 /data/webapps/xxxx/upload 目录下面,可把我们记坏了,之前又没有做过数据恢复的测试,然后我找到了一款数据恢复的软件,成功把删除的大部分数据找回来了,我的数据恢复过程如下。 二、安装恢复软件 1、epel 仓库安装 如果我们的源里面添加了 epel 仓库的话,我们可以直接使用下面的命令安装。 2、源码编译安装 三、删除数据查找 因为我的数据路径比较深,所以我们需要一步步查找,可以先…

历经多年发展,已成为国内好评如潮的Linux云计算运维、SRE、Devops、容器云、Go、Python开发专业人才培训机构!