• 如何用Golang协程实现流量统计系统?

    相信专业的程序开发人员都对并发编程十分熟悉。实现并发编程有进程、线程等方式,但是多进程和多线程并不是很完美。都是有内核进行调度,有 CPU 时间片的概念,进行抢占式调度,对于编程来说,难度比较大。 而 Golang 作为一门现代化的编程语言,它不需要你直面这些复杂的问题。本质上, goroutine 就是协程。 不同的是,Golang 在 runtime、系统调用等多方面对 goroutine 调度进行了封装和处理,当遇到长时间执行或者进行系统调用时,会主动把当前 goroutine 的CPU …

    马哥教育快报 2021年4月22日
  • 用autossh工具进行端口转发

    比如我们在 host2 机器上面部署了很多服务,但是由于某种原因导致我们无法直接 ssh 访问该服务器已经其上服务的对应端口,但是 host3 服务器,既能够访问 host2 服务器,又可以访问我们的 host1 服务器。这时,我们可以通过设置 ssh 来进行服务的访问。但是还有两个问题:你需要保持终端开启防止 SSH 进程被关闭;由于网络故障/波动导致 SSH 终断时无法自动重连。 前者可以使用 tmux 等第三方工具来解决,后者需要 supervisor 等第三方监控工具,不过我们还有一个更…

    马哥教育快报 2021年4月21日
  • 21个Jenkins替代方案

    当谈到CI/CD工具时,我们都会提到Jenkins。它是构建和测试项目的超级有效工具,从而使持续不断的轻松集成成为可能。 但是,Jenkins并不是唯一的CI/CD工具。我们还有其他很多选择! 1.GitLab GitLab 它是一个开源的Web系统,可用于将持续集成,持续部署应用到你的项目中,而无需任何第三方应用程序。它提供了友好的用户界面以及分布式版本控制服务。 使它成为Jenkins最佳替代品之一的一些主要功能是: 像Jenkins一样,它也是一个开源工具。 可以并行测试构建,从而减少时间…

    马哥教育快报 2021年4月21日
  • 墙裂推荐!Python开发者不容错过的7个VS Code扩展

    值得向Python开发者推荐的VS Code扩展。 Visual Studio Code(简称 VS Code)是一个由微软开发,同时支持 Windows、 Linux 和 macOS 等操作系统的免费代码编辑器,它支持测试,并内置了 Git 版本控制功能,同时也具有开发环境功能,例如代码补全、代码片段和代码重构等。VS Code 是程序员常用的代码编辑器之一,是一个可在所有平台上使用的开源、可扩展和轻量级的编辑器。这些品质使微软的 VS Code 大受欢迎,并成为 Python 开发的绝佳平台…

    马哥教育快报 2021年4月20日
  • Python 3.10终于来了,switch语法终于出现

    终于不用再自己琢磨如何实现 switch 功能了。 对于从事数据科学和人工智能领域的人们来说,Python 是大家的首选编程语言。根据最近的一项调查,27% 的程序员开发职位要求掌握 Python 语言,今年年初这一数字还只是 18.5%。 Python 流行的原因在于其拥有非常直观的能力:这门语言拥有大量的库、足够高的生产效率,还相对易于学习。去年 10 月,Python 的 3.9 版正式发布了,从字典更新 / 合并到添加新的字符串方法,再到 zoneinfo 库的引入,Python 3.9…

    马哥教育快报 2021年4月20日
  • 用Python执行SQL、Excel常见任务?10个方法全搞定!

    数据从业者有许多工具可用于分割数据。有些人使用 Excel,有些人使用SQL,有些人使用Python。对于某些任务,使用 Python 的优点是显而易见的。以更快的速度处理更大的数据集。使用基于 Python 构建的开源机器学习库。你可以轻松导入和导出不同格式的数据。 由于其多功能性,Python 可以成为任何数据分析师工具箱的重要组成部分。但是,这很难开始。大多数数据分析师可能熟悉 SQL 或 Excel。本篇是涉及帮助你将技能和技术从 EXcel 和 SQL 转移到 Python。 首先,让…

    马哥教育快报 2021年4月19日
  • Numpy怎么使用最高效,5个技巧送给你!

    本文作者将分享 5 个优雅的 Python Numpy 函数,有助于高效、简洁的数据处理。 在 reshape 函数中使用参数-1 Numpy 允许我们根据给定的新形状重塑矩阵,新形状应该和原形状兼容。有意思的是,我们可以将新形状中的一个参数赋值为-1。这仅仅表明它是一个未知的维度,我们希望 Numpy 来算出这个未知的维度应该是多少:Numpy 将通过查看数组的长度和剩余维度来确保它满足上述标准。让我们来看以下例子: 维度为-1 的不同 reshape 操作图示。 假设我们给定行参数为 1,列…

    马哥教育快报 2021年4月19日
  • 强!仅 1 行 Python 代码就能实现数据分析

    sweetviz是一个基于Python编写的数据分析软件,只要掌握3种函数用法,一行Python代码就能实现数据集可视化、分析与比较。 以Titanic数据集为例,输入一行代码: 一个1080p的清晰网页界面就出现在了眼前。 不仅根据性别、年龄等不同栏目纵向分析数据,每个栏目下还有众数、最大值、最小值等横向对比。 所有输入的数值、文本信息都会被自动检测,并进行数据分析、可视化和对比,最后帮你进行数据总结。 在这样的数据分析下,结果一目了然。 这样的效果,是基于3个主函数实现的。 3种函数用法 a…

    马哥教育快报 2021年4月16日
  • 轻量级日志分析平台Loki实战

    简介: Loki的第一个稳定版本于2019年11月19日发布,是 Grafana Labs 团队最新的开源项目,是一个水平可扩展,高可用性,多租户的日志聚合系统。Loki 是专门用于聚集日志数据,重点是高可用性和可伸缩性。与竞争对手不同的是,它确实易于安装且资源效率极高。 特点: 优点: 1、Loki的架构非常简单,使用了和prometheus一样的标签来作为索引,通过这些标签既可以查询日志的内容也可以查询到监控的数据,不但减少了两种查询之间的切换成本,也极大地降低了日志索引的存储。 2、与EL…

    马哥教育快报 2021年4月16日
  • Filebeat、Logstash、Rsyslog 各种姿势采集Nginx日志

    由于nginx功能强大,性能突出,越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。 本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。 大家都知道ELK技术栈是采集、分析日志的利器。所以这里介绍的是从nginx采集日志到ES。当然至于日志采集以后存到看大家的需要…

    马哥教育快报 2021年4月15日
匠心精神,良心教育-IT人的高薪实战学院 咨询电话:4000806560