Author: 老船长

随着人工智能产业的日益火热，各种大大小小的科技公司都开始想方设法收集尽量多的数据已满足自适日益增长的数据需求。为了获取足够多的数据，科技公司开发了大量的爬虫工具尽可能地爬取能够访问的网站。其中图片网站，视频网站，新闻网站是其中最大的受害者。对于网站所有者来说，这些爬虫程序除了占用宝贵的带宽和服务器资源以外，没有带来任何利益。与此同时，由于贷款被占用，计算资源被消耗，最后影响到了真正的用户。本文将探讨集中比较常用的方法，侦测并识别爬虫行为。如果有必要，可以拒绝这类访问行为。
Read more →

本文主要记录在做产品过程的一些想法和思考，不一定对，不定期更新。
Read more →

本文主要介绍MyBatis在Spring Boot中项目中的配置，以及自动生成和更新Mapper的操作流程。使用MyBatis可以很方便的创建Java中间件中数据持久层的基本数据操作逻辑。为我们节省了大量时间，避免了手动编写数据库增删改查的基础操作和数据映射代码。下面我们将从创建新表开始演示如何使用MyBatis自动生成和更新Mapper。
Read more →

由于需要学习各种最新的开源技术，很多同学需要临时科学上午查询最新的技术方案。前几天看了一篇帖子写的不错，能够很方便的使用小米路由器实现科学上网功能。经过多次测试，好像只有小米路由器3是支持的。因此大家在动手之前，请先确认自己的路由器型号为MIR3。因为该方法中涉及到刷机等工作，所以选对型号非常重要。
Read more →

MongoDB数据导出一直是常有的任务。大多数付费数据库客户端都提供了非常方便的工具。但是免费的工具就非常的不好用，要么是性能问题，要么是功能不完善。其实MongoDB本身就附带一个mongoexport工具。其特点就是高效，易用，且稳定。
Read more →

今天做了一个简单的实验，就是在自己的域名下挂上weibo.com服务。当然如果按照此方式，一般可以挂上各种其它网站的服务。最简单的方法就是使用Nginx建一个反向代理。然而如果流量太大，可能需要不同IP的反向代理服务器。随后在这些反向代理之前挂一个负载均衡服务器。大致结构如下：
Read more →

之前写过一篇文章简单介绍了以下Electron项目《使用Electron创建简单的原生应用》。但是在实际工程项目中发现，Vue框架用的比较多。甚至Electron-Build脚手架中推荐的最小项目electron-webpack中也用了Vue框架。因此，我特地咨询了前端开发专家如何使用Vue框架创建一整套Electron项目。
Read more →

Electron的存在彻底把编写Windows，Linux和Mac系统原生应用的门槛降到了前所未有的高度。虽然会有人说Electron相比于各平台的独立开发工具会在性能上，文件大小上的问题。但是相对于开发成本，这些问题都可以忽略，毕竟Electron是跨平台的。Electron理论上就是一个Node项目，可以使用npm管理。
Read more →

开发爬虫一般有两种常用的方案，一种是使用HTTP直接访问网站获取页面信息，另一种是使用模拟浏览器获取页面信息。两种方案各有利弊。例如：直接使用HTTP访问速度快，不会下载无用的JS数据和CSS数据，或者图片数据，内存使用量小，服务器的要求非常低；后者通常会加载完整的页面，虽然可以设置不加载图片，但是现在大型网站的一个页面的JS和CSS资源轻轻松松就超过10个文件以上。因此在速度和资源消耗上完全无法和前者相比。然而，前者也有非常明显的短板，对于反爬取非常复杂的网站，基本上都是通过JS实现的，例如动态令牌等。并且生成动态令牌的算法也是JS混淆加密，并且创建动态令牌的过程中也涉及到对称加密或者非对称加密等。这种情况下，想要模拟创建动态令牌并使用HTTP直接访问页面耗时耗力，花了很长时间破解了加密算法以后，页面端随便改个算法，这个破解过程要重来一遍，耗时耗力。这种情况下，使用模拟浏览器创建爬虫的方式相对就高效很多。
Read more →

如今云服务器使用的越来越广泛，而且配置变化也非常容易。根据实际情况可以升降级服务器配置，比如CPU，内存，硬盘等。本文将记录一下在已经开通的云服务器上新增一块云硬盘并挂载到系统中如何操作。
Read more →