8种方法教你如何防范爬虫

随着人工智能产业的日益火热,各种大大小小的科技公司都开始想方设法收集尽量多的数据已满足自适日益增长的数据需求。为了获取足够多的数据,科技公司开发了大量的爬虫工具尽可能地爬取能够访问的网站。其中图片网站,视频网站,新闻网站是其中最大的受害者。对于网站所有者来说,这些爬虫程序除了占用宝贵的带宽和服务器资源以外,没有带来任何利益。与此同时,由于贷款被占用,计算资源被消耗,最后影响到了真正的用户。本文将探讨集中比较常用的方法,侦测并识别爬虫行为。如果有必要,可以拒绝这类访问行为。
Read more

使用MyBatis自动生成和更新Mapper

本文主要介绍MyBatis在Spring Boot中项目中的配置,以及自动生成和更新Mapper的操作流程。使用MyBatis可以很方便的创建Java中间件中数据持久层的基本数据操作逻辑。为我们节省了大量时间,避免了手动编写数据库增删改查的基础操作和数据映射代码。下面我们将从创建新表开始演示如何使用MyBatis自动生成和更新Mapper。
Read more

使用小米路由器实现局域网内科学上网

由于需要学习各种最新的开源技术,很多同学需要临时科学上午查询最新的技术方案。前几天看了一篇帖子写的不错,能够很方便的使用小米路由器实现科学上网功能。经过多次测试,好像只有小米路由器3是支持的。因此大家在动手之前,请先确认自己的路由器型号为MIR3。因为该方法中涉及到刷机等工作,所以选对型号非常重要。
Read more

使用Nginx搭建负载均衡和反向代理

今天做了一个简单的实验,就是在自己的域名下挂上weibo.com服务。当然如果按照此方式,一般可以挂上各种其它网站的服务。最简单的方法就是使用Nginx建一个反向代理。然而如果流量太大,可能需要不同IP的反向代理服务器。随后在这些反向代理之前挂一个负载均衡服务器。大致结构如下:
Read more

使用Electron创建简单的原生应用

Electron的存在彻底把编写Windows,Linux和Mac系统原生应用的门槛降到了前所未有的高度。虽然会有人说Electron相比于各平台的独立开发工具会在性能上,文件大小上的问题。但是相对于开发成本,这些问题都可以忽略,毕竟Electron是跨平台的。Electron理论上就是一个Node项目,可以使用npm管理。
Read more