Author: 老船长

Redis服务器CPU占用率100%问题分析和解决方案

老船长

Redis是非常高性能的内存型数据库，在我们整个分布式系统中扮演着非常重要的角色。从用户会话管理到任务调度管理，都离不开Redis服务。然而，高性能并不表示可以滥用，本文将分享一个实际案列，讲述工程师是如何错误使用Redis查询语句，导致Redis服务器CPU占用率达到100%。并且通过这个实际案例，同时给大家演示当遇到此类问题时，应该如何一步一步地排查并最终找到问题的根结和正确的解决方案。
Read more →

使用MYSQL分区提升检索速度

老船长

随着数据量的增加，MYSQL中的检索速度会越来越慢。之前我们使用了很多方法来提高MYSQL的检索速度，比如通过使用ORDER BY语句提升搜索速度，增加新的索引字段提升搜索速度。最终实现了从800万条数据当中通过时间条件搜索只需要耗时200毫秒的成绩。然而，对于这样的速度，我们还是不够满意的。为了优化检索速度，我们将对数据进行分区处理。
Read more →

提升MongoDB查询速度测试

老船长

之前几周写过一个关于提升MYSQL查询速度的文章。这次，我们来讨论以下如何有效的提升MongoDB的查询速度。首先，我们在MongoDB中有一个数据集合（可以理解为表，但是又不能叫表，具体MongoDB和MySQL的区别还请大家搜索以下）有将近100万条数据，大概3GB左右大小。数据集合中的每一条数据的数据格式大致相同，可能会有略微多或者少几个字段。该数据集合使用了默认的_id作为索引字段。然而，由于业务需求，我们发现在使用不同的条件进行搜索时，存在严重的性能问题（由于服务器只有8G内存，我们的MongoDB只是用约4G内存，也是有点残忍的）。

Read more →

国内网站备案

老船长

在国内开始网站是需要备案的，并且需要在工信部和当地的互联网安全综合服务网备案。否则即使购买了域名和主机，并且成功绑定，也会在30天内被主机服务提供商暂停服务。因此，想要在国内通过网站服务，备案工作是不能马虎的。很多朋友也咨询过备案的流程是在太繁琐了，非常麻烦；是否有可以不需要备案又可以提供网站服务的途径？

如果不想备案，那么只有在国外买域名和主机。虽然国内是可以访问绝大多数国外网站的，但是由于主机在国外，速度可能就比较慢了。因此，如果各位朋友的网站服务是针对国内用户的，个人建议还是在国内购买域名和主机服务，并且老老实实把备案工作做好。当然如果有朋友真的希望购买国外服务，以下是船长使用过的比较好的服务商：

  • 海外域名服务商Namecheap

    • Namecheap在海外不是最大的域名服务商。但是他提供的域名服务价廉物美。船长也是它的忠实客户。

  • 香港主机提供商恒创科技

    • 恒创科技是船长常年使用的香港主机服务商。在价格非常便宜的同时，服务也特别好，优惠特别多。最关键的是，国内的访问速度也非常快。

Read more →

M3U8流视频数据爬虫详解三：M3U8视频网络数据爬虫实现

老船长

本文是《M3U8流视频数据爬虫详解》系列教程中的第三篇。前两篇《M3U8视频文件详解》和《M3U8视频网络数据分析与爬虫设计》分别介绍了M3U8文件的基础知识。并且通过详细案例，介绍和讲解了使用Chrome开发者工具分析页面数据，并从数据记录中找到了最关键的数据文件和访问方法。最后，根据页面分析结果，我们给出了一套具体的M3U8视频爬虫设计思路。在本文中，我们将在上一篇的基础上，以实际案例，根据爬虫设计思路，实现一套具体的M3U8视频爬虫程序。

Read more →

Scrapy Cluster中重定向被错误去重

老船长

Scrapy Cluster在默认情况下，会自动去重已经爬取过的URL。因此，如果一个URL被爬取过以后，会在一段时间内，系统中又碰到这个URL，就会把它过滤掉。大家可以在localsettings.py文件中设置DUPEFILTER_TIMEOUT，单位为秒。默认为600秒。也就是说，一个URL被爬取以后，默认情况下，600秒内都会被过滤掉，除非新的Request对象中设置了dont_filter参数为True。那么，在Scrapy Cluster系统中是如何实现URL的去重功能的呢？另外，在Scrapy Cluster中重定向的URL又是如何被错误去重的呢？
Read more →

使用Github创建免费的个人主页

老船长

前些天写了一片关于阿里云服务器的文章，阿里云网站应用云服务器选购指南，主要是比较不同阿里云服务器之间的性能和价格。后来就有朋友问，自己想建一个个人主页，主要是做个人展示用，比如个人简历。因此询问是否可以提供更多关于“共享虚拟主机普惠版”的信息和购买链接。其实我个人建议，如果不是要提供特别复杂的功能或者服务，只是要提供一个个人展示的平台的话，完全可以使用简单的Web服务，例如使用Github Pages服务。
Read more →

使用MYSQL索引提升检索速度

老船长

之前碰到一个MYSQL查询速度慢的问题，在一个4G大小的表，约835万条记录中，按照时间统计总数。后来通过使用Order By语句把查询速度提升了3倍。原帖：使用Order By语句将MySQL查询速度提高3倍。如原文所述，最后的查询结果在7秒左右。然而对于一条MYSQL语句运行7秒，这样的速度完全是不能接受的。最后为了提升速度，还是决定通过把查询字段加到索引里。
Read more →