使用CentOS 7.9搭建ShadowSocks服务

由于在网上搜索了一圈,发现都是使用Python直接安装ShadowSocks服务,但是目前python支持的版本为ShadowSocks 2.8,非常老旧的版本。首先为了安装Python 3.10也花了不少时间,主要是遇到了openssl的问题。所以本文分两个部分:第一部分为安装Python3.10,主要是要说明那个pip报SSL错误的大坑;第二部分为安装shadowsocks-libev。

Read more

在Docker环境中工作

使用Docker可以很方便的进行开发和测试环境搭建。之前读了一篇文章《Docker Tips for Beginners》,大致了解了在什么环境下安装什么Docker应用。因为使用Docker Desktop可能会发生许可证问题(你在大公司工作的话,也说不清楚到底是个人使用,还是商业化使用),所以我的整个Docker环境是使用VirtualBox虚拟机,Centos7和Docker CE组建的。(VMWare的Workstation Player也会有许可证问题,VirtualBox Extension Pack也会有许可证问题,建议不要安装)

Read more

Flink意外关闭的2种情况

今天突然发现无法访问Flink的Web界面了。这个Flink系统是用了一台主机使用Stand alone方式部署的。因此使用Bitvise ssh client登录到远程服务器,查看Flink的日志。这里需要注意的是在Flink系统的log文件夹中有两类日志,一类是文件名中包含了standalonesession的Job Manager日志,一类是文件名中包含了taskexecutor的Task Manager日志。关于Flink系统的,我们主要看standalonesession日志。

Read more

Excel函数VLOOKUP和ISNA使用技巧

对于程序员来说,遇到需要数据处理的情况,首先想到写代码实现。其实如果熟悉Excel的一些公式的话,可以非常方便的使用这些公式实现。最近就遇到一个问题,里面涉及到在Excel表中查找数据,并判断该数据对应字段的值,并更新回源数据。简单来说如果要使用代码实现的话,大概要写读Excel文件、for循环、判断、更新源数据字典、最后写回Excel文件。但是如果使用Excel中的固定函数,就特别简单。大致用到IF、ISNA、VLOOKUP三个函数。 Read more

开发爬虫过程中遇到的乱码问题

开发爬虫过程中遇到过非常头痛的问题就是编码问题,如果编码使用不正确最后保存下来的文本就会有问题。在开发过程中,我们可能会遇到各种编码比如ios8859-1,Windows-1252,GBK,GB2313,GB18030等。首先让我们看看如果使用错误的编码解码下载的内容会发生什么情况吧。注意,即使都是乱码,使用不同错误的错误编码解码的效果特征也是不同的。
Read more