LLM即大语言模型，它具有强大的自然语言处理（NLP）能力（包括理解NLU和生成）。我们可以借助大语言模型的能力帮助我们更好地完成一些工作，包括文本创作、FAQ问答、对话聊天、知识查询、语言翻译、文章摘要、辅助编程等。如果与其他领域的模型组合在一起使用，还能够完成视频语音字幕生成、智能客服问答等相关任务。另外，像文本分类、情感分析、命名实体识别（Named Entity Recognition）等传统的NLP任务就不适合使用LLM来完成，因为这种传统的任务对于LLM来说过于简单了。
Read more技术
文件完整性校验
MongoDB分片集群扩容与缩容
MongoDB开启分片以后，有两种扩容（缩容）方式。一种是纵向扩容，在现有的分片副本集上添加新的机器节点。这种只需要在副本集内部进行数据复制。另一种是横向扩容是扩展分片数量，需要创建新的副本集并创建新分片，随后要进行数据自动分割迁移。
Read moreCURL断点续传
CURL帮助文档
Curl非常有用，以下是遇到的一些问题和解决方案。
Read more使用CentOS 7.9搭建ShadowSocks服务
由于在网上搜索了一圈，发现都是使用Python直接安装ShadowSocks服务，但是目前python支持的版本为ShadowSocks 2.8，非常老旧的版本。首先为了安装Python 3.10也花了不少时间，主要是遇到了openssl的问题。所以本文分两个部分：第一部分为安装Python3.10，主要是要说明那个pip报SSL错误的大坑；第二部分为安装shadowsocks-libev。
Read more基于xPath的Javascript模拟操作
开发爬虫最基本的技能就是通过xPath定位获取数据，无论是Beautiful Soup还是Lxml这些包，通过xpath定位数据节点并提取数据都是非常高效且方便的。除了xPath以外，也可以使用正则表达式进行数据提取，但是在表达式的编写上要复杂许多。
Read more在Docker环境中工作
使用Docker可以很方便的进行开发和测试环境搭建。之前读了一篇文章《Docker Tips for Beginners》，大致了解了在什么环境下安装什么Docker应用。因为使用Docker Desktop可能会发生许可证问题（你在大公司工作的话，也说不清楚到底是个人使用，还是商业化使用），所以我的整个Docker环境是使用VirtualBox虚拟机，Centos7和Docker CE组建的。（VMWare的Workstation Player也会有许可证问题，VirtualBox Extension Pack也会有许可证问题，建议不要安装）
Read morenode-gyp编译安装与Python版本
在使用yarn或者npm安装js包的过程中，常有需要使用node-gyp重新编译的情况，并且每次遇到这种情况，大多与python相关。我不是专业前端开发，所以对于node-gyp具体在node中扮演什么角色不是特别清楚，但是每次node-gyp编译出现问题都与python的版本相关。
Read moreFlink意外关闭的2种情况
今天突然发现无法访问Flink的Web界面了。这个Flink系统是用了一台主机使用Stand alone方式部署的。因此使用Bitvise ssh client登录到远程服务器，查看Flink的日志。这里需要注意的是在Flink系统的log文件夹中有两类日志，一类是文件名中包含了standalonesession的Job Manager日志，一类是文件名中包含了taskexecutor的Task Manager日志。关于Flink系统的，我们主要看standalonesession日志。
Read more