SQL Server 增量同步方案探索
这是我早期写的一篇文章,搬运过来归档。现在增量同步已经有了发布订阅、alwayson、cdc等多种选择。 1. 背景SQL Server增量同步是数据中心建设的一个关键点。可用的方案方剑总在[大话数据库增量备份]一文中有过系统的总结。本次讨论过程中我提出了一个新的方案,即基于SQL Server LDF 日志的增量同步。端午节期间针对这个方案及其他几个可尝试的方案进行了探索。 2.基于SQL Server LDF日志抓取增量内容并同步的方案探索2.1 核心思路使用fn_dblog函数获取事务日志,解析日志,抓取在特定表上的INSERT,UPDATE,DELETE操作,将事务在同步库中重现 2.2 步骤# fn_dblog是一个未被官方文档记载的内置函数,官方不建议常规用户使用,他的使用方法没有系统介绍,必须依赖官方博客的只言片语,以及前人的探索。SELECT * FROM fn_dblog(NULL, NULL) # 参数是时间范围# 观看返回值,发现很多无关的日志内容,然后发现有AllocUnitId字段,查阅有关资料得知这是数据库对象的实例ID,这个实例ID不是一成不变的...
事务复制对SQLServer的影响
它使用SQL代理日志读取器作业来从发布数据库的事务日志中收集已提交的事务。这意味着在日志记录被读取之前不能清除日志。如果日志读取器代理出现问题,则日志可能意外增长。在大量的OLTP操作时,日志读取器代理的读和业务的写可能产生争用,这取决于你的IO的性能。 复制第一次初始化或者长时间停用后,再启用,会传输过多的事务日志,第一次生成快照时,会锁表。在此期间数据库会表现出响应延迟(其实还是日志瓶颈)。建议停用超过6小时,则使用最新备份还原到复制库后再进行同步。 连续运行代理的性能开销小于频繁调度 在分发服务器上 设置 –MaxCmdsInTran 能提高事务复制的性能,–SubscriptionStreams 能提高复制的吞吐量, -CommitBatchSize用于设置分发服务器上一次提交行数,网络越不靠谱,这个值就需要设置的越小,但越小则分发服务器上的开销越大。 发布服务器上的**-ReadBatchSize**参数用于指定一次读取的事务数量,默认是500个,如果复制的表较多,则这个值要设小一点,如果复制的表较少,则这个值要设大一点。(即,有效日志是不是稀疏的) 发布...
jupyter自动代码补全
jupyter notebook 用来写python代码蛮舒服的,唯一的缺点就是代码提示需要主动按tab键,跟pycharm比起来太累了。幸好通过插件Hinterland能解决这个问题,下面是具体的步骤。 操作步骤 进入命令行环境。我使用的是conda。有两种方式进入命令行。 方法1:通过anconda navigator界面,选择environments,选择对应环境名,选择open terminal 方法2:直接使用cmd或者terminal等终端进入命令行。激活你想要配置代码补全的环境(如果是默认环境不用激活) # 假设环境名为 tensorflow# linux激活环境 source activate tensorflow# windows 激活环境activate tensorflow 安装nbextensions pip install jupyter_contrib_nbextensionsjupyter contrib nbextension install --user 安装nbextensions_configurator pip install...
JPA调用SQL Server存储过程获得返回值
SQL Server的存储过程返回值的方式跟Oracle有蛮大的区别,想通过JPA去获取存储过程的返回值,需要特殊的实现。代码如下。 @Autowiredprivate EntityManager entityManager; ... ....StoredProcedureQuery query = entityManager .createStoredProcedureQuery("USP_GET_SJJ") .registerStoredProcedureParameter("jktablename", String.class, ParameterMode.IN) .registerStoredProcedureParameter("xhstr", String.class, ParameterMode.IN) .registerStoredProcedureParameter("r...
使用私有gitlab搭建gitbook持续集成
gitbook是一套文档/书籍很好的解决方案,我这里用他来发布团队的一些公有规范。gitlab是我们在用的一套git私仓。以下是具体的操作步骤。 安装node.jswget https://nodejs.org/dist/latest-v6.x/node-v6.12.3.tar.gztar -xf node-v6.12.3.tar.gzcd node-v6.12.3./configuresudo makesudo make install 安装gitbook-clisudo npm install -g gitbook-cli 创建git project 并注册cli直接在gitlab中创建一个project,然后进入project的settings界面CI/CD settings下的Runners settings界面找到注册令牌。如果没安装过gitlab runner,还需要先安装gitlab runner,可以参照我之前的一篇文章中的第三步,第四步。然后为该project注册cli sudo gitlab-runner register 这里...
解决utf8的xml中文乱码问题
如果编码格式不是utf8,中文乱码我也认了。这次遇到了上传的utf8编码的xml文档,通过java上传处理后,出现了中文乱码。经过团队的小伙伴仔细调试后发现是utf8 bom的锅。既然utf8 bom会导致兼容性问题,那我只能去把这个bom头去掉了。以下是处理代码。 public class UTF8Handle { private static final byte[] UTF8_BOM_BYTES = new byte[] {(byte) 0xEF, (byte) 0xBB, (byte) 0xBF }; private UTF8Handle(){} static public String removeUTF8BOM(String xmlText) { byte[] bytes = xmlText.getBytes(); boolean containsBOM = bytes.length > 3 &&...
使用Docker构建SQL Server开发数据库
我习惯在Linux下开发,但目前的产品采用的是SQL Server,众所周知,MSSQL在Linux下臃肿笨重,故决定使用Docker搭建SQL Server Express作为开发数据库。以下是具体过程。 拉取镜像并启动实例image还是非常大的,再拉取之前一定要先添加加速器,否则会等到天荒地老。如果添加加速器,请参见我的另一篇文章 docker run -e 'ACCEPT_EULA=Y' -e 'SA_PASSWORD=your_password' -e 'MSSQL_PID=Express' -p 1433:1433 --name mssql -v mssql_db:/data/db --privileged=true -d microsoft/mssql-server-linux:latest ACCEPT_EULA=Y 接受用户协议 SA_PASSWORD=your_password设置sa的密码,这个密码必须是高强度密码,有数字大小写字母,不小于8位 MSSQL_PID=ExpressSQL Se...
解决response中文乱码问题
今天遇到一个中文乱码问题:在spring boot的框架中从数据库获取一个xml-string返回给前台,中文乱码。以下是解决办法: response.setHeader("Content-type", "text/html;charset=UTF-8"); String data = "中文字符"; OutputStream outputStream = response.getOutputStream(); outputStream.write(data.getBytes("UTF-8"));
使用drawio源码,搭建自己的绘图网站
本人是processon的付费会员,但最近一段时间使用这个网站的频率很低,再对比年费,就有点不划算了,于是想找一个替代方案。几近对比之后,觉的draw.io的使用体验也很棒,而且是开源的,缺点是不支持思维导图,是国外网站稳定性欠佳。思维导图可以采用百度脑图替代。为了解决稳定性的问题,我的阿里云上自行搭建了一套。以下是关键过程。 下载源码并编译# 安装ant及java的devel包sudo yum install -y ant java-1.8.0-openjdk-devel# clone代码到本地git clone https://github.com/jgraph/drawio.git# 编译cd drawio/etc/buildant #编译完成后会在drawio下产生一个war目录# copy war 到 nginx 发布目录sudo cp -r war /var/wwwcd /var/wwwsudo mv war drawio# 增加nginx站点文件cd /etc/nginx/conf.dsudo vim draw.conf 配置nginx,开启SSLdraw.c...
将mongodb迁移到docker-mongodb
最近个人服务器到期,在搭建新服务器的时候,基本全部docker化。所以涉及到宿主环境下的应用及数据迁移到docker container中。此文记录mongo迁移过程。 备份mongo数据mongodump --username xxx --password xxx --db xxx --authenticationDatabase xxx -o ~/bak/mongodb/ > ~/logs/mongodb_bak_api.log 拉取mongo镜像 配置阿里云镜像加速 # dockerhub有点慢,mongo的镜像有300多M,所以过多使用阿里云提供的镜像加速服务sudo mkdir -p /etc/dockersudo tee /etc/docker/daemon.json <<-'EOF'{ "registry-mirrors": ["https://zv3w4pat.mirror.aliyuncs.com"]}EOFsudo systemctl daemon-rel...
