数据复制订阅

数据同步与订阅 数据同步与订阅第三方程序

数据复制

1. 物理复制 好处:物理层面一致,延迟低 坏处:主备块级一致,无法覆盖场景(复制部分数据,从多个数据源复制,不同版本之间数据复制)

2. 流复制 所谓流复制，就是从服务器通过tcp流从主服务器中同步相应的数据,流WAL记录到从服务器, PostgreSQL流复制默认是异步的,延迟1秒之内,如果主服务器崩溃,少量数据丢失, 同步流复制:等主服务器和从服务器都写完WAL后才能提交事务。这样在一定程度上会增加事务的响应时间。配置参数synchronous_commit=on

复制流程:当用户连接进行数据操作，产生对应的WAL日志记录后，walwriter会周期性地把产生的WALpage刷新到磁盘中，如果配置了备库，则walsender会不断将WAL page发给备库的walreceiver进程，walreceiver进程会把对应WAL page直接写到本地磁盘，同时slave上的startup辅助进程会不断地应用xlog日志，改变本地数据，实现与主库之间的数据同步。而且，通过配置，备库是可以接受用户的只读请求

1. 逻辑复制 基于WAL实现表级别的复制

数据订阅

amazonriver pg数据到kafka es

bottledwater-pg pg到kafka