ToB企服应用市场:ToB评测及商务社交产业平台

标题: ClickHouse 集群摆设（不必要 Zookeeper） [打印本页]

---

作者: 篮之新喜    时间: 2024-10-16 04:59
标题: ClickHouse 集群摆设（不必要 Zookeeper）
目录
一、单节点设置
1. 下载
2. 安装
3. 启动
4. 验证
二、导入示例数据集
1. 下载并提取表数据
2. 创建库表
3. 导入数据
4. 优化表
5. 查询示例
三、集群摆设
0. 安装前准备
1. 安装设置 ClickHouse Keeper
（1）安装 ClickHouse Server 和 ClickHouse Client
（3）重启 ClickHouse
（4）验证 Keeper 实例是否正在运行
（5）确认 zookeeper 体系表
2. 设置 ClickHouse 集群
（1）在新主机（node4）上安装 ClickHouse Server 和 ClickHouse Client
（2）修改新主机（node4）上的设置文件
（3）更新设置
（4）重启 ClickHouse 并验证集群已创建
3. 创建分布式表
（1）创建数据库
（2）创建当地表
（3）在一个分片实例上（node1）新增两行
（4）在另一个分片实例上（node3）新增两行
（5）在所有实例上分别实行 SELECT 查询
（6）创建分布式表
（7）在所有实例上分别实行 SELECT 查询
4. 数据自动分片
（1）创建带有分片键的当地表
（2）创建提供集群当地表视图的分布式表
（3）向分布式表中插入数据
（4）在所有实例上分别实行 SELECT 查询
5. 使用 ReplicatedMergeTree 表引擎复制数据
（1）定义宏
（2）创建当地表
（3）创建分布式表
（4）向分布式表中插入数据
（5）在所有实例上分别实行 SELECT 查询
参考：

---

        ClickHouse 可以在任何具有x86_64、AArch64 或 PowerPC64LE CPU 架构的 Linux，FreeBSD 或 Mac OS X 上运行。官方预构建的二进制文件通常针对 x86_64 举行编译，并利用 SSE 4.2 指令集，因此，除非尚有阐明，支持它的 CPU 使用将成为额外的体系需求。下面是查抄当前 CPU 是否支持 SSE 4.2 的下令：

1. $ grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"

复制代码

一、单节点设置

1. 下载

1. # 查看版本
2. https://github.com/ClickHouse/ClickHouse/releases
4. # 最新稳定版本安装包下载地址
5. https://github.com/ClickHouse/ClickHouse/releases/download/v24.1.8.22-stable/clickhouse-client-24.1.8.22.x86_64.rpm
6. https://github.com/ClickHouse/ClickHouse/releases/download/v24.1.8.22-stable/clickhouse-common-static-24.1.8.22.x86_64.rpm
7. https://github.com/ClickHouse/ClickHouse/releases/download/v24.1.8.22-stable/clickhouse-server-24.1.8.22.x86_64.rpm

复制代码

2. 安装

1. # 首先安装通用依赖包
2. rpm -ivh clickhouse-common-static-24.1.8.22.x86_64.rpm
3. # 安装服务器，遇到 Enter password for default user 提示时输入密码
4. rpm -ivh clickhouse-server-24.1.8.22.x86_64.rpm
5. # 安装命令行客户端
6. rpm -ivh clickhouse-client-24.1.8.22.x86_64.rpm

复制代码

3. 启动

1. sudo service clickhouse-server start

复制代码

        查看启动后进程：

1. [root@vvml-yz-hbase-test~]#ps -ef | grep clickhouse | grep -v grep
2. clickho+  5322     1  0 08:49 ?        00:00:00 clickhouse-watchdog        --config-file /etc/clickhouse-server/config.xml --pid-file /var/run/clickhouse-server/clickhouse-server.pid --daemon
3. clickho+  5323  5322  6 08:49 ?        00:00:00 /usr/bin/clickhouse-server --config-file /etc/clickhouse-server/config.xml --pid-file /var/run/clickhouse-server/clickhouse-server.pid --daemon
4. [root@vvml-yz-hbase-test~]#

复制代码

        查看监听端口

1. [root@vvml-yz-hbase-test~]#netstat -antpl | grep clickhouse
2. tcp        0      0 127.0.0.1:9004          0.0.0.0:*               LISTEN      5323/clickhouse-ser 
3. tcp        0      0 127.0.0.1:9005          0.0.0.0:*               LISTEN      5323/clickhouse-ser 
4. tcp        0      0 127.0.0.1:9009          0.0.0.0:*               LISTEN      5323/clickhouse-ser 
5. tcp        0      0 127.0.0.1:8123          0.0.0.0:*               LISTEN      5323/clickhouse-ser 
6. tcp        0      0 127.0.0.1:9000          0.0.0.0:*               LISTEN      5323/clickhouse-ser 
7. tcp6       0      0 ::1:9004                :::*                    LISTEN      5323/clickhouse-ser 
8. tcp6       0      0 ::1:9005                :::*                    LISTEN      5323/clickhouse-ser 
9. tcp6       0      0 ::1:9009                :::*                    LISTEN      5323/clickhouse-ser 
10. tcp6       0      0 ::1:8123                :::*                    LISTEN      5323/clickhouse-ser 
11. tcp6       0      0 ::1:9000                :::*                    LISTEN      5323/clickhouse-ser 
12. [root@vvml-yz-hbase-test~]#

复制代码

        服务端日记的默认位置是 /var/log/clickhouse-server/。当服务端在日记中记录 Ready for connections 消息，即表示服务端已准备好处理客户端毗连。一旦 clickhouse-server 启动并运行，可以利用 clickhouse-client 毗连到服务端，并运行一些测试查询。
4. 验证

1. [root@vvml-yz-hbase-test~]#clickhouse-client --password="123456" --query "select version();"
2. 24.1.8.22
3. [root@vvml-yz-hbase-test~]#clickhouse-client --password="123456" -n --query "select 1;select 2;"
4. 1
5. 2
6. [root@vvml-yz-hbase-test~]#

复制代码

二、导入示例数据集

1. 下载并提取表数据

1. curl https://datasets.clickhouse.com/hits/tsv/hits_v1.tsv.xz | unxz --threads=`nproc` > hits_v1.tsv
2. curl https://datasets.clickhouse.com/visits/tsv/visits_v1.tsv.xz | unxz --threads=`nproc` > visits_v1.tsv

复制代码

2. 创建库表

        创建 sample.sql 文件，内容如下（注意嵌套表定义）：

1. create database if not exists tutorial;
3. CREATE TABLE tutorial.hits_v1
4. (
5.     `WatchID` UInt64,
6.     `JavaEnable` UInt8,
7.     `Title` String,
8.     `GoodEvent` Int16,
9.     `EventTime` DateTime,
10.     `EventDate` Date,
11.     `CounterID` UInt32,
12.     `ClientIP` UInt32,
13.     `ClientIP6` FixedString(16),
14.     `RegionID` UInt32,
15.     `UserID` UInt64,
16.     `CounterClass` Int8,
17.     `OS` UInt8,
18.     `UserAgent` UInt8,
19.     `URL` String,
20.     `Referer` String,
21.     `URLDomain` String,
22.     `RefererDomain` String,
23.     `Refresh` UInt8,
24.     `IsRobot` UInt8,
25.     `RefererCategories` Array(UInt16),
26.     `URLCategories` Array(UInt16),
27.     `URLRegions` Array(UInt32),
28.     `RefererRegions` Array(UInt32),
29.     `ResolutionWidth` UInt16,
30.     `ResolutionHeight` UInt16,
31.     `ResolutionDepth` UInt8,
32.     `FlashMajor` UInt8,
33.     `FlashMinor` UInt8,
34.     `FlashMinor2` String,
35.     `NetMajor` UInt8,
36.     `NetMinor` UInt8,
37.     `UserAgentMajor` UInt16,
38.     `UserAgentMinor` FixedString(2),
39.     `CookieEnable` UInt8,
40.     `JavascriptEnable` UInt8,
41.     `IsMobile` UInt8,
42.     `MobilePhone` UInt8,
43.     `MobilePhoneModel` String,
44.     `Params` String,
45.     `IPNetworkID` UInt32,
46.     `TraficSourceID` Int8,
47.     `SearchEngineID` UInt16,
48.     `SearchPhrase` String,
49.     `AdvEngineID` UInt8,
50.     `IsArtifical` UInt8,
51.     `WindowClientWidth` UInt16,
52.     `WindowClientHeight` UInt16,
53.     `ClientTimeZone` Int16,
54.     `ClientEventTime` DateTime,
55.     `SilverlightVersion1` UInt8,
56.     `SilverlightVersion2` UInt8,
57.     `SilverlightVersion3` UInt32,
58.     `SilverlightVersion4` UInt16,
59.     `PageCharset` String,
60.     `CodeVersion` UInt32,
61.     `IsLink` UInt8,
62.     `IsDownload` UInt8,
63.     `IsNotBounce` UInt8,
64.     `FUniqID` UInt64,
65.     `HID` UInt32,
66.     `IsOldCounter` UInt8,
67.     `IsEvent` UInt8,
68.     `IsParameter` UInt8,
69.     `DontCountHits` UInt8,
70.     `WithHash` UInt8,
71.     `HitColor` FixedString(1),
72.     `UTCEventTime` DateTime,
73.     `Age` UInt8,
74.     `Sex` UInt8,
75.     `Income` UInt8,
76.     `Interests` UInt16,
77.     `Robotness` UInt8,
78.     `GeneralInterests` Array(UInt16),
79.     `RemoteIP` UInt32,
80.     `RemoteIP6` FixedString(16),
81.     `WindowName` Int32,
82.     `OpenerName` Int32,
83.     `HistoryLength` Int16,
84.     `BrowserLanguage` FixedString(2),
85.     `BrowserCountry` FixedString(2),
86.     `SocialNetwork` String,
87.     `SocialAction` String,
88.     `HTTPError` UInt16,
89.     `SendTiming` Int32,
90.     `DNSTiming` Int32,
91.     `ConnectTiming` Int32,
92.     `ResponseStartTiming` Int32,
93.     `ResponseEndTiming` Int32,
94.     `FetchTiming` Int32,
95.     `RedirectTiming` Int32,
96.     `DOMInteractiveTiming` Int32,
97.     `DOMContentLoadedTiming` Int32,
98.     `DOMCompleteTiming` Int32,
99.     `LoadEventStartTiming` Int32,
100.     `LoadEventEndTiming` Int32,
101.     `NSToDOMContentLoadedTiming` Int32,
102.     `FirstPaintTiming` Int32,
103.     `RedirectCount` Int8,
104.     `SocialSourceNetworkID` UInt8,
105.     `SocialSourcePage` String,
106.     `ParamPrice` Int64,
107.     `ParamOrderID` String,
108.     `ParamCurrency` FixedString(3),
109.     `ParamCurrencyID` UInt16,
110.     `GoalsReached` Array(UInt32),
111.     `OpenstatServiceName` String,
112.     `OpenstatCampaignID` String,
113.     `OpenstatAdID` String,
114.     `OpenstatSourceID` String,
115.     `UTMSource` String,
116.     `UTMMedium` String,
117.     `UTMCampaign` String,
118.     `UTMContent` String,
119.     `UTMTerm` String,
120.     `FromTag` String,
121.     `HasGCLID` UInt8,
122.     `RefererHash` UInt64,
123.     `URLHash` UInt64,
124.     `CLID` UInt32,
125.     `YCLID` UInt64,
126.     `ShareService` String,
127.     `ShareURL` String,
128.     `ShareTitle` String,
129.     `ParsedParams` Nested(
130.         Key1 String,
131.         Key2 String,
132.         Key3 String,
133.         Key4 String,
134.         Key5 String,
135.         ValueDouble Float64),
136.     `IslandID` FixedString(16),
137.     `RequestNum` UInt32,
138.     `RequestTry` UInt8
139. )
140. ENGINE = MergeTree()
141. PARTITION BY toYYYYMM(EventDate)
142. ORDER BY (CounterID, EventDate, intHash32(UserID))
143. SAMPLE BY intHash32(UserID);
145. CREATE TABLE tutorial.visits_v1
146. (
147.     `CounterID` UInt32,
148.     `StartDate` Date,
149.     `Sign` Int8,
150.     `IsNew` UInt8,
151.     `VisitID` UInt64,
152.     `UserID` UInt64,
153.     `StartTime` DateTime,
154.     `Duration` UInt32,
155.     `UTCStartTime` DateTime,
156.     `PageViews` Int32,
157.     `Hits` Int32,
158.     `IsBounce` UInt8,
159.     `Referer` String,
160.     `StartURL` String,
161.     `RefererDomain` String,
162.     `StartURLDomain` String,
163.     `EndURL` String,
164.     `LinkURL` String,
165.     `IsDownload` UInt8,
166.     `TraficSourceID` Int8,
167.     `SearchEngineID` UInt16,
168.     `SearchPhrase` String,
169.     `AdvEngineID` UInt8,
170.     `PlaceID` Int32,
171.     `RefererCategories` Array(UInt16),
172.     `URLCategories` Array(UInt16),
173.     `URLRegions` Array(UInt32),
174.     `RefererRegions` Array(UInt32),
175.     `IsYandex` UInt8,
176.     `GoalReachesDepth` Int32,
177.     `GoalReachesURL` Int32,
178.     `GoalReachesAny` Int32,
179.     `SocialSourceNetworkID` UInt8,
180.     `SocialSourcePage` String,
181.     `MobilePhoneModel` String,
182.     `ClientEventTime` DateTime,
183.     `RegionID` UInt32,
184.     `ClientIP` UInt32,
185.     `ClientIP6` FixedString(16),
186.     `RemoteIP` UInt32,
187.     `RemoteIP6` FixedString(16),
188.     `IPNetworkID` UInt32,
189.     `SilverlightVersion3` UInt32,
190.     `CodeVersion` UInt32,
191.     `ResolutionWidth` UInt16,
192.     `ResolutionHeight` UInt16,
193.     `UserAgentMajor` UInt16,
194.     `UserAgentMinor` UInt16,
195.     `WindowClientWidth` UInt16,
196.     `WindowClientHeight` UInt16,
197.     `SilverlightVersion2` UInt8,
198.     `SilverlightVersion4` UInt16,
199.     `FlashVersion3` UInt16,
200.     `FlashVersion4` UInt16,
201.     `ClientTimeZone` Int16,
202.     `OS` UInt8,
203.     `UserAgent` UInt8,
204.     `ResolutionDepth` UInt8,
205.     `FlashMajor` UInt8,
206.     `FlashMinor` UInt8,
207.     `NetMajor` UInt8,
208.     `NetMinor` UInt8,
209.     `MobilePhone` UInt8,
210.     `SilverlightVersion1` UInt8,
211.     `Age` UInt8,
212.     `Sex` UInt8,
213.     `Income` UInt8,
214.     `JavaEnable` UInt8,
215.     `CookieEnable` UInt8,
216.     `JavascriptEnable` UInt8,
217.     `IsMobile` UInt8,
218.     `BrowserLanguage` UInt16,
219.     `BrowserCountry` UInt16,
220.     `Interests` UInt16,
221.     `Robotness` UInt8,
222.     `GeneralInterests` Array(UInt16),
223.     `Params` Array(String),
224.     `Goals` Nested(
225.         ID UInt32,
226.         Serial UInt32,
227.         EventTime DateTime,
228.         Price Int64,
229.         OrderID String,
230.         CurrencyID UInt32),
231.     `WatchIDs` Array(UInt64),
232.     `ParamSumPrice` Int64,
233.     `ParamCurrency` FixedString(3),
234.     `ParamCurrencyID` UInt16,
235.     `ClickLogID` UInt64,
236.     `ClickEventID` Int32,
237.     `ClickGoodEvent` Int32,
238.     `ClickEventTime` DateTime,
239.     `ClickPriorityID` Int32,
240.     `ClickPhraseID` Int32,
241.     `ClickPageID` Int32,
242.     `ClickPlaceID` Int32,
243.     `ClickTypeID` Int32,
244.     `ClickResourceID` Int32,
245.     `ClickCost` UInt32,
246.     `ClickClientIP` UInt32,
247.     `ClickDomainID` UInt32,
248.     `ClickURL` String,
249.     `ClickAttempt` UInt8,
250.     `ClickOrderID` UInt32,
251.     `ClickBannerID` UInt32,
252.     `ClickMarketCategoryID` UInt32,
253.     `ClickMarketPP` UInt32,
254.     `ClickMarketCategoryName` String,
255.     `ClickMarketPPName` String,
256.     `ClickAWAPSCampaignName` String,
257.     `ClickPageName` String,
258.     `ClickTargetType` UInt16,
259.     `ClickTargetPhraseID` UInt64,
260.     `ClickContextType` UInt8,
261.     `ClickSelectType` Int8,
262.     `ClickOptions` String,
263.     `ClickGroupBannerID` Int32,
264.     `OpenstatServiceName` String,
265.     `OpenstatCampaignID` String,
266.     `OpenstatAdID` String,
267.     `OpenstatSourceID` String,
268.     `UTMSource` String,
269.     `UTMMedium` String,
270.     `UTMCampaign` String,
271.     `UTMContent` String,
272.     `UTMTerm` String,
273.     `FromTag` String,
274.     `HasGCLID` UInt8,
275.     `FirstVisit` DateTime,
276.     `PredLastVisit` Date,
277.     `LastVisit` Date,
278.     `TotalVisits` UInt32,
279.     `TraficSource` Nested(
280.         ID Int8,
281.         SearchEngineID UInt16,
282.         AdvEngineID UInt8,
283.         PlaceID UInt16,
284.         SocialSourceNetworkID UInt8,
285.         Domain String,
286.         SearchPhrase String,
287.         SocialSourcePage String),
288.     `Attendance` FixedString(16),
289.     `CLID` UInt32,
290.     `YCLID` UInt64,
291.     `NormalizedRefererHash` UInt64,
292.     `SearchPhraseHash` UInt64,
293.     `RefererDomainHash` UInt64,
294.     `NormalizedStartURLHash` UInt64,
295.     `StartURLDomainHash` UInt64,
296.     `NormalizedEndURLHash` UInt64,
297.     `TopLevelDomain` UInt64,
298.     `URLScheme` UInt64,
299.     `OpenstatServiceNameHash` UInt64,
300.     `OpenstatCampaignIDHash` UInt64,
301.     `OpenstatAdIDHash` UInt64,
302.     `OpenstatSourceIDHash` UInt64,
303.     `UTMSourceHash` UInt64,
304.     `UTMMediumHash` UInt64,
305.     `UTMCampaignHash` UInt64,
306.     `UTMContentHash` UInt64,
307.     `UTMTermHash` UInt64,
308.     `FromHash` UInt64,
309.     `WebVisorEnabled` UInt8,
310.     `WebVisorActivity` UInt32,
311.     `ParsedParams` Nested(
312.         Key1 String,
313.         Key2 String,
314.         Key3 String,
315.         Key4 String,
316.         Key5 String,
317.         ValueDouble Float64),
318.     `Market` Nested(
319.         Type UInt8,
320.         GoalID UInt32,
321.         OrderID String,
322.         OrderPrice Int64,
323.         PP UInt32,
324.         DirectPlaceID UInt32,
325.         DirectOrderID UInt32,
326.         DirectBannerID UInt32,
327.         GoodID String,
328.         GoodName String,
329.         GoodQuantity Int32,
330.         GoodPrice Int64),
331.     `IslandID` FixedString(16)
332. )
333. ENGINE = CollapsingMergeTree(Sign)
334. PARTITION BY toYYYYMM(StartDate)
335. ORDER BY (CounterID, StartDate, intHash32(UserID), VisitID)
336. SAMPLE BY intHash32(UserID);

复制代码

        实行 sample.sql 文件：

1. clickhouse-client --password="123456" --queries-file sample.sql

复制代码

3. 导入数据

1. clickhouse-client --password="123456" --query "INSERT INTO tutorial.hits_v1 FORMAT TSV" --max_insert_block_size=100000 < hits_v1.tsv
2. clickhouse-client --password="123456" --query "INSERT INTO tutorial.visits_v1 FORMAT TSV" --max_insert_block_size=100000 < visits_v1.tsv

复制代码

        找出可用的设置、寄义及其默认值的最简朴方法是查询 system.settings 表:

1. vvml-yz-hbase-test.172.18.4.126 :) select name, value, changed, description
2.   from system.settings
3.  where name like '%max_insert_b%';
5. SELECT
6.     name,
7.     value,
8.     changed,
9.     description
10. FROM system.settings
11. WHERE name LIKE '%max_insert_b%'
13. Query id: 05bc6241-2d1f-432e-87b3-f35a3ad612c8
15. ┌─name──────────────────┬─value───┬─changed─┬─description───────────────────────────────────────────────────────────────────────────────┐
16. │ max_insert_block_size │ 1048449 │       0 │ The maximum block size for insertion, if we control the creation of blocks for insertion. │
17. └───────────────────────┴─────────┴─────────┴───────────────────────────────────────────────────────────────────────────────────────────┘
19. 1 row in set. Elapsed: 0.002 sec. 
21. vvml-yz-hbase-test.172.18.4.126 :) 

复制代码

4. 优化表

        可以 OPTIMIZE 导入后的表。使用 MergeTree-family 引擎设置的表总是在后台归并数据部分以优化数据存储（或至少查抄是否故意义）。这些查询强制表引擎立刻举行存储优化（较慢，审慎手工实行）：

1. clickhouse-client --password="123456" --query "OPTIMIZE TABLE tutorial.hits_v1 FINAL"
2. clickhouse-client --password="123456" --query "OPTIMIZE TABLE tutorial.visits_v1 FINAL"

复制代码

5. 查询示例

1. vvml-yz-hbase-test.172.18.4.126 :) SELECT
2.     StartURL AS URL,
3.     AVG(Duration) AS AvgDuration
4. FROM tutorial.visits_v1
5. WHERE StartDate BETWEEN '2014-03-23' AND '2014-03-30'
6. GROUP BY URL
7. ORDER BY AvgDuration DESC
8. LIMIT 10;
10. SELECT
11.     StartURL AS URL,
12.     AVG(Duration) AS AvgDuration
13. FROM tutorial.visits_v1
14. WHERE (StartDate >= '2014-03-23') AND (StartDate <= '2014-03-30')
15. GROUP BY URL
16. ORDER BY AvgDuration DESC
17. LIMIT 10
19. Query id: fc2e8638-5081-496a-964b-a679eab63af9
21. ┌─URL─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─AvgDuration─┐
22. │ http://itpalanija-pri-patrivative=0&ads_app_user                                                                                                                                                │       60127 │
23. │ http://renaul-myd-ukraine                                                                                                                                                                       │       58938 │
24. │ http://karta/Futbol/dynamo.kiev.ua/kawaica.su/648                                                                                                                                               │       56538 │
25. │ https://moda/vyikroforum1/top.ru/moscow/delo-product/trend_sms/multitryaset/news/2014/03/201000                                                                                                 │       55218 │
26. │ http://e.mail=on&default?abid=2061&scd=yes&option?r=city_inter.com/menu&site-zaferio.ru/c/m.ensor.net/ru/login=false&orderStage.php?Brandidatamalystyle/20Mar2014%2F007%2F94dc8d2e06e56ed56bbdd │       51378 │
27. │ http://karta/Futbol/dynas.com/haberler.ru/messages.yandsearchives/494503_lte_13800200319                                                                                                        │       49078 │
28. │ http://xmusic/vstreatings of speeds                                                                                                                                                             │       36925 │
29. │ http://news.ru/yandex.ru/api.php&api=http://toberria.ru/aphorizana                                                                                                                              │       36902 │
30. │ http://bashmelnykh-metode.net/video/#!/video/emberkas.ru/detskij-yazi.com/iframe/default.aspx?id=760928&noreask=1&source                                                                        │       34323 │
31. │ http://censonhaber/547-popalientLog=0&strizhki-petro%3D&comeback=search?lr=213&text                                                                                                             │       31773 │
32. └─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────┘
34. 10 rows in set. Elapsed: 0.080 sec. Processed 1.43 million rows, 112.12 MB (17.91 million rows/s., 1.40 GB/s.)
35. Peak memory usage: 45.07 MiB.
37. vvml-yz-hbase-test.172.18.4.126 :) SELECT
38.     sum(Sign) AS visits,
39.     sumIf(Sign, has(Goals.ID, 1105530)) AS goal_visits,
40.     (100. * goal_visits) / visits AS goal_percent
41. FROM tutorial.visits_v1
42. WHERE (CounterID = 912887) AND (toYYYYMM(StartDate) = 201403) AND (domain(StartURL) = 'yandex.ru');
44. SELECT
45.     sum(Sign) AS visits,
46.     sumIf(Sign, has(Goals.ID, 1105530)) AS goal_visits,
47.     (100. * goal_visits) / visits AS goal_percent
48. FROM tutorial.visits_v1
49. WHERE (CounterID = 912887) AND (toYYYYMM(StartDate) = 201403) AND (domain(StartURL) = 'yandex.ru')
51. Query id: 02df86cc-ef97-4cec-9892-6ba92dc87d2c
53. ┌─visits─┬─goal_visits─┬──────goal_percent─┐
54. │  10543 │        8553 │ 81.12491700654462 │
55. └────────┴─────────────┴───────────────────┘
57. 1 row in set. Elapsed: 0.014 sec. Processed 19.72 thousand rows, 3.45 MB (1.46 million rows/s., 255.24 MB/s.)
58. Peak memory usage: 5.01 MiB.
60. vvml-yz-hbase-test.172.18.4.126 :) 

复制代码

三、集群摆设

        本次摆设使用四台主机，构建两个分片，每个分片两个副本的 ClickHouse 集群，IP 和主机名如下：

1. 172.18.4.126    node1
2. 172.18.4.188    node2
3. 172.18.4.71    node3
4. 172.18.4.86    node4

复制代码

        注意，ClickHouse 要求每个分片的每个副本必须设置在单独的实例上，也就是说在整个集群范围内，一共有多少个副本，就必要创建多少个 ClickHouse 实例。最佳实践是3分片2副本6实例。
        ClickHouse 推荐使用 ClickHouse Keeper 替换 Zookeeper（https://clickhouse.com/docs/knowledgebase/why_recommend_clickhouse_keeper_over_zookeeper）。
        下面使用 ClickHouse Keeper 设置 ClickHouse 集群。具体利用步骤参考 ClickHouse Keeper 用户指南（https://clickhouse.com/docs/en/guides/sre/keeper/clickhouse-keeper#clickhouse-keeper-user-guide）。
        ClickHouse 服务器中捆绑了 clickhouse-keeper。如果已经安装服务器，则无法单独安装 clickhouse-keeper，会收到冲突错误：

1. [root@vvml-yz-hbase-test~]#rpm -ivh clickhouse-keeper-24.1.8.22.x86_64.rpm 
2. error: Failed dependencies:
3.     clickhouse-server conflicts with clickhouse-keeper-0:24.1.8.22-1.x86_64
4. [root@vvml-yz-hbase-test~]#

复制代码

        但如果有仅用作 clickhouse-keeper 的服务器，则仅可以单独安装 clickhouse-keeper。

1. # 查看版本
2. https://github.com/ClickHouse/ClickHouse/releases
4. # 最新稳定版本安装包下载地址
5. https://github.com/ClickHouse/ClickHouse/releases/download/v24.1.8.22-stable/clickhouse-keeper-24.1.8.22.x86_64.rpm

复制代码

        本次摆设在每个主机安装 clickhouse-server，而不但独安装 clickhouse-keeper。分片、副本、keeper规划如下：

1. node1    分片1副本1    keeper
2. node2    分片1副本2    keeper
3. node3    分片2副本1    keeper
4. node4    分片2副本2

复制代码

        四台主机都作为数据分片，每个数据分片有两个副本。keeper 摆设到三个实例上，奇数实例用于实现 ClickHouse Keeper 中要求的票选数。
0. 安装前准备

        在设置 ClickHouse 集群前，必要在全部四台机器上完成以下准备工作：

• 启动 NTP 时钟同步
  
• /etc/hosts 文件中添加构成集群的所有主机名
  
• 设置所有主机间 ssh 免密
  
• 修改用户可打开文件数与进程数
  
• 禁用防火墙
  
• 禁用 transparent hugepage
  

1. 安装设置 ClickHouse Keeper

        在 node1、node2、node3 三台主机上实行下面的利用步骤。
（1）安装 ClickHouse Server 和 ClickHouse Client

1. rpm -ivh clickhouse-common-static-24.1.8.22.x86_64.rpm
2. rpm -ivh clickhouse-server-24.1.8.22.x86_64.rpm
3. rpm -ivh clickhouse-client-24.1.8.22.x86_64.rpm

复制代码

（2）修改 ClickHouse 主设置文件 

1. # 修改前先备份
2. cp /etc/clickhouse-server/config.xml /etc/clickhouse-server/config.xml.bak

复制代码

        修改 /etc/clickhouse-server/config.xml 主设置文件，在根节点 <clickhouse> 下添加以下内容：

1. <!-- 添加以下条目以允许通过网络接口进行外部通信。 -->
2. <listen_host>0.0.0.0</listen_host>
4. <!-- 指定实例启用 ClickHouse Keeper。更新每台服务器的＜server_id＞设置，node1为1、node2为2、node3为3。-->
5. <keeper_server>
6.     <tcp_port>9181</tcp_port>
7.     <server_id>1</server_id>
8.     <log_storage_path>/var/lib/clickhouse/coordination/log</log_storage_path>
9.     <snapshot_storage_path>/var/lib/clickhouse/coordination/snapshots</snapshot_storage_path>
11.     <coordination_settings>
12.         <operation_timeout_ms>10000</operation_timeout_ms>
13.         <session_timeout_ms>30000</session_timeout_ms>
14.         <raft_logs_level>warning</raft_logs_level>
15.     </coordination_settings>
17.     <raft_configuration>
18.         <server>
19.             <id>1</id>
20.             <hostname>node1</hostname>
21.             <port>9234</port>
22.         </server>
23.         <server>
24.             <id>2</id>
25.             <hostname>node2</hostname>
26.             <port>9234</port>
27.         </server>
28.         <server>
29.             <id>3</id>
30.             <hostname>node3</hostname>
31.             <port>9234</port>
32.         </server>
33.     </raft_configuration>
34. </keeper_server>
36. <!-- 指定实例所使用的 ClickHouse Keeper -->
37. <zookeeper>
38.     <node>
39.         <host>node1</host>
40.         <port>9181</port>
41.     </node>
42.     <node>
43.         <host>node2</host>
44.         <port>9181</port>
45.     </node>
46.     <node>
47.         <host>node3</host>
48.         <port>9181</port>
49.     </node>
50. </zookeeper>

复制代码

（3）重启 ClickHouse

1. sudo service clickhouse-server restart

复制代码

（4）验证 Keeper 实例是否正在运行

        在 node1、node2、node3 上实行下面的下令，如果 Keeper 运行正常，ruok 下令将返回 imok：

1. [root@vvml-yz-hbase-test~]#echo ruok | nc localhost 9181; echo
2. imok
3. [root@vvml-yz-hbase-test~]#

复制代码

（5）确认 zookeeper 体系表

        体系数据库有一个名为 zookeeper 的表，其中包罗 ClickHouse Keeper 实例的详细信息：

1. [root@vvml-yz-hbase-test~]#clickhouse-client --password="123456"
2. ClickHouse client version 24.1.8.22 (official build).
3. Connecting to localhost:9000 as user default.
4. Connected to ClickHouse server version 24.1.8.
6. vvml-yz-hbase-test.172.18.4.126 :) SELECT *
7. FROM system.zookeeper
8. WHERE path IN ('/', '/clickhouse');
10. SELECT *
11. FROM system.zookeeper
12. WHERE path IN ('/', '/clickhouse')
14. Query id: e713c446-26c5-4c3f-994c-db22eb68b9ad
16. ┌─name───────┬─value─┬─path────────┐
17. │ keeper     │       │ /           │
18. │ clickhouse │       │ /           │
19. │ task_queue │       │ /clickhouse │
20. │ sessions   │       │ /clickhouse │
21. └────────────┴───────┴─────────────┘
23. 4 rows in set. Elapsed: 0.002 sec. 
25. vvml-yz-hbase-test.172.18.4.126 :) 

复制代码

2. 设置 ClickHouse 集群

（1）在新主机（node4）上安装 ClickHouse Server 和 ClickHouse Client

1. rpm -ivh clickhouse-common-static-24.1.8.22.x86_64.rpm
2. rpm -ivh clickhouse-server-24.1.8.22.x86_64.rpm
3. rpm -ivh clickhouse-client-24.1.8.22.x86_64.rpm

复制代码

（2）修改新主机（node4）上的设置文件

1. # 修改前先备份
2. cp /etc/clickhouse-server/config.xml /etc/clickhouse-server/config.xml.bak

复制代码

        修改 /etc/clickhouse-server/config.xml 主设置文件，在根节点 <clickhouse> 下添加以下内容：

1. <!-- 添加以下条目以允许通过网络接口进行外部通信。 -->
2. <listen_host>0.0.0.0</listen_host>
4. <!-- 指定实例所使用的 ClickHouse Keeper -->
5. <zookeeper>
6.     <node>
7.         <host>node1</host>
8.         <port>9181</port>
9.     </node>
10.     <node>
11.         <host>node2</host>
12.         <port>9181</port>
13.     </node>
14.     <node>
15.         <host>node3</host>
16.         <port>9181</port>
17.     </node>
18. </zookeeper>

复制代码

        然后在全部四台主机上实行下面的利用步骤。
（3）更新设置

        修改 /etc/clickhouse-server/config.xml 主设置文件，在根节点 <clickhouse> 下添加以下内容：

1.     <remote_servers>
2.         <cluster_2S_2R>
3.             <shard>
4.                 <replica>
5.                     <host>node1</host>
6.                     <port>9000</port>
7.                     <user>default</user>
8.                     <password>123456</password>
9.                 </replica>
10.                 <replica>
11.                     <host>node2</host>
12.                     <port>9000</port>
13.                     <user>default</user>
14.                     <password>123456</password>
15.                 </replica>
16.             </shard>
17.             <shard>
18.                 <replica>
19.                     <host>node3</host>
20.                     <port>9000</port>
21.                     <user>default</user>
22.                     <password>123456</password>
23.                 </replica>
24.                 <replica>
25.                     <host>node4</host>
26.                     <port>9000</port>
27.                     <user>default</user>
28.                     <password>123456</password>
29.                 </replica>
30.             </shard>
31.         </cluster_2S_2R>
32.     </remote_servers>

复制代码

（4）重启 ClickHouse 并验证集群已创建

1. sudo service clickhouse-server restart

复制代码

        查看集群：

1. [root@vvml-yz-hbase-test~]#clickhouse-client --password="123456"
2. ClickHouse client version 24.1.8.22 (official build).
3. Connecting to localhost:9000 as user default.
4. Connected to ClickHouse server version 24.1.8.
6. vvml-yz-hbase-test.172.18.4.126 :) SHOW CLUSTERS;
8. SHOW CLUSTERS
10. Query id: 80e81978-d1f4-4721-85d8-7e7803230373
12. ┌─cluster───────┐
13. │ cluster_2S_2R │
14. └───────────────┘
16. 1 row in set. Elapsed: 0.001 sec. 
18. vvml-yz-hbase-test.172.18.4.126 :) select cluster,shard_num,replica_num,host_name,is_local,user,database_shard_name,database_replica_name from system.clusters;
20. SELECT
21.     cluster,
22.     shard_num,
23.     replica_num,
24.     host_name,
25.     is_local,
26.     user,
27.     database_shard_name,
28.     database_replica_name
29. FROM system.clusters
31. Query id: 4b39d9ec-b4f7-4557-b76d-05f3893f4ef7
33. ┌─cluster───────┬─shard_num─┬─replica_num─┬─host_name─┬─is_local─┬─user────┬─database_shard_name─┬─database_replica_name─┐
34. │ cluster_2S_2R │         1 │           1 │ node1     │        1 │ default │                     │                       │
35. │ cluster_2S_2R │         1 │           2 │ node2     │        0 │ default │                     │                       │
36. │ cluster_2S_2R │         2 │           1 │ node3     │        0 │ default │                     │                       │
37. │ cluster_2S_2R │         2 │           2 │ node4     │        0 │ default │                     │                       │
38. └───────────────┴───────────┴─────────────┴───────────┴──────────┴─────────┴─────────────────────┴───────────────────────┘
40. 4 rows in set. Elapsed: 0.001 sec. 
42. vvml-yz-hbase-test.172.18.4.126 :) 

复制代码

3. 创建分布式表

（1）创建数据库

        使用 node1 上创建一个数据库。ON CLUSTER子句会自动在所有实例上创建数据库。

1. vvml-yz-hbase-test.172.18.4.126 :) CREATE DATABASE db1 ON CLUSTER 'cluster_2S_2R';
3. CREATE DATABASE db1 ON CLUSTER cluster_2S_2R
5. Query id: 7a8cd789-bcfb-4855-a131-ba7935cffcfb
7. ┌─host──┬─port─┬─status─┬─error─┬─num_hosts_remaining─┬─num_hosts_active─┐
8. │ node1 │ 9000 │      0 │       │                   3 │                0 │
9. │ node3 │ 9000 │      0 │       │                   2 │                0 │
10. │ node4 │ 9000 │      0 │       │                   1 │                0 │
11. │ node2 │ 9000 │      0 │       │                   0 │                0 │
12. └───────┴──────┴────────┴───────┴─────────────────────┴──────────────────┘
14. 4 rows in set. Elapsed: 0.099 sec. 
16. vvml-yz-hbase-test.172.18.4.126 :)

复制代码

（2）创建当地表

        在 db1 库中建表，同样，ON CLUSTER 子句会自动在所有实例上建表。

1. vvml-yz-hbase-test.172.18.4.126 :) CREATE TABLE db1.table1 on cluster 'cluster_2S_2R'
2. (
3.     `id` UInt64,
4.     `column1` String
5. )
6. ENGINE = MergeTree
7. ORDER BY column1;
9. CREATE TABLE db1.table1 ON CLUSTER cluster_2S_2R
10. (
11.     `id` UInt64,
12.     `column1` String
13. )
14. ENGINE = MergeTree
15. ORDER BY column1
17. Query id: abb936ad-3618-4821-92f6-cfaa83fb4d51
19. ┌─host──┬─port─┬─status─┬─error─┬─num_hosts_remaining─┬─num_hosts_active─┐
20. │ node3 │ 9000 │      0 │       │                   3 │                2 │
21. │ node1 │ 9000 │      0 │       │                   2 │                2 │
22. └───────┴──────┴────────┴───────┴─────────────────────┴──────────────────┘
23. ┌─host──┬─port─┬─status─┬─error─┬─num_hosts_remaining─┬─num_hosts_active─┐
24. │ node4 │ 9000 │      0 │       │                   1 │                0 │
25. │ node2 │ 9000 │      0 │       │                   0 │                0 │
26. └───────┴──────┴────────┴───────┴─────────────────────┴──────────────────┘
28. 4 rows in set. Elapsed: 0.158 sec. 
30. vvml-yz-hbase-test.172.18.4.126 :)

复制代码

（3）在一个分片实例上（node1）新增两行

1. vvml-yz-hbase-test.172.18.4.126 :) INSERT INTO db1.table1
2.     (id, column1)
3. VALUES
4.     (1, 'abc'),
5.     (2, 'def');
7. INSERT INTO db1.table1 (id, column1) FORMAT Values
9. Query id: 959da99c-c473-4c3a-9381-fa65b447161c
11. Ok.
13. 2 rows in set. Elapsed: 0.002 sec. 
15. vvml-yz-hbase-test.172.18.4.126 :) 

复制代码

（4）在另一个分片实例上（node3）新增两行

1. vvml-yz-hbase-test.172.18.4.71 :) INSERT INTO db1.table1
2.     (id, column1)
3. VALUES
4.     (3, 'ghi'),
5.     (4, 'jkl');
7. INSERT INTO db1.table1 (id, column1) FORMAT Values
9. Query id: c8864197-ec82-4aba-8c2e-aaa2af468553
11. Ok.
13. 2 rows in set. Elapsed: 0.002 sec. 
15. vvml-yz-hbase-test.172.18.4.71 :)

复制代码

（5）在所有实例上分别实行 SELECT 查询

        node1、node3 上查询效果体现该当地实例上的两行数据：

1. # node1
2. vvml-yz-hbase-test.172.18.4.126 :) SELECT *
3. FROM db1.table1;
5. SELECT *
6. FROM db1.table1
8. Query id: 2f2fc679-9091-41ae-967b-4bd8e2ec7311
10. ┌─id─┬─column1─┐
11. │  1 │ abc     │
12. │  2 │ def     │
13. └────┴─────────┘
15. 2 rows in set. Elapsed: 0.001 sec. 
17. vvml-yz-hbase-test.172.18.4.126 :) 
19. # node3
20. vvml-yz-hbase-test.172.18.4.71 :) SELECT *
21. FROM db1.table1;
23. SELECT *
24. FROM db1.table1
26. Query id: 18843522-c678-45f0-901d-73e1bbfd4dbf
28. ┌─id─┬─column1─┐
29. │  3 │ ghi     │
30. │  4 │ jkl     │
31. └────┴─────────┘
33. 2 rows in set. Elapsed: 0.002 sec. 
35. vvml-yz-hbase-test.172.18.4.71 :) 

复制代码

        node2、node4 上查不到数据，阐明写入当地表并没有复制到其副本。
（6）创建分布式表

        可以创建一个分布式表来表示两个分片上的数据。具有分布式表引擎的表不存储自己的任何数据，而是允许在多个服务器上举行分布式查询处理。读取掷中所有分片，写入可以分布在分片之间。在任一实例上创建分布式表：

1. vvml-yz-hbase-test.172.18.4.126 :) CREATE TABLE db1.dist_table ON CLUSTER 'cluster_2S_2R'
2. (
3.     id UInt64,
4.     column1 String
5. )
6. ENGINE = Distributed(cluster_2S_2R,db1,table1);
8. CREATE TABLE db1.dist_table ON CLUSTER cluster_2S_2R
9. (
10.     `id` UInt64,
11.     `column1` String
12. )
13. ENGINE = Distributed(cluster_2S_2R, db1, table1)
15. Query id: 7c08e756-90cf-4014-9368-dc41fe7d06f4
17. ┌─host──┬─port─┬─status─┬─error─┬─num_hosts_remaining─┬─num_hosts_active─┐
18. │ node4 │ 9000 │      0 │       │                   3 │                0 │
19. │ node2 │ 9000 │      0 │       │                   2 │                0 │
20. │ node1 │ 9000 │      0 │       │                   1 │                0 │
21. │ node3 │ 9000 │      0 │       │                   0 │                0 │
22. └───────┴──────┴────────┴───────┴─────────────────────┴──────────────────┘
24. 4 rows in set. Elapsed: 0.095 sec. 
26. vvml-yz-hbase-test.172.18.4.126 :)

复制代码

（7）在所有实例上分别实行 SELECT 查询

        所有实例上都创建了 db1.dist_table 表，但是 SELECT *
FROM db1.dist_table 查询效果却出乎意料。预想在所有实例上查询的效果相同，都返回两个分片中的所有四行数据，而现实四个实例返回的效果是不确定的：node1 偶然返回全部4行，偶然只返回前两行；node3 偶然返回全部4行，偶然只返回后两行；node2 偶然返回后两行，偶然不返回数据；node4 偶然返回前两行，偶然不返回数据。
        阐明：

• ClickHouse 集群是一种对等架构，在一个集群里每个 ClickHouse 实例都是独立的，即使是同一个分片内的不同副本实例间，也是没有主从概念。
  
• 在集群中任何一个实例上实行的 DDL 语句中使用 ON CLUSTER 子句，会自动在集群中的所有实例上实行。
  
• 分布式体现实上是一种视图，映射到 ClickHouse 集群实例上的当地表。从分布式表中实行 SELECT 查询会使用集群所有相干分片的资源。
  
• 底层当地表如果使用 MergeTree 表引擎，在分布式表上实行同一查询，返回效果有大概不确定。
  

4. 数据自动分片

        首先想到的是如果在分布式表上能够实行 DML 语句，就应该可以到达数据自动分片的效果。

1. vvml-yz-hbase-test.172.18.4.126 :) insert into db1.dist_table
2.     (id, column1)
3. values
4.     (5, 'mno'),
5.     (6, 'pqr');
7. INSERT INTO db1.dist_table (id, column1) FORMAT Values
9. Query id: 78b4cc88-9b13-4078-a3f0-d405f4338cfb
12. Elapsed: 0.002 sec. 
14. Received exception from server (version 24.1.8):
15. Code: 55. DB::Exception: Received from localhost:9000. DB::Exception: Method write is not supported by storage Distributed with more than one shard and no sharding key provided. (STORAGE_REQUIRES_PARAMETER)
17. vvml-yz-hbase-test.172.18.4.126 :)

复制代码

        报错明确指出，当数据存储分布在多于一个的分片上，而且没有提供分片键时，分布式表不支持写入。为了进一步演示，下面使用和创建 hits_v1 表雷同的 CREATE TABLE 语句创建一个新的当地表，有三点不同：

• 库名不同。
  
• 表名不同。
  
• 使用 ON CLUSTER 子句。
  

（1）创建带有分片键的当地表

        在任一实例上实行下面的建表语句：

1. CREATE TABLE db1.hits_local ON CLUSTER 'cluster_2S_2R'
2. (
3.     `WatchID` UInt64,
4.     `JavaEnable` UInt8,
5.     `Title` String,
6.     `GoodEvent` Int16,
7.     `EventTime` DateTime,
8.     `EventDate` Date,
9.     `CounterID` UInt32,
10.     `ClientIP` UInt32,
11.     `ClientIP6` FixedString(16),
12.     `RegionID` UInt32,
13.     `UserID` UInt64,
14.     `CounterClass` Int8,
15.     `OS` UInt8,
16.     `UserAgent` UInt8,
17.     `URL` String,
18.     `Referer` String,
19.     `URLDomain` String,
20.     `RefererDomain` String,
21.     `Refresh` UInt8,
22.     `IsRobot` UInt8,
23.     `RefererCategories` Array(UInt16),
24.     `URLCategories` Array(UInt16),
25.     `URLRegions` Array(UInt32),
26.     `RefererRegions` Array(UInt32),
27.     `ResolutionWidth` UInt16,
28.     `ResolutionHeight` UInt16,
29.     `ResolutionDepth` UInt8,
30.     `FlashMajor` UInt8,
31.     `FlashMinor` UInt8,
32.     `FlashMinor2` String,
33.     `NetMajor` UInt8,
34.     `NetMinor` UInt8,
35.     `UserAgentMajor` UInt16,
36.     `UserAgentMinor` FixedString(2),
37.     `CookieEnable` UInt8,
38.     `JavascriptEnable` UInt8,
39.     `IsMobile` UInt8,
40.     `MobilePhone` UInt8,
41.     `MobilePhoneModel` String,
42.     `Params` String,
43.     `IPNetworkID` UInt32,
44.     `TraficSourceID` Int8,
45.     `SearchEngineID` UInt16,
46.     `SearchPhrase` String,
47.     `AdvEngineID` UInt8,
48.     `IsArtifical` UInt8,
49.     `WindowClientWidth` UInt16,
50.     `WindowClientHeight` UInt16,
51.     `ClientTimeZone` Int16,
52.     `ClientEventTime` DateTime,
53.     `SilverlightVersion1` UInt8,
54.     `SilverlightVersion2` UInt8,
55.     `SilverlightVersion3` UInt32,
56.     `SilverlightVersion4` UInt16,
57.     `PageCharset` String,
58.     `CodeVersion` UInt32,
59.     `IsLink` UInt8,
60.     `IsDownload` UInt8,
61.     `IsNotBounce` UInt8,
62.     `FUniqID` UInt64,
63.     `HID` UInt32,
64.     `IsOldCounter` UInt8,
65.     `IsEvent` UInt8,
66.     `IsParameter` UInt8,
67.     `DontCountHits` UInt8,
68.     `WithHash` UInt8,
69.     `HitColor` FixedString(1),
70.     `UTCEventTime` DateTime,
71.     `Age` UInt8,
72.     `Sex` UInt8,
73.     `Income` UInt8,
74.     `Interests` UInt16,
75.     `Robotness` UInt8,
76.     `GeneralInterests` Array(UInt16),
77.     `RemoteIP` UInt32,
78.     `RemoteIP6` FixedString(16),
79.     `WindowName` Int32,
80.     `OpenerName` Int32,
81.     `HistoryLength` Int16,
82.     `BrowserLanguage` FixedString(2),
83.     `BrowserCountry` FixedString(2),
84.     `SocialNetwork` String,
85.     `SocialAction` String,
86.     `HTTPError` UInt16,
87.     `SendTiming` Int32,
88.     `DNSTiming` Int32,
89.     `ConnectTiming` Int32,
90.     `ResponseStartTiming` Int32,
91.     `ResponseEndTiming` Int32,
92.     `FetchTiming` Int32,
93.     `RedirectTiming` Int32,
94.     `DOMInteractiveTiming` Int32,
95.     `DOMContentLoadedTiming` Int32,
96.     `DOMCompleteTiming` Int32,
97.     `LoadEventStartTiming` Int32,
98.     `LoadEventEndTiming` Int32,
99.     `NSToDOMContentLoadedTiming` Int32,
100.     `FirstPaintTiming` Int32,
101.     `RedirectCount` Int8,
102.     `SocialSourceNetworkID` UInt8,
103.     `SocialSourcePage` String,
104.     `ParamPrice` Int64,
105.     `ParamOrderID` String,
106.     `ParamCurrency` FixedString(3),
107.     `ParamCurrencyID` UInt16,
108.     `GoalsReached` Array(UInt32),
109.     `OpenstatServiceName` String,
110.     `OpenstatCampaignID` String,
111.     `OpenstatAdID` String,
112.     `OpenstatSourceID` String,
113.     `UTMSource` String,
114.     `UTMMedium` String,
115.     `UTMCampaign` String,
116.     `UTMContent` String,
117.     `UTMTerm` String,
118.     `FromTag` String,
119.     `HasGCLID` UInt8,
120.     `RefererHash` UInt64,
121.     `URLHash` UInt64,
122.     `CLID` UInt32,
123.     `YCLID` UInt64,
124.     `ShareService` String,
125.     `ShareURL` String,
126.     `ShareTitle` String,
127.     `ParsedParams` Nested(
128.         Key1 String,
129.         Key2 String,
130.         Key3 String,
131.         Key4 String,
132.         Key5 String,
133.         ValueDouble Float64),
134.     `IslandID` FixedString(16),
135.     `RequestNum` UInt32,
136.     `RequestTry` UInt8
137. )
138. ENGINE = MergeTree()
139. PARTITION BY toYYYYMM(EventDate)
140. ORDER BY (CounterID, EventDate, intHash32(UserID))
141. SAMPLE BY intHash32(UserID);

复制代码

（2）创建提供集群当地表视图的分布式表

        在任一实例上实行下面的建表语句：

1. CREATE TABLE db1.hits_all ON CLUSTER 'cluster_2S_2R'
2. AS db1.hits_local
3. ENGINE = Distributed(cluster_2S_2R, db1, hits_local, rand());

复制代码

（3）向分布式表中插入数据

        在任一实例上实行下面的 insert 语句：

1. INSERT INTO db1.hits_all SELECT * FROM tutorial.hits_v1;

复制代码

（4）在所有实例上分别实行 SELECT 查询

1. # node1
2. vvml-yz-hbase-test.172.18.4.126 :) select count(*) from db1.hits_local;
4. SELECT count(*)
5. FROM db1.hits_local
7. Query id: 10a10594-dad1-4693-96fa-a27e62256cc0
9. ┌─count()─┐
10. │ 4437894 │
11. └─────────┘
13. 1 row in set. Elapsed: 0.002 sec. 
15. vvml-yz-hbase-test.172.18.4.126 :) select count(*) from db1.hits_all;
17. SELECT count(*)
18. FROM db1.hits_all
20. Query id: 4d825459-19fa-4f68-9326-cf6a9b7e113a
22. ┌─count()─┐
23. │ 8873898 │
24. └─────────┘
26. 1 row in set. Elapsed: 0.006 sec. 
28. vvml-yz-hbase-test.172.18.4.126 :) 
30. # node2
31. vvml-yz-hbase-test.172.18.4.188 :) select count(*) from db1.hits_local;
33. SELECT count(*)
34. FROM db1.hits_local
36. Query id: 7da679f4-4f0f-42e5-8c78-df6c9814c61f
38. ┌─count()─┐
39. │ 4437894 │
40. └─────────┘
42. 1 row in set. Elapsed: 0.003 sec. 
44. vvml-yz-hbase-test.172.18.4.188 :) select count(*) from db1.hits_all;
46. SELECT count(*)
47. FROM db1.hits_all
49. Query id: 29594d92-e38e-473a-bc91-7a5fb37e0647
51. ┌─count()─┐
52. │ 8873898 │
53. └─────────┘
55. 1 row in set. Elapsed: 0.005 sec. 
57. vvml-yz-hbase-test.172.18.4.188 :) 
59. # node3
60. vvml-yz-hbase-test.172.18.4.71 :) select count(*) from db1.hits_local;
62. SELECT count(*)
63. FROM db1.hits_local
65. Query id: 2e5a0fca-9b13-4c4e-8cb9-f9ee60da6152
67. ┌─count()─┐
68. │ 4436004 │
69. └─────────┘
71. 1 row in set. Elapsed: 0.002 sec. 
73. vvml-yz-hbase-test.172.18.4.71 :) select count(*) from db1.hits_all;
75. SELECT count(*)
76. FROM db1.hits_all
78. Query id: 85e6e7a4-eaab-4455-8c29-52ec0998a9b0
80. ┌─count()─┐
81. │ 8873898 │
82. └─────────┘
84. 1 row in set. Elapsed: 0.006 sec. 
86. vvml-yz-hbase-test.172.18.4.71 :) 
88. # node4
89. vvml-yz-hbase-test.172.18.4.86 :) select count(*) from db1.hits_local;
91. SELECT count(*)
92. FROM db1.hits_local
94. Query id: 9950210e-a4a4-4e1d-a449-4aefb2ea396f
96. ┌─count()─┐
97. │ 4436004 │
98. └─────────┘
100. 1 row in set. Elapsed: 0.002 sec. 
102. vvml-yz-hbase-test.172.18.4.86 :) select count(*) from db1.hits_all;
104. SELECT count(*)
105. FROM db1.hits_all
107. Query id: 45777141-ff08-452f-93b8-1650265d4175
109. ┌─count()─┐
110. │ 8873898 │
111. └─────────┘
113. 1 row in set. Elapsed: 0.009 sec. 
115. vvml-yz-hbase-test.172.18.4.86 :)

复制代码

        从查询效果可以看到，当地表 node1、node2 上的查询效果相同，node3、node4 上的查询效果相同，分布式表四个节点查询效果都相同。node1 和 node3 分属于集群中的不同分片，而在创建分布式表时指定的分布规则随机，以是这两个实例上的当地表数据量存在少许差异是符合预期的。结论是：

• 指定分片键的分布式表可以写数据。
  
• 数据按创建分布式表时指定的自定义的分片规则分布。
  
• select count(*) from tutorial.hits_v1 用了2毫秒，select count(*) from db1.hits_all 用了6毫秒，在本测试环境中，查询分布式表比查询当地表慢了两倍。
  
• 底层表如果使用 MergeTree 表引擎，其上正常定义了分布规则的分布式表，插入分布式表可以自动在同一分片上的不同副本之间做数据同步。
  

5. 使用 ReplicatedMergeTree 表引擎复制数据

        按通常的理解，一个分布式数据库至少必要满意以下根本需求：

• 数据按指定规则自动分片
  
• 同一分片的多个副本数据保持一致
  
• 数据分片和多副本间的数据同步对应用透明。
  

        ClickHouse 推荐的设置是使用 ReplicatedMergeTree 表引擎，自动完成副本间的数据复制。创建 ReplcatedMergeTree 表，通常必要设置宏来辨认每个用于创建表的分片和副本。
（1）定义宏

        在全部四台主机上实行下面的利用步骤。
        修改 /etc/clickhouse-server/config.xml 主设置文件，在每个节点 <shard> 下添加 <internal_replication>true</internal_replication>：

1.     <remote_servers>
2.         <cluster_2S_2R>
3.             <shard>
4.                 <internal_replication>true</internal_replication>
5.                 <replica>
6.                     <host>node1</host>
7.                     <port>9000</port>
8.                     <user>default</user>
9.                     <password>123456</password>
10.                 </replica>
11.                 <replica>
12.                     <host>node2</host>
13.                     <port>9000</port>
14.                     <user>default</user>
15.                     <password>123456</password>
16.                 </replica>
17.             </shard>
18.             <shard>
19.                 <internal_replication>true</internal_replication>
20.                 <replica>
21.                     <host>node3</host>
22.                     <port>9000</port>
23.                     <user>default</user>
24.                     <password>123456</password>
25.                 </replica>
26.                 <replica>
27.                     <host>node4</host>
28.                     <port>9000</port>
29.                     <user>default</user>
30.                     <password>123456</password>
31.                 </replica>
32.             </shard>
33.         </cluster_2S_2R>
34.     </remote_servers>

复制代码

        在节点 </remote_servers> 反面添加以下内容：

1. <macros>
2.     <shard>01</shard>
3.     <replica>01</replica>
4. </macros>

复制代码

        node1 设置成 01、01；node2 设置成 01、02；node3 设置成 02、01；node4 设置成 02、02。
        然后重启所有实例：

1. sudo service clickhouse-server restart

复制代码

（2）创建当地表

        在任一实例上实行下面的建表语句：

1. CREATE TABLE db1.hits_replica ON CLUSTER 'cluster_2S_2R'
2. (
3.     `WatchID` UInt64,
4.     `JavaEnable` UInt8,
5.     `Title` String,
6.     `GoodEvent` Int16,
7.     `EventTime` DateTime,
8.     `EventDate` Date,
9.     `CounterID` UInt32,
10.     `ClientIP` UInt32,
11.     `ClientIP6` FixedString(16),
12.     `RegionID` UInt32,
13.     `UserID` UInt64,
14.     `CounterClass` Int8,
15.     `OS` UInt8,
16.     `UserAgent` UInt8,
17.     `URL` String,
18.     `Referer` String,
19.     `URLDomain` String,
20.     `RefererDomain` String,
21.     `Refresh` UInt8,
22.     `IsRobot` UInt8,
23.     `RefererCategories` Array(UInt16),
24.     `URLCategories` Array(UInt16),
25.     `URLRegions` Array(UInt32),
26.     `RefererRegions` Array(UInt32),
27.     `ResolutionWidth` UInt16,
28.     `ResolutionHeight` UInt16,
29.     `ResolutionDepth` UInt8,
30.     `FlashMajor` UInt8,
31.     `FlashMinor` UInt8,
32.     `FlashMinor2` String,
33.     `NetMajor` UInt8,
34.     `NetMinor` UInt8,
35.     `UserAgentMajor` UInt16,
36.     `UserAgentMinor` FixedString(2),
37.     `CookieEnable` UInt8,
38.     `JavascriptEnable` UInt8,
39.     `IsMobile` UInt8,
40.     `MobilePhone` UInt8,
41.     `MobilePhoneModel` String,
42.     `Params` String,
43.     `IPNetworkID` UInt32,
44.     `TraficSourceID` Int8,
45.     `SearchEngineID` UInt16,
46.     `SearchPhrase` String,
47.     `AdvEngineID` UInt8,
48.     `IsArtifical` UInt8,
49.     `WindowClientWidth` UInt16,
50.     `WindowClientHeight` UInt16,
51.     `ClientTimeZone` Int16,
52.     `ClientEventTime` DateTime,
53.     `SilverlightVersion1` UInt8,
54.     `SilverlightVersion2` UInt8,
55.     `SilverlightVersion3` UInt32,
56.     `SilverlightVersion4` UInt16,
57.     `PageCharset` String,
58.     `CodeVersion` UInt32,
59.     `IsLink` UInt8,
60.     `IsDownload` UInt8,
61.     `IsNotBounce` UInt8,
62.     `FUniqID` UInt64,
63.     `HID` UInt32,
64.     `IsOldCounter` UInt8,
65.     `IsEvent` UInt8,
66.     `IsParameter` UInt8,
67.     `DontCountHits` UInt8,
68.     `WithHash` UInt8,
69.     `HitColor` FixedString(1),
70.     `UTCEventTime` DateTime,
71.     `Age` UInt8,
72.     `Sex` UInt8,
73.     `Income` UInt8,
74.     `Interests` UInt16,
75.     `Robotness` UInt8,
76.     `GeneralInterests` Array(UInt16),
77.     `RemoteIP` UInt32,
78.     `RemoteIP6` FixedString(16),
79.     `WindowName` Int32,
80.     `OpenerName` Int32,
81.     `HistoryLength` Int16,
82.     `BrowserLanguage` FixedString(2),
83.     `BrowserCountry` FixedString(2),
84.     `SocialNetwork` String,
85.     `SocialAction` String,
86.     `HTTPError` UInt16,
87.     `SendTiming` Int32,
88.     `DNSTiming` Int32,
89.     `ConnectTiming` Int32,
90.     `ResponseStartTiming` Int32,
91.     `ResponseEndTiming` Int32,
92.     `FetchTiming` Int32,
93.     `RedirectTiming` Int32,
94.     `DOMInteractiveTiming` Int32,
95.     `DOMContentLoadedTiming` Int32,
96.     `DOMCompleteTiming` Int32,
97.     `LoadEventStartTiming` Int32,
98.     `LoadEventEndTiming` Int32,
99.     `NSToDOMContentLoadedTiming` Int32,
100.     `FirstPaintTiming` Int32,
101.     `RedirectCount` Int8,
102.     `SocialSourceNetworkID` UInt8,
103.     `SocialSourcePage` String,
104.     `ParamPrice` Int64,
105.     `ParamOrderID` String,
106.     `ParamCurrency` FixedString(3),
107.     `ParamCurrencyID` UInt16,
108.     `GoalsReached` Array(UInt32),
109.     `OpenstatServiceName` String,
110.     `OpenstatCampaignID` String,
111.     `OpenstatAdID` String,
112.     `OpenstatSourceID` String,
113.     `UTMSource` String,
114.     `UTMMedium` String,
115.     `UTMCampaign` String,
116.     `UTMContent` String,
117.     `UTMTerm` String,
118.     `FromTag` String,
119.     `HasGCLID` UInt8,
120.     `RefererHash` UInt64,
121.     `URLHash` UInt64,
122.     `CLID` UInt32,
123.     `YCLID` UInt64,
124.     `ShareService` String,
125.     `ShareURL` String,
126.     `ShareTitle` String,
127.     `ParsedParams` Nested(
128.         Key1 String,
129.         Key2 String,
130.         Key3 String,
131.         Key4 String,
132.         Key5 String,
133.         ValueDouble Float64),
134.     `IslandID` FixedString(16),
135.     `RequestNum` UInt32,
136.     `RequestTry` UInt8
137. )
138. ENGINE = ReplicatedMergeTree(
139.     '/clickhouse/tables/{shard}/hits',
140.     '{replica}'
141. )
142. PARTITION BY toYYYYMM(EventDate)
143. ORDER BY (CounterID, EventDate, intHash32(UserID))
144. SAMPLE BY intHash32(UserID);

复制代码

（3）创建分布式表

        在任一实例上实行下面的建表语句：

1. CREATE TABLE db1.hits_replica_all ON CLUSTER 'cluster_2S_2R'
2. AS db1.hits_replica
3. ENGINE = Distributed(cluster_2S_2R, db1, hits_replica, rand());

复制代码

（4）向分布式表中插入数据

        在任一实例上实行下面的 insert 语句：

1. INSERT INTO db1.hits_replica_all SELECT * FROM tutorial.hits_v1;

复制代码

（5）在所有实例上分别实行 SELECT 查询

1. # node1
2. vvml-yz-hbase-test.172.18.4.126 :) select count(*) from db1.hits_replica;
4. SELECT count(*)
5. FROM db1.hits_replica
7. Query id: e4f08a9c-39be-48cf-a8f9-6caaa98b9fed
9. ┌─count()─┐
10. │ 4438089 │
11. └─────────┘
13. 1 row in set. Elapsed: 0.002 sec. 
15. vvml-yz-hbase-test.172.18.4.126 :) select count(*) from db1.hits_replica_all;
17. SELECT count(*)
18. FROM db1.hits_replica_all
20. Query id: 765f0ea5-a199-4bfb-85c4-6fd31e23f1af
22. ┌─count()─┐
23. │ 8873898 │
24. └─────────┘
26. 1 row in set. Elapsed: 0.007 sec. 
28. vvml-yz-hbase-test.172.18.4.126 :) 
30. # node2
31. vvml-yz-hbase-test.172.18.4.188 :) select count(*) from db1.hits_replica;
33. SELECT count(*)
34. FROM db1.hits_replica
36. Query id: b464df00-4c1a-4fea-8f2f-70fd0c32569f
38. ┌─count()─┐
39. │ 4438089 │
40. └─────────┘
42. 1 row in set. Elapsed: 0.002 sec. 
44. vvml-yz-hbase-test.172.18.4.188 :) select count(*) from db1.hits_replica_all;
46. SELECT count(*)
47. FROM db1.hits_replica_all
49. Query id: 19a77125-7e7e-4654-bb90-8884c3b0ed26
51. ┌─count()─┐
52. │ 8873898 │
53. └─────────┘
55. 1 row in set. Elapsed: 0.007 sec. 
57. vvml-yz-hbase-test.172.18.4.188 :) 
59. # node3
60. vvml-yz-hbase-test.172.18.4.71 :) select count(*) from db1.hits_replica;
62. SELECT count(*)
63. FROM db1.hits_replica
65. Query id: e021f13c-b980-4297-9c26-b94465503101
67. ┌─count()─┐
68. │ 4435809 │
69. └─────────┘
71. 1 row in set. Elapsed: 0.003 sec. 
73. vvml-yz-hbase-test.172.18.4.71 :) select count(*) from db1.hits_replica_all;
75. SELECT count(*)
76. FROM db1.hits_replica_all
78. Query id: 80ebbda2-be03-445c-8c16-f67428a45572
80. ┌─count()─┐
81. │ 8873898 │
82. └─────────┘
84. 1 row in set. Elapsed: 0.005 sec. 
86. vvml-yz-hbase-test.172.18.4.71 :) 
88. # node4
89. vvml-yz-hbase-test.172.18.4.86 :) select count(*) from db1.hits_replica;
91. SELECT count(*)
92. FROM db1.hits_replica
94. Query id: 204f483d-3fcb-4758-8df4-20e79f78e42e
96. ┌─count()─┐
97. │ 4435809 │
98. └─────────┘
100. 1 row in set. Elapsed: 0.002 sec. 
102. vvml-yz-hbase-test.172.18.4.86 :) select count(*) from db1.hits_replica_all;
104. SELECT count(*)
105. FROM db1.hits_replica_all
107. Query id: e3d28b81-50b7-46e6-a855-1b40ef9fe42a
109. ┌─count()─┐
110. │ 8873898 │
111. └─────────┘
113. 1 row in set. Elapsed: 0.007 sec. 
115. vvml-yz-hbase-test.172.18.4.86 :)

复制代码

        从查询效果可以看到，当地表 node1、node2 上的查询效果相同，node3、node4 上的查询效果相同，分布式表四个节点查询效果都相同。node1 和 node3 分属于集群中的不同分片，而在创建分布式表时指定的分布规则随机，以是这两个实例上的当地表数据量存在少许差异是符合预期的。ReplicatedMergeTree 表可以自动在同一分片的不同副本间同步数据。
参考：

• 使用教程
  
• ClickHouse Keeper (clickhouse-keeper)
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4