脸书(Facebook)透过GitHub开源LogDevice,LogDevice是一个分散式的日志系统,负责储存并交付日志。LogDevice能提供大规模高可靠性的各类型日志,其拥有灵活可调校的能力,能对每个使用案例进行最佳化,让使用者在耐久性与效率,还有一致性与可用性之间,相互权衡取舍。
LogDevice提供了多种类型的日志格式,并且使用一种称为非确定性分散记录放置(Non-deterministic Decentralized Record Placement )技术,即便丛集中的某些节点严重发生问题,LogDevice依然能提供低延迟、高可用性与一致性的资料写入服务。与其他分散式系统类似,LogDevice会在不同的机器上储存每笔纪录的副本,来达到耐久性要求,透过这些副本的放置选项,在丛集中的许多储存节点发生故障、速度缓慢或磁盘空间不足,只要丛集中部分节点继续运作,LogDevice仍然可以完成高效能写入工作负载。
使用者还可以透过分散单一日志,写入到所有可用节点以舒缓写入速率的高峰,相反的,当特定日志仅限于使用几个特定节点,则单个日志的最大资料吞吐量,将受这些节点能力限制,在这之中如果又有节点故障,就可能导致部分日志所有写入失败。
虽然LogDevice设计中并没有主节点存在,但是却能提供存在主节点设计相同的灵活度。脸书把日志纪录的顺序和实际纪录副本的储存脱钩,LogDevice会执行定序器(Sequencer),对要附加到日志上的每笔纪录给出单向递增序号。一旦纪录有了序号,该笔纪录的副本就可能被存放在丛集上的任何节点,开发团队也对存取这些副本做了特殊处理,使得副本放置的方法,并不会影响后续读取者查看该日志纪录的顺序。定序器可以在任何方便的机器执行,包括储存节点、专用于排序的节点,或是只有执行功能的节点。
脸书的LogDevice的日志储存在本机硬盘上使用了LogsDB,这是一个写入资料最佳化的储存应用,目的在减少硬盘搜寻的次数,并且维持写入和读取的I/O模式都是有序的。而LogsDB提供的写入最佳化,即便分属不同的档案或是日志,LogDevice在写入资料的时候仍可以维持极高的效率,但这也是牺牲一些存取模式的读取效率换来的。脸书耕耘许久的RocksDB数据库,也在LogDevice派上用场,LogsDB建构在RocksDB之上,是一个基于LSM树的有序耐久键值资料储存应用。
LogDevice日志提供纪录一致性保证,多个写入器可以对同一个日志并行增加纪录,所有这些纪录都能以相同的顺序交付给日志读取者。LogDevice提供内建的资料遗失检测报告功能,当侦测到纪录遗失,LogDevice会递送错误报告给所有相关的读取者。
LogDevice是脸书从头开始设计的日志系统,因此其不只在大规模使用案例中,提供高可靠性和高效率的服务,同时也具高度可调校的特性,能让使用者针对每个案例进行最佳化,并根据需求在耐久性与效率,或是一致性与可用性之间,互做取舍。脸书提到,LogDevice的灵活性可以胜任不少使用案例,包括一般的耐久性写入纪录、分散式数据库的交易日志、事件日志,也可以应用在串流处理、机器学习训练工作管线中或是复制状态机等。
相关文章
- YouTube更新违反规定政策,提升惩处透明度和一致性
2023-12-31 14:00:52
- 传苹果将把中国iCloud正式交给本地化经营 苹果手机icloud换区存储操作
2023-12-27 18:34:43
- 刘德华代言什么手机?刘德华成华为Mate 60 RS非凡大师华为5G新手机代言人
2023-09-26 21:55:08
- WebOS新系统:Palm Pre手机最新款高价登港
2023-06-23 15:39:14
- 帮助企业组织对抗勒索软件,资安通报机构设立防护专区,可协助事前、事中与事后因应
2023-06-22 09:36:10
- 蔚来全系产品降价3万 取消免费换电 换一次电池180元
2023-06-12 17:27:49
- 电商平台三巨头开打最大规模折扣 价格战再次打响
2023-03-05 18:58:40
- 爱立信节省成本裁员四千人 爱立信全球员工总数五分之一
2023-02-24 22:27:29
- 蜜芽关停近况,八位数重金买三字顶级新域名mia.com也关闭
2023-02-23 16:18:14
- 联想CEO杨元庆:联想集团需要裁员32%削减部分业务支出
2023-02-18 12:45:25
- 蓝色光标2022营收亏损18亿 客户预算减少明显
2023-02-18 12:40:08
- 三星工厂或将80%生产转至越南 因本地劳动力成本上升
2023-02-17 23:09:16
- 香港八达通卡如何激活?没用失效过期余额怎么办
2023-02-17 18:34:51
- 中兴通讯被曝将裁员20% 称只裁国外的
2023-02-17 18:33:26
- 苹果新iPhone15Pro手机终于改用USB-C(火牛)数据线??Lightning充电接口退出
2023-02-17 16:57:22
- 突发!蓝色光标曾为中国民企500强龙头 如今业绩亏损断崖下跌
2023-02-16 14:31:19
- 三星发布自家carplay车载中控系统 Car Mode for Galaxy 可以连接carplay吗?
2023-02-14 00:53:17
- Opera浏览器宣布集成ChatGPT 一键生成网页内容摘要
2023-02-14 00:32:08
- 谷歌google计划重返进入中国市场?但结果可能令你失望
2023-02-13 16:57:15
- Zoom紧急裁员1300人 佔员工总数15%
2023-02-08 14:59:11
最新资讯
- YouTube更新违反规定政策,提升惩处透明度和一致性2023-12-31 14:00:52
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万92023-12-28 19:41:57
- 吉利飙逾6% 电动车品牌极氪新车款极氪007昨上市 预售价格22.99万元2023-12-28 19:30:28
- 日本丰田汽车厂11月全球产量创新高2023-12-28 19:26:02
手机
- 中国11月手机出货量增34% 5G手机出货量2709.2万部2023-12-28 19:27:57
- 荣耀发布新一代旗舰荣耀Magic5系列,新款上市价格分期0首付3999元起2023-03-06 16:12:32
- 美国商务部指违禁,长江存储被美国拜登制裁名单面临停工裁员2023-02-17 18:41:53
- 苹果Apple iOS车载系统CarPlay支持哪些更多汽车品牌2023-02-02 17:33:27
- 香港去哪买三星手机回来吗? 买香港便宜售价手机市场地点和网站2023-02-02 11:03:11
数码
- 华为5G芯片正式亮相:预示华为将发首款5G手机2023-08-31 13:22:33
- 腾讯传计划放弃虚拟现实VR硬件计划2023-02-17 23:32:30
- 三星手机份额大跌!三星手机中国市场份额变化国内仅剩3%2023-02-01 17:06:15
- 三星手机份额大跌在中国没市场了!国内市场占有率仅剩1%国外比苹果销量高2023-02-01 16:59:53
- vivo发布2022 vivoNEX手机极简易浏览器下载:简洁流畅无广告!2022-12-02 17:29:30
科技
- 中兴受美国制裁事件 被罚了20亿美元过程事件始末 中兴被制裁后公司现状2023-11-02 22:12:46
- B站怎么炸崩了哔哩哔哩服务器今日怎么又炸挂了?技术团队公开早先原因2023-03-06 19:05:55
- 苹果iPhoneXS/XR手机电池容量续航最强?答案揭晓2023-02-19 15:09:54
- 华为荣耀两款机型起内讧:荣耀Play官方价格同价同配该如何选?2023-02-17 23:21:27
- google谷歌原生系统Pixel3 XL/4/5/6 pro手机价格:刘海屏设计顶配版曾卖6900元2023-02-17 18:58:09