BeOS文件系统，OS极客回顾-昱远科技-科技资讯

技术支持诈骗者重振导致Chrome用户陷入恐慌的错误-昱远科技

2018年7月8日

尽管Chrome正在等待“耻辱”，但3个主要新闻网站并非HTTPS

2018年7月8日

Published by nbyuyuan on 2018年7月8日

来自档案：在90年代，OS极客喜欢BFS的超前功能集。

这是美国独立日之后的第二天，我们的大部分工作人员正在回到他们喜欢的工作机器上。如果这是1997年而不是2018年，那将意味着为某些人启动BeOS。未来的操作系统 – 从未在20多年前到过，所以鉴于假期，我们正在重新铺设这个极客的指南。这件作品最初于2010年6月2日播出; 它在下面看起来不变。

Be操作系统文件系统（简称为BFS）是Haiku，BeOS和SkyOS操作系统的文件系统。当它作为命运多Be的BeOS项目的一部分在90年代后期创建时，BFS的超前功能集立即打动了花哨的操作系统极客。该功能集包括：

64位地址空间
使用日记
高度多线程阅读
支持类似数据库的扩展文件属性
流文件访问的优化

十几年后，传说中的BFS仍然值得探索 – 所以我们今天潜水，从一些文件系统基础开始，然后继续讨论上述功能。我们还与两个非常熟悉操作系统的人聊天：为Be开发BFS的人和开源版BFS的开发人员。

有点历史

BFS由Dominic Giampaolo和Cyril Meurillon于1997年创建，他们都在Be工作。它被设计为多线程和轻量级，并支持大容量流媒体多媒体。它还旨在支持先前Be文件系统的数据库功能。即使它是在系统通常只有8MB RAM和仅9GB磁盘存储的时候编写的，但当时许多具有前瞻性的设计决策仍然有效。在没有被苹果公司收购之后，BFS关门时并没有完全结束。2002年，AxelDörfler重新实施了Haiku的BFS作为开源项目。本文的最后一部分是对Axel的采访。在我们讨论什么使BFS如此特殊之前，我们首先要介绍一些文件系统的基础知识。

看哪，BeOS充满了荣耀。 — 放大 /看哪，BeOS尽其所能。

Wikimedia Commons

文件系统基础知识

在基本级别，存在用于管理永久存储设备上的数据的文件系统。大多数文件系统常用的功能包括：

创建文件和目录
打开，读取，写入，删除和重命名文件
读取，写入和更新文件元数据或属性

其他功能包括符号链接，访问控制列表和内存映射。有关众多文件系统的高级概述，请参阅文章从BFS到ZFS：过去，现在和将来的文件系统。有关HPFS，NTFS，EXT2和XFS约2000的更深入介绍，请参阅实用文件系统设计的第3章。以下术语在文件系统讨论中很常见，因此您应浏览列表并熟悉您尚未了解的任何内容：磁盘：一定大小的永久存储介质。磁盘还具有扇区或块大小，这是磁盘可以读取或写入的最小单位。磁盘的传统块大小为512字节，但现在对于较新的磁盘，它接近4096字节。块：磁盘或文件系统可写的最小单元。文件系统所做的一切都是在块上完成的操作。文件系统块总是与磁盘块大小相同或更大（以整数倍为单位）。位图：不是图片，而是确定磁盘上哪些块是空闲或使用的数据结构。分区：磁盘上所有块的子集。磁盘可以有多个分区。 Volume：给某些存储介质（即磁盘）上的块集合指定的名称。也就是说，卷可以是单个磁盘上的所有块，也可以是磁盘上块总数的一部分，或者甚至可以跨越多个磁盘，并且可以是多个磁盘上的所有块。术语“卷”用于表示已使用文件系统初始化的磁盘或分区。 超级块：文件系统存储其关键的全卷信息的卷区域。超级块通常包含诸如卷的大小，卷的名称等信息 元数据：一个通用术语，指的是关于某些内容但不是其直接内容的信息。例如，文件的大小是非常重要的信息，但它不是存储在文件本身中的数据的一部分。因此，文件元数据是关于文件的数据，而不是文件中的数据。日记：即使在出现电源故障或意外重启的情况下，也能确保文件系统元数据正确性的方法。 I节点：文件系统存储有关文件的所有必要元数据的位置。i节点还提供与文件内容的连接以及与文件相关的任何其他数据。术语“i-node”（我们将在本文中使用）是历史的，起源于Unix。i节点也称为文件控制块（FCB）或文件记录。属性：名称（作为文本字符串）和与名称关联的值。该值可以具有定义类型（字符串，整数等），或者它可以只是任意数据。（1）

BFS功能

既然我们已经掌握了文件系统的基础知识，那么让我们看一下使BFS独一无二的一些功能。首先，BFS的64位寻址意味着无论将来有多大磁盘，您都可以使用BFS格式化整个磁盘。您可以创建超过8艾字节的分区，并且根据使用的块大小，您可以创建大小超过30 GB的文件。 BFS最重要和广受欢迎的功能之一是它对扩展属性的支持。用MP3文件的例子说明了属性重要性的一个例子。对MP3文件重要的信息字段是：歌曲标题，乐队，专辑，发行日期，编码率，长度，播放次数。如果要使用传统文件系统将此信息与每个MP3文件相关联，则可能必须创建自己的数据库，以支持在音乐收藏增长和更改时搜索，创建，更新或删除这些属性。相反，对于BFS，可以将这些属性或任何其他属性添加到文件系统本身。这意味着用于编辑或播放MP3的程序不需要创建或维护数据库，因为文件系统将为您处理这些功能。BFS支持在程序控制下或从命令行将属性与文件相关联。属性可以由文件系统搜索和排序，作为任何应用程序的扩展。如何做到这一点将在后面详细讨论。 BFS支持创建监视文件更改的持久性或“实时”查询的功能。这是一个挂钩到文件系统的查询，检查符合搜索条件的文件。在Haiku下，这些查询很容易创建，并且对系统资源的影响非常小。 BFS是记录的，这意味着它可以随时跟踪某些文件系统的一致性，并且不需要文件系统一致性工具，如fsck或chkdsk。日记记录还有助于在意外关闭后更快地启动系统。在内部，BFS使用UTF-8字符作为目录和文件名。这意味着您可以在Haiku中使用几乎任何语言。您无需额外的努力就可以将文件名本地化为中文，使用变音符号的德语字符或草书阿拉伯语。 BFS为大文件访问提供了特殊的性能考虑。创建和阅读大型视频，音频或图像文件是BFS下的优化操作。

BFS架构：超级块

超级块通常是文件系统的最高级数据结构。BFS超级块描述了物理磁盘，日志区域和索引。出于明显的性能原因，超级块在系统引导后保留在RAM中。

 
typedef struct disk_super_block { 
	char name[B_OS_NAME_LENGTH]; 
	int32 magic1; 
	int32 fs_byte_order; 
	uint32 block_size; 
	uint32 block_shift; 
	off_t num_blocks; 
	off_t used_blocks; 
	int32 inode_size; 
	int32 magic2; 
	int32 blocks_per_ag; 
	int32 ag_shift; 
	int32 num_ags; 
	int32 flags; 
	block_run log_blocks; 
	off_t log_start; 
	off_t log_end; 
	int32 magic3; 
	inode_addr root_dir; 
	inode_addr indices; 
    int32 pad[8]; 
} disk_super_block;

该名称结构保存文件系统名称。三个幻数用于一致性检查以及版本编号。Fs_byte_order保持字节排序，block_size保存显式字节计数; block_shift，用作2的指数，也将计算块大小。这是一种有目的的冗余，用于文件系统的一致性检查。Num_blocks保存文件系统的可用块数，used_blocks保存当前正在使用的数量。的标志字段确定超级块的状态是否是清洁的或脏。ROOT_DIR指向所有文件和目录的根目录。指数指向扩展属性的索引部分的开头。该bfsinfo工具可用于转储一个系统的超级块的超级块。

我们曾经深入研究过英特尔BeOS R4的安装过程。安装程序非常可爱，但您可能需要先进行分区才能安装。
驱动器设置工具的一个（裁剪）一瞥，您可以使用它来添加，初始化和销毁分区。
工作区控制窗口 – 支持多个桌面（您可以选择超过4个，但我喜欢4个）。
桌面栏，而不是跟踪器（正如许多人混淆地称之为），是BeOS中的行动所在。
BeOS中的基本窗口（显示应用程序）

我节点

与大多数UNIX派生的文件系统一样，BFS使用节点结构来跟踪磁盘分配。该bfs_inode结构定义如下。i-node处理基本文件元数据，包括文件创建时间，所有者，文件大小，组所有权，文件数据存储在磁盘上的位置等.BFS在文件关闭之前不会更新文件大小。在测试中发现，这提供了显着的性能增益。

 
typedef struct bfs_inode { int32 magic1;
    inode_addr inode_num;
    int32 uid;
    int32 gid;
    int32 mode;
    int32 flags;
    bigtime_t create_time;
    bigtime_t last_modified_time;
    inode_addr parent;
    inode_addr attributes;
    uint32 type;
    int32 inode_size;
    binode_etc *etc;
    data_stream data;
    int32 pad[4];
    int32 small_data[1];
} bfs_inode;

在bfs_inode中再次使用幻数来进行健全性检查和错误恢复。BeOS和Haiku的神奇数字在兼容性方面是相同的，但对于SkyOS实现则不同。BFS使用文件的磁盘扇区作为索引节点值，使扇区映射成为直接查找。UID，GID和模式用于维护POSIX合规性。

Data_streams

i节点结构保存文件的基本属性，但不保存实际的文件数据本身。这是通过数据成员结构完成的。数据成员由data_stream结构定义：

 
typedef struct data_stream {
	block_run direct[NUM_DIRECT_BLOCKS]; 
	off_t max_direct_range; block_run indirect; 
	off_t max_indirect_range; 
	block_run double_indirect; 
	off_t max_double_indirect_range; 
	off_t size; 
} data_stream;

该data_stream结构映射从物理磁盘文件流API数据。使用data_streams的访问针对吞吐量进行了优化，绕过了系统缓存，并使用DMA进出用户内存。在基准测试中，BFS能够实现接近峰值磁盘传输速率的高吞吐量。

数据库函数使用扩展属性

如前所述，处理属性是一个重要的文件系统功能。Mac HFS是第一个广泛使用文件属性来支持GUI的文件系统。考虑到窗口操作系统需要持久化并管理许多GUI属性，例如帧大小，位置，颜色，文本等，并且需要优化访问以获得快速响应时间。 BFS以与文件的键/值关联的形式支持扩展属性。键具有固定类型，可以随时添加。有效类型是string，time，double，float，int，boolean，raw和image。如果键被索引，则对键的基本搜索被大大优化。以下是用于管理扩展文件属性的命令行工具。

addattr key value filename：将键/值对添加到指定的文件中
catattr key filename：显示指定的fieldname值。
listattr filename：列出文件的关联属性，类型及其大小（以字节为单位）。
rmattr key filename：从指定文件中删除属性。

使用mkindex全局创建新字段。例如，

mkindex –type = indextype index：在当前卷上创建一个long类型的新索引。
reindex sourcefile filename：如果在文件属性之后创建索引，则将文件的键添加到索引。
rmindex index：从当前卷中删除一个属性，使其无法使用。
lsindex：列出所有属性

在Haiku中，通过Tracker以及键盘快捷键以图形方式支持对文件属性的访问。Haiku中具有图形表示的任何对象都设置了_trk / pinfo_le属性及其文件图标位置。BEOS：TYPE属性保存文件的应用程序关联。可在此处找到更多属性使用详细信息。此处和此处提供了有关使用文件属性的其他信息和示例。

使用查询搜索

Query是用于搜索匹配属性的命令行工具。它比“查找”UNIX命令行实用程序更容易使用。以下是查询语法的一些示例：

query "((name="**")&&(BEOS:TYPE=="audio/x-wav"))" – 查找MIME类型为“wav”的所有文件。如果您的wav文件缺少.wav扩展名，则非常有用。 query "(last_modified >= %yesterday%)" – 查找比昨天更早的文件

查询的输出可以与命令行中的脚本工具一起使用，如下所示：

touch 'query ((last_modified< %yesterday%)&&(BEOS:TYPE=="audio/mpeg"))'

这将更新所有MP3文件的上次修改时间，其上次修改时间早于昨天。此处提供了有关查询脚本的其他信息。它的Haiku GUI对应物是“查找”，在桌面栏中找到并记录在这里。所有查找查询都会缓存7天，并显示在下拉列表中。

BeBox是一款双处理器PC，用于运行BeOS（这是一款配备售后市场显示器）。 — Enlarge / BeBox是一款双处理器PC，用于运行BeOS（这是一款配备售后市场监控器）。

Wikimedia Commons

实时查询

BFS的一个特别好的功能是实时查询功能。使用“查找”时，从选择/选择列表中拖动查询名称并将其拖动到桌面或“跟踪器”。这会将查询挂钩到文件系统并保存。只要创建或删除与查询条件匹配的文件，就会更新查询列表。BFS本身支持实时查询，并且使用的资源非常少。

应用使用属性

Haiku Mail Kit是一个广泛使用属性的应用程序示例。Haiku邮件没有自己的数据库来存储和管理电子邮件文件。相反，它将每封电子邮件直接存储到BFS文件系统中，并使用超过15个特定于电子邮件的属性进行搜索和排序。你能想象有8个exabytes的电子邮件吗？Haiku在理论上使这成为可能。这是从单个应用程序中抽象出功能并将其定位在操作系统中，或者在本例中是文件系统的一个很好的示例。由于BFS支持扩展属性，因此任何应用程序都可以使用文件系统的强大数据库功能，而无需重新发明轮子。

优化属性查找

由于BFS上的每个文件都可能具有许多扩展属性，并且可能存在数十万个文件，因此非常需要优化属性的访问。在BFS中，每个索引都实现为B +树数据结构。B +树是一种平衡的，有序的树数据结构，可以提供非常快速的查找和非常好的扩展。毫不奇怪，它也用于管理目录结构，它广泛用于其他文件系统，如NTFS。BFS索引针对表单的查找进行了非常优化：

query “(name==”temp”)” 要么 query “(name >”111”)”

BFS索引未针对表单的正则表达式搜索进行优化：

query “(name==[aA][bB][cC])”

这些搜索从二进制查找降级为顺序查找，并且可能在大型文件系统中花费更长的时间。在Haiku中优化使用正则表达式但以固定表达式开头的查询，例如，query “(name==temp[1234])”运行速度比query “(name==[tT]emp[1234])”。

日记

具有磁盘存储的计算机可能会遇到多种故障模式。磁盘扇区的磁性材料会变差，移动磁头的伺服机构会发生故障，与计算机接口的电子设备会死机，或者用户可以在磁盘写入操作过程中重启机器。如果运行磁盘的时间足够长，最终磁盘的电子设备或机械结构将会失效。在文件写入操作期间，您通常不必等待很长时间让不耐烦的用户重新启动。遗憾的是，这是一种相当常见的情况，它可能会对文件系统造成破坏性的后果。考虑以下情况。用户已创建文件，这是将其保存到磁盘的过程。也许这是一个开发过期项目的开发人员。在完全保存此文件之前，文件系统必须进行多次更新。它必须先保存文件的内容。它必须保存文件的元数据，创建日期，所有者，文件大小等。它还必须更新超级块。考虑系统在这些操作完成之前关闭时会发生什么。除了丢失宝贵的工作之外，数据结构可能会损坏并指向不存在的i节点和块。除了更晚，您的文件系统可能随后无法启动，丢失所有其他文件。日记或文件系统日志记录可以缓解这些问题。虽然日记功能不能保证过早重启不会丢失您的文件，但它确保它不会损坏您的文件系统。请考虑以下有关日记功能的示例。假设用户创建一个新文件并保存。必须将数据保存到磁盘，并且还必须保存具有正确元数据的新目录条目。在发生这些磁盘操作之前，BFS将未写入的块锁定到RAM中，并在文件系统日志中为每个块写入日志条目。将每个块成功刷新到磁盘后，日记帐分录将标记为已完成。如果系统在成功刷新块之前关闭，则日记条目将列出未完成的操作。系统重新启动时，会检查日志中是否有未完成的条目。当系统重新启动以成功完成写入操作时，可以“重放”其余条目，或者可以“回滚”整个事物。并且操作中止。无论哪种方式，文件系统都保持一致状态，其中目录结构和元数据准确地匹配文件数据。在BFS中，日志记录对目录，位图块，i节点和扩展属性所做的任何更改。它不会记录实际的用户数据。通过这种方式，日记功能可以保护文件系统的一致性，但不提供冗余磁盘阵列或RAID等数据恢复功能。虽然不能免除所有磁盘错误，但BFS可以抵御过早系统关闭的常见故障模式。没有日记功能的文件系统（如Linux EXT2）容易受到文件系统不一致的影响，并且依赖冗长的扫描进程进行恢复。BFS不需要磁盘扫描，Haiku可以在过早关机后快速启动。

当然，我会安装！
这似乎进展顺利。
Haiku’s user interface, which is based on a smidgen of BeOS original code, is minimalist and lovely.
The built-in IRC client is go!
The “stable” WebPositive browser has some issues with our home page, seeing as it was coded in 2012.
I couldn’t even log into Google.
The Haiku build of Firefox (Bezilla) is, shall we say, a dormant project, as per its blog.
Bezilla is so old Google loads its unencrypted search home page.
WebPositive on the 64-bit Haiku recent nightly build, right before it froze.
Pongeroids, a BeOS 3-D version of Asteriods, works, as do some other BeOS 5 games. Others with source code can be recompiled for the GCC2-based 32-bit version.
Little Writer, a Rich Text Format editor, is one of the software packages you can find on BeOS community sites that still works.
The Haiku “blog-o-sphere” shows work continues, particularly as part of Google’s Summer of Code ’17.
The latest nightly build of WebPositive is a bit better with Google’s login page, but it freezes consistently once you try to read Gmail.
电子邮件实际上只是文件系统的一部分，但它适用于IMAP和POP（有时，除非它没有）。

Haiku BFS对BeOS的改进

Haiku的BFS版本与原始的BeOS BFS实施相比有许多改进。B +树更强大。除块缓存外，Haiku BFS还使用文件缓存来存储文件数据。这导致速度提高了10倍。Haiku的BFS实现了文件的状态更改时间，并且还具有更细粒度的文件状态功能。出于性能考虑，BeOS BFS省略了POSIX atime文件。Haiku BFS包含针对混合正则表达式优化的查询，允许将静态字符串与正则表达式混合。为Haiku BFS添加了新的检测工具bfsinfo，bfswhich，chkindex和recover。添加了reindex命令以改进扩展属性的索引。

快速访问BeOS的高级开发人员，他在BFS工作

（他要求不要使用他的名字，以符合他现任雇主的意愿）实用文件系统设计一书将BeOS开发环境描述为开发人员缺乏时间和稀缺。这种环境的一些积极方面是什么？ 这是当时工作的一个有趣的地方。我们相处得非常好，喜欢我们正在做的事情，所有人都充满了彼此的能量。每个人都是一流的，它只是不停的。通常你会在公司中获得一两个方面，但是当你拥有它们时，这是一个非常令人陶醉的环境：变化很快，进步很好，你觉得你真的在做一些重要的事情而且它只是很有趣。 从概念到发布，编码和调试BFS需要多长时间？ 十或十一个月。我得到了另一位工程师的帮助，编写了处理写入文件中间接块的代码。 您使用了哪些工具来开发和调试BFS？ Emacs，make和gcc。最初我在用户空间中进行了一些原型设计，因此能够使用gdb，但是一旦进入内核，就会从那里开始“欢迎使用内核调试之地”。 开发BFS的最大挑战是什么？ 试图在如此短的时间内完成它，同时支持我们想要的所有功能。 BFS是否影响了任何后续文件系统的设计？ 不太可能。 今天文件系统有哪些热门话题？ 数据完整性和重复数据删除可能是目前最受关注的领域。人们也花了很多时间试图找出如何在不可靠的组件面前提供可靠的存储。RAID-5/6还可以，但随着驱动器的大小增加，很多人担心当发生故障时，如果另一个驱动器在重建完成之前发生故障，它们很容易完全失败。 下一代文件系统支持哪些新功能或活动？ 我不确定。我认为在我们找出哪个层是“存储”问题的所有不同部分的正确位置之前还有一段时间。ZFS走下了把所有东西都放在FS中的道路。其他人正在做一套不同的事情。很明显，BFS中存在的某些功能确实*不属于FS。 在您看来，什么科幻电影最能充分利用电脑？ 嗯，不确定。星际迷航？他们的计算机可以完成所有操作，并且具有多点触控界面，并且他们不会花费大量时间来使用它们。

对开源BFS开发人员AxelDörfler的快速访谈

在BFS之前，您是否有使用文件系统的经验？ 我不得不编写一个应用程序来从BFS分区硬盘恢复一些数据。这给了我写BFS所需的全部知识。 重写BFS最困难的部分是什么？ 确保B +树实现的行为正确，就像在原始BFS中使用的那样（如Dominic的书中所提到的）非常不稳定且效率低下。 什么是最简单的部分？ 实际的BFS只读实现，因为我可以重用我为恢复编写的大部分代码。 重写BFS时有没有发现任何惊喜？ 是的，有一些不合逻辑的东西，比如使用block_runs的日志，但要求它们有一个长度，或几乎多余的双间接块实现。 您是否曾与Dominic就BFS进行过任何讨论？ 是的，但他们没有真正详细说明其缺陷，而是我的实施。 你会在BFS 2.0中改变什么？ 很多。 编码需要多长时间？ 我老实说不记得了。我认为只读部分只用了两周左右，而写入部分花了很长时间，而且花了更长的时间使它完全符合Be的BFS。 什么是最大的错误，你是如何解决它的？ 最令人烦恼的错误是“vnode ID已经存在”的错误 – 有十几个原因可能会发生这种情况，并且这种情况最小化了找到它的另一个问题的乐趣（只有一部分是在但是BFS本身。它仍然存在于像＃5262，BTW这样的新版本中，虽然这可能有完全不相关的原因（如内存损坏）。 您从重写BFS中吸取了哪些教训？ 在编写文件系统时，使用VFS要容易得多。 最后，您目前的开发PC是什么？ 根据我的不同，它可能是ThinkPad T60，也可能是具有板载Intel图形的两年前Core 2 Quad。致谢本文严重依赖于使用Be File System的实用文件系统设计一书。文档系统很少以如此详细和可读的方式记录。还要感谢AxelDörfler进行事实核查。

参考

使用Be文件系统实现文件系统设计，（1）
Haiku文件系统模块
BFS文件系统构建工具包
从BFS到ZFS
NTFS
Haiku属性
BeOS圣经
Scot Hacker
Linux中的文件系统
EXT2文件系统

关于作者 Andrew Hudson是一名居住在美国佛罗里达州的自由技术项目经理。在他丰富的业余时间里，他喜欢探索洞穴和修复古董车。