SQLite虚拟数据库引擎(一 )
|
欢迎转载。转载请注明出处。 文章主体为SQLite文档中的vdbe.html文档。此文介绍了SQLite虚拟机的细节。但此文档并没有及时更新。文档中描述的虚拟机是SQLite老版本的虚拟机。老的虚拟机基于栈。新版本的虚拟机基于寄存器。差别较大。基于本人对寄存器机制的理解，更新了部分文档。如果错误，请指正。
SQLite虚拟数据库引擎如果你想知道SQLite内部是如何工作的，那么你先要对虚拟数据库引擎或VDBE(The Virtual Database Engine of SQLite)有深入的了解。 VDBE在处理流程中处在中心位置(参见architecture diagram)， 且似乎遍及了SQLite的绝大部分地方。 尽管有些代码没有直接地与VDBE交互，这些代码通常是配角。VDBE是SQLite真正的核心。 这篇文章主要介绍了VDBE是如何工作的，尤其说明了各种VDBE指令(指令文档) 是如何协同工作来操作数据库的。 此教程的风格，以简单的任务开始，之后解决复杂的问题。 遵循这一方法，我们将探讨SQLite的大部分子模块。 在完整地学习此教程后，你对SQLite是如何工作的，会有很好的理解。 为开始学习实际的源码做了准备。 前言VDBE实现了一个虚拟机。此虚拟机运行它自己的虚拟机语言构成的程序。 每一个程序的目标是为了访问或改变数据库。 为了此目标，VDBE实现的虚拟机语言进行了专门的设计，以便来搜索、读取、修改数据库。 虚拟机语言的每一个指令包含了一个操作码(opcode)和5个操作数(operand)。五个操作数名为P1、P2、P3、P4、P5。P1,P2,P3都是整数类型。P2常作为跳转的目标地址。P4是一个联合体。即可代表多种数据类型。可为整数类型、字符串类型，double类型，FuncDef类型,Mem*类型(寄存器类型)，等等。更多个类型，请看vdbe.h文件。P5是一个无符号char类型，一个字节长。 虚拟机程序从0号指令开始执行，之后执行后续指令，直到出现以下三种情况，才终止执行。 (1)发生了致命性错误。(2)执行Halt指令。(3)步进程序计数器，计数器超过了程序中的最后一条指令。 当虚拟机执行完后，所以打开的数据库cursor都会被关闭，所有的内存会被释放。 所以无需担心任何内存泄漏问题和资源未释放问题。 如果你之前用汇编语言写过程序，或玩过任何一种抽象机(abstract machine)，那么SQLite虚拟机的这些细节，你会很熟悉。 所以，让我们看看代码。 SQLite之前使用栈结构实现虚拟机，现在使用寄存器结构实现虚拟机。 插入记录到数据库我们从一个指令少的程序来开始研究VDBE程序。假设我们有一个SQL表，表结构为： CREATE TABLE examp(one text,two int); 换句话说，我们有一个数据表，名为"examp"。此表有两列.一列名为"one"，一列名为"two"。现在假设我们想向此表插入一条记录。像这样： INSERT INTO examp VALUES('Hello,World!',99); 我们看一下VDBE程序。SQLite使用VDBE程序实现了INSERT操作。INSERT语句通过sqllite的命令行工具执行。 刚开始时，sqlite启动时，创建了一个新的、空的数据库，之后创建表。下一步，改变sqlite的输出格式，格式变成VDBE程序dump的形式。要输入".explain"命令才可以。最后， 执行[INSERT]语句，但[INSERT]语句要添加特定的关键字[EXPLAIN]。[EXPLAIN]关键字将引起sqlite打印VDBE程序，而不是执行它。我们得到以下信息： $sqlitetest_database_1
sqlite>CREATETABLEexamp(onetext,twoint);
sqlite>.explain
sqlite>EXPLAININSERTINTOexampVALUES('Hello,99);
addr opcode p1 p2 p3 p4 p5 comment
---- ------------- ---- ---- ---- ------------- -- -------------
0 Init 0 9 0 00 Start at 9
1 OpenWrite 0 2 0 2 00 root=2 iDb=0; examp
2 NewRowid 0 1 0 00 r[1]=rowid
3 String8 0 2 0 Hello,World! 00 r[2]='Hello,World!'
4 Integer 99 3 0 00 r[3]=99
5 MakeRecord 2 2 4 BD 00 r[4]=mkrec(r[2..3])
6 Insert 0 4 1 examp 1b intkey=r[1] data=r[4]
7 Noop 0 0 0 00
8 Halt 0 0 0 00
9 Transaction 0 1 1 0 01 usesStmtJournal=0
10 TableLock 0 2 1 examp 00 iDb=0 root=2 write=1
11 Goto 0 1 0 00
正如上面我们看到的那样，我们写的简单的插入语句编译成了12个指令。第一条指令和最后三条指令是开始、结束的通用指令，所以实际起作用的是中间的8条指令。 在执行地址0处的指令Init后，程序跳转到地址9处的指令。之后执行地址10处的指令。执行地址11处的指令后，跳转到地址1处。现在让我们看看每条指令的细节。 0 Init 0 9 0 9 Transaction 0 1 1 0 01 10TableLock 0 2 1 examp 11 Goto 0 1 0 VDBE程序包含了一个OP_Init指令，并总是作为第一条指令。如果P2不为零，跳转到由P2指定的地址处。 Transaction指令开启了一个事务。 当遇到Comit或Rollback指令时，事件结束。 P1是开始此事务的数据库文件的索引。 索引0是主数据库文件。如果P2不为零，那么开始写-事务，或如果读事务已经被激活，则将它升级成一个写事务。如果P2为零，那么开始一个读事务。P3操作数保存了编译此SQL时的schema版本号。 当开始一个事务时，获得了此数据库文件的写锁。 当此事务正在进行中时，没有其它进程可以读或写此文件。 开始一个事务时，也会创建回滚日志。 事务要在数据库发生任何变化之前开始。 编译此SQL时的schema版本号(me:设为版本号为v1)保存在内部的缓存中。在此指令中，会检查此查询语句被执行时的数据库版本号(me:设此版本号为v2)，与此版本号(me:v1)是否相匹配。不匹配则出错。 TableLock指令获得某个表的锁。只有当shared-cache功能开始时，此指令才会被使用。P1是数据库的索引。此索引其实是sqlite3.aDb数据库数组的索引。P2包含了要被锁定的表的根页面。如果P3==0，则获得一个读锁。如果P3==1，则获得一个写锁。 Goto指令，是一个无条件的跳转指令，跳转到P2地址上。下一条指令将从地址P2处执行。 程序运行时，执行指令的顺序为0：Init--->9:Transaction--->10:TableLock--->11:Goto--->1:OpenWrite。 OpenWrite打开一个新的读/写cursor，此cursor的ID为P1，P1指向了一张表或一个索引。Cursor句柄可以是任意非负数。VDBE会在一个数组中分配cursor。数据的大小会比最大的cursor大1。(But the VDBE allocates cursors in an array with the size of the array being one more than the largest cursor. )为了节省内存，句柄最好从0开始，并连续的向上增长。 此cursor指向了表"examp"。 表或索引的根页面为P2。 P3==0，意思是主数据库，P3==1意思是此数据库用于临时表。P3>1意思是使用对应的附属数据库。 P4值要么是一个整数(P4_INT32)或一个KeyInfo结构体(P4_KEYINFO)指针。如果P4是一个整数值，P4被设置成此表中列的数量。 NewRowid生成一个新的整数记录号(又名rowid)，用作表中记录的key。生成的rowid保存在P2指向的寄存器中。在此程序中，rowid保存在1号寄存器中(r[1]=rowid)。 String8操作，将P4指向的UTF8字符串，保存在P2指向的寄存器中。在此程序中，字符串保存在2号寄存器中(r[2]='Hello,World!')。 Integer指令，要P1中的32位整数写入P2代表的寄存器中(r[3]=99)。 MakeRecord指令，从P1开始。转换P2个寄存器，多个寄存器为r[P1,P1+P2]。将这些寄存器写成record format，作为数据库表的数据记录，或索引的key。P3指向了输出结果寄存器。即生成的记录保存在r[P3]中。P4指向了一个字符串。标识了r[P1,P1+P2]中每个寄存器的数据类型。 Insert指令，从P3指定的寄存器中读取rowid，从P2指定的寄存器读取要插入的数据，形成一条记录。将此记录保存到P1代表的游标所指的表中。 Noop指令，什么也不做。 Halt指令，立即退出。所有打开的游标，都会被自动释放。每个程序结束的地方都会被插入"Halt 0 0 0"指令。如果开启自动事务功能，若执行过程中无错，则提交事务。若出错，则执行回滚操作。 跟踪VDBE程序的执行如果SQLite库编译时没有使用NDEBUG预处理宏，那么PRAGMAvdbe_trace 令VDBE跟踪程序的执行。 这个功能最开始意图是测试和debug，它也用来学习VDBE是如何执行的。 使用"PRAGMA vdbe_trace=ON;"来开启跟踪，使用 "PRAGMA vdbe_trace=OFF"来关闭跟踪。像这样： sqlite> PRAGMA vdbe_trace=ON;
SQL: [PRAGMA vdbe_trace=ON;]
VDBE Trace:
0 Init 0 0 0 00 Start at 0
1 Expire 0 0 0 00
2 Halt 0 0 0 00
sqlite> INSERT INTO examp VALUES('Hello,99);
SQL: [INSERT INTO examp VALUES('Hello,99);]
VDBE Trace:
0 Init 0 9 0 00 Start at 9
9 Transaction 0 1 2 0 01 usesStmtJournal=0
10 TableLock 0 4 1 examp 00 iDb=0 root=4 write=1
11 Goto 0 1 0 00
1 OpenWrite 0 4 0 2 00 root=4 iDb=0; examp
2 NewRowid 0 1 0 00 r[1]=rowid
REG[1] = i:1
3 String8 0 2 0 Hello,World! 00 r[2]='Hello,World!'
REG[2] = t13[Hello,World!](8)
4 Integer 99 3 0 00 r[3]=99
REG[3] = i:99
5 MakeRecord 2 2 4 BD 00 r[4]=mkrec(r[2..3])
REG[4] = s17[03270148656C6C6F2C20576F726C6421.'.Hello,World!](8)
6 Insert 0 4 1 examp 1B intkey=r[1] data=r[4]
REG[4] = s17[03270148656C6C6F2C20576F726C6421.'.Hello,World!](8)
REG[1] = i:1
7 Noop 0 0 0 00
8 Halt 0 0 0 00
在trace模式中，VDBE在执行每一条指令之前都会打印它们。在这些指令执行之前，会显示操作数的内容。在执行之后，会显示所修改的寄存器的内容。如果没有修改寄存器，则不显示。 在显示寄存器内容时，会显示一个前缀，来说明它的数据类型。整数(Integer)类型的前缀为"i:"。 浮点类型的前缀为"r:".("r"代表real-number".)字符串类型的前缀为 "s:","t:","e:"或"z:". 这些不同的前缀是因为内存分配方式不同而导致的。z:类型字符串的内存由malloc()分配。 t类型的字符串的内存是静态分配的。e:类型的字符串是临时分配的。所有其它内存分配类型都加上s:前缀。对于使用者来说，这些类型没有什么不一样，但时对于VDBE来说则非常重要。因为当z类型的字符串出栈时，为了 避免内存泄漏，z类型的字符串需要被free()释放。 注意，只有字符串的前10个字符会被显示出来。二进制值(如MakeRecord指令的结果)被当作字符串处理。 简单查询你将了解VDBE是如何写数据库的。现在，让我们看一下它是如何查询的。我们将使用下面的简单的SELECT语句作为我们的例子。 sqlite> explain select * from examp; addr opcode p1 p2 p3 p4 p5 comment ---- ------------- ---- ---- ---- ------------- -- ------------- 0 Init 0 10 0 00 Start at 10 ????????????????????10 1 OpenRead 0 2 0 2 00 root=2 iDb=0; examp 2 Explain 0 0 0 SCAN TABLE examp 00 3 Rewind 0 8 0 00 4 Column 0 0 1 00 r[1]=examp.one 5 Column 0 1 2 00 r[2]=examp.two 6 ResultRow 1 2 0 00 output=r[1..2] 7 Next 0 4 0 01 8 Close 0 0 0 00 9 Halt 0 0 0 00 10 Transaction 0 0 1 0 01 usesStmtJournal=0 11 TableLock 0 2 0 examp 00 iDb=0 root=2 write=0 12 Goto 0 1 0 00 在我们查看此问题之前，让我们对SQLite的查询是如何工作的有个大概的了解。 我们将知道我们尝试完成什么。对于查询结果中的每一行，SQLite将调用callback函数。此函数的原型为： int Callback(void *pUserData,int nColumn,char **azData,char **azColumnName); SQLite库为VDBE提供此回调函数和pUserData指针。 (此callback和user data作为参数传递给sqlite_exec()函数。) VDBE的工作是为了填充nColumn,azData,and azColumnName的值。(The job of the VDBE is to come up with values for nColumn,azData[],and azColumnName[])。nColumn是结果集中的列数， azColumnName是一个字符串数组。每一个字符串是结果集中一列的名称。 azData是一个字符数组，它保存了实际的数据。 0 Init 0 10 0 00 10 Transaction 0 0 1 0 01 usesStmtJournal=0 11 TableLock 0 2 0 examp 00 iDb=0 root=2 write=0 12 Goto 0 1 0 00 此四条指令，是通用的初始化指令。在之前已经介绍过了。这里不再介绍了。 1 OpenRead 0 2 0 2 00 root=2 iDb=0; examp 指令1打开一个读cursor。这个cursor指向了要查询的数据库中的表。INSERT例子中的OpenWrite指令也具有同样的功能。 不同之处是，这次是为了读而打开一个cursor。 2 Explain 0 0 0 SCAN TABLE examp 00 此指令并不影响查询操作。略过。 3 Rewind 0 8 0 00 Rewind指令初始化一个循环，此循环用来迭代遍历"examp"表。此指令使P1重新指向此表中的第一个entry。此循环需要Column和Next指令，这两个指令使用此游标来遍历此表。 如果此表为空，则跳转到P2(8)指向的指令，此指令(me:Close指令)会跳出循环。如果此表不为空，则运行在地址4处的指令(me:Column指令)，此指令为循环体的第一个指令。 4 Column 0 0 1 00 r[1]=examp.one 5 Column 0 1 2 00 r[2]=examp.two 6 ResultRow 1 2 0 00 output=r[1..2] 地址4到地址6形成了循环的主体，此循环对于数据库文件中的每条记录执行一次。 地址4到5处的Column指令，解析游标P1指向的数据。此数据的格式为数据记录，由MakeRecord指令生成此数据记录。(关于此记录格式的更多信息请看MakeRecord操作码。) 从此记录中抽取第P2列。抽取出的值保存在P3寄存器中。在此例中，第一个Column指令将"one"列的值放入寄存器1中。第二个Column指令将"two"列的值放入寄存器2中。 地址6处的ResultRow指令，将之前由Column指令填充好的多个连续的寄存器，赋给了sqlite3_stmt。即将r(P1)到r(P1+P2-1)寄存器赋给sqlite3_stmt。r(P1)到r(P1+P2-1)寄存器即是查询结果中的一行的内容。ResultRow指令可返回SQLITE_ROW，终止sqlite3_step()。 假设使用sqlite3_exec函数执行SQL查询语句。从sqlite3_step函数返回后，从sqlite3_stmt取出此行数据。并调用用户提供的回调函数，传出此行的列数量，列名称，列内容。 7 Next 0 4 0 01 地址7处的Next指令实现了循环的分支。与地址3处的Rewind指令一起形成了循环逻辑。 这是一个关键的概念，你应该着重关注。 Next指令步进此P1代表的游标，使之批向下一条记录。如果此游标步进成功，那么立即跳转到P2（4，循环开始的地方）。 如果此游标已指向结尾，那么运行之后的指令，不再执行循环。 8 Close 0 0 0 00 9 Halt 0 0 0 00 程序尾部的Close指令关闭了cursor。此cursor指向了表"examp"。调用Close也不是必需的， 因为当此程序结束时，VDBE会自动地关闭所有的cursor。但是为了Rewind指令跳转，我们需要一个指令。Halt指令结束此VDBE程序。 （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |