renyh
commented
2 years ago 1.删除使用postgresql的dp2kernel实例，报未知的sql服务器类型'PostgreSQL'
2022/4/7-ryh 发现此问题
2022/4/8-ryh dp2installer的v3_ref新版本，删除dp2kernel实例还有问题，分下面两种情况：
1）在dp2installer里安装时，不直接创建4个库，那是产生的postgres数据库里面是空表，这种情况下。可以删除dp2kernel实例
2）如果创建了数据库，不论是安装时创建的4个库，还是在内务创建的数据库，则在删除dp2kernel时，会报postsql的数据库被占用
2022/4/8-1347-ryh：为了彻底清理之前的postgre环境，重新安装postgresql，当dp2library实例中创建了数据库后，删除dp2kernel实例报postgre中的某数据库被占用，重现了问题。
2022/4/8-1427-ryh：v3_ref新版本删除dp2kernel不再报postgre的数据库被占用了，符合预期。
严格按下面步骤操作：
1)安装dp2kernel
2)安装dp2library，自动创建4个库
3)在内务给图书库导入一些marc
4)在dp2installer里，直接删除dp2kernel。正常删除，没有报postgre的数据库被占用。
5)用psql命令查看，已经不存在dp2kernel对应的数据库了。
开发老师留言： dp2installer 中 dp2kernel 实例管理界面删除实例时报错说删除 pgsql 数据库失败，可能是由于 ConnectionPool 没有释放连接造成的，已经增加了释放连接的语句。
2.新建实例的数据表没有在对应的数据库下，而是在postgresql数据库下，不符合预期。 2022/4/7-ryh 发现此问题 2022/4/8 dp2installer的v3_ref新版本，已解决此问题，数据表创建在了对应的数据库下，符合预期。
3.配置postgresql参数的界面在屏幕显示比例150%，显示不全。 2022/4/7-ryh 发现此问题 2022/4/8 dp2installer的v3_ref新版本，已解决此问题，在电脑150%的显示时，postgre配置界面可以显示完整，且密码只有一个输入框了，取消了再次输入密码，因为不是创建密码是使用密码，所以一个密码框就行，符合预期。
2022/4/12 培训内容：在底层数据库针对原始数据xml及下级对象的存储，分成两种方式：1）用文件存储，2）用二进制大数据字段存储。 1）先回顾一下dp2library逻辑库、dp2kernel库、商用底层库 三者关系。提问方式 2）回顾一下一个数据库包括哪些表，分为两类，怎么产生的？提问方式 3）回顾一下mysql的存储，如何查看存储的xml文件？提问方式 4）再看postgre的存储 5）介绍书目下对象资源的存储。 6）当postgre数据底层，xml或对象资源超过二进制字段最大尺寸时，则用文件存储。
关于数据xml存储
原始xml数据存储在各库的records表。
postgre把原始数据xml存在了二进制字段，看到data/newdata中有值，filename/newfilename为null。 data/newdata是bytea类型，最大尺寸是1G。当xml数据超过bytea最大尺寸时，会存储在windows文件中。但xml不太好造出超过1G的尺寸，我们可以用数字对象来测试。https://blog.japinli.top/2020/04/postgresql-large-object/
bytea与oid比较，目前我们使用的bytea类型
MySQL是把原始数据xml直接存储在windows文件中，看到filename/newfilename有值，没有data与newdata字段。
关于数字对象存储
关于数字对象，是跟着父亲书目的（根据id命名就能认出来），数字对象也是存储records表。
postgre
与xml相同，postgre将数字对象存储在records表，当对象尺寸超过bytea类型字段允许的最大尺寸1G时，会存储在windows文件中。我们可以用大数字对象来测试。
下面这条是存储在数据表中的二进制字段中
下面这条由于超过二进制字段能存储的最大尺寸1G，所以存储到了文件中
mysql
与xml相同，MySQL也是把数字对象存储在windows文件中。
2022/4/14 发现pgsql作为底层，删除某一数据库时把其它库也删除了
2022/4/14 dp2installer 的 v3ref 版本更新了。多删除 SQL 表的问题是由于不正确使用 like 引起的，bug 已经修正。后面请千万注意也测试一下 Oracle 版本，有没有同样的多删除 SQL 表的问题
另外 dp2installer 安装 dp2kernel 时输入 pgsql 参数的对话框，去掉了“管理者数据库”这个 textbox 和其下的一个 checkbox，注意测试时候观察一下这样是不是还足以完成正常安装。
2022/4/15 6:14:20 v3_ref新版本，删除数据库不会连带删除其它库了。在内务删一个库，或同时选多个库一起删除，都不会影响其它库，符合预期。记下oracle要测试这一点。
v3_ref新版本，看到pgsql参数对话框去掉了“管理者数据库”及其下checkbox。 测试创建dp2kernel实例、创建library，导入数据，观察pgsql底层库，都正常，符合预期。 删除dp2kernel实例正常，同时删除了pgsql库，符合预期。
sql server数据库中，data/newdata是image类型。当对象尺寸超过image类型字段允许的最大尺寸2G时，会存储在windows文件中，其缺省值为2G
SZCND
解决问题说明
20220704说明 在最新测试版里面 Oracle 数据库底层的 dp2kernel 删除实例的时候，可以干净删除 dp2kernel_oarcle 账户和对应的表空间了
20220624说明 oracel数据库是把书目下 对象文件存到本地文件夹中，在databases.xml文件下sqlserverdb元素内添加object/@startSize的方式没有作用。
20220517说明 dp2installer v3_ref 版本更新改进，就是在 dp2kernel 连接 Pgsql 数据库的时候，databases.xml 里面 object/@startSize 属性值不允许配置为 102400 以外的值(如果配置了另外的值会报错)。当然不配置这个属性也是可以的，缺省就是 102400 的效果。
20220516说明 新版本更新修复了mysql收尾报错，postgresql数据目录增大异常的问题。
20220421说明 （postgresql数据库存储二进制大数据文件崩溃，bytea类型存储界限为1G，上传小于1G的文件崩溃。databases.xml配置3G的界限值，上传小于1G和大于1G的也会崩溃）
http://dp2003.com/dp2Installer/v3_ref/publish.htm （支持postgresql数据库的dp2installer下载地址）
20220429说明 目前是这个想法：针对postgresql测试，第一次加1字节，第二次加2字节，第三次加3字节，依然会膨胀，把对象和字段结合，先写入对象，然后再一次性写入bytea
20220428说明 时间戳是防范多个前端，访问同一实例，在同样的书目下级记录对象中上传文件的情况 比如上传一个文件，100MB，每次上传10MB，分十次上传完成，当第一次上传完之后前端会告诉服务器“我传完了”，发了一个1，服务器收到之后表示“我知道了”，就返回一个2，前端收到了2，就继续上传下一个10MB的文件，这时另一台前端也在这条书目下的对象中上传文件，也给服务器发了一个1，服务器又收到了，但是刚才已经收到过了并发了一个2，因此这时就拒绝给这台前端返回值了，而这台前端就会提示“时间戳不匹配”
20220420说明 sql server数据库把原始数据xml存在了二进制字段，看到data/newdata中有值，filename/newfilename为null。 data/newdata是image类型，最大尺寸为2G，当超过这个尺寸时会存储到本地文件夹中
sqlite数据库和MySQL数据库都是将数据存储到本地文件夹中，可以用第三方工具打开records表，看到具体行中的filename，也就是该kernel实例object目录下对应的具体库中的文件夹
20220413更新 dp2installer 的 v3ref 版本更新了。多删除 SQL 表的问题是由于不正确使用 like 引起的，bug 已经修正。后面请千万注意也测试一下 Oracle 版本，有没有同样的多删除 SQL 表的问题
20220413说明 postgresql缺省为 100 * 1024，默认100KB以内的文件存储于records表内，超过这个值存储于本地文件夹中 在databases.xml中property/sqlserverdb/object/@startSize 定义了这个尺寸 源代码：https://github.com/DigitalPlatform/dp2/blob/dp2kernel_refactor_1/DigitalPlatform.rms.db/SqlDatabase.cs
20220409说明 dp2kernel创建实例时的SQL服务器名是SQL shell工具中server[localhost] 管理者账户是SQL shell工具中Database[postgres]
dp2kernel数据库目录database.xml文件中的内容就是SQL shell中对应数据库的表，其中db_numbers对应表中前端的db_numbers。数据库由底层的主表加上多中keys表组成
安装的数据库与database.xml中sqlserverdb name="db_numbers"对应，并根据这些内容生成表
dp2内务系统管理/内核中的库对应dp2kernel实际物理库
dp2内务种册窗下级记录中的对象可以存错到postgresql数据库record表中具体某一书目表的字段中
测试内容简要说明
测试目录
使用postgresql、mysql、sqlite、oracle、ms sql server 进行测试，测试目录按照postgresql数据库来写
一、基础测试 https://github.com/DigitalPlatform/dp2/issues/365
二、创建实例时对postgreSQL的观察 2.1 创建新实例，预期在SQL shell中能看到该库 2.2 查看表是否对应，预期SQL shell中表与实例数据目录中database.xml中的内容一致 2.3 删除该实例，预期库不存在
三、大数据量测试 3.1 5万册书进行借还，检索，预期成功 3.2 10万册书进行借还，检索，预期成功 3.3 50万册书进行借还，检索，预期成功 3.4 100万册书进行借还，检索，预期成功
四、种册窗“对象”测试 4.1 上传文件（1M/1G），预期成功上传 4.2 导出文件（1M/1G），预期成功下载 4.3 观察底层文件，预期小文件存储在字段中，大文件以文件形式存储
五、大备份下载和恢复测试 5.1 小数据量5万册，大备份下载，大备份恢复，预期成功 5.2 大数据量50或100万册，大备份下载，大备份恢复，预期成功
六、底层文件尺寸测试 6.1 修改databases.xml中对象文件上传的尺寸限制 6.2 sql server数据库作为底层，不修改databases.xml，预期上传超出2G的文件存到本地文件夹中（查一下dp2的代码， 看看代码中是不是按2G做了分界。） 6.3 在书目下对象中的同一ID记录中上传2次文件，预期第二次上传的文件会覆盖第一次的文件 6.4 sql server数据库为底层，在书目下对象中上传100MB的文件，数据库数据目录对应文件尺寸会增大，然后删除该记录预期该文件尺寸不会减小 将对象文件删除，再次上传一个小于100MB的文件，预期数据库数据目录对应的文件为第一次上传的尺寸，不会有变化 将对象文件删除，再次上传大于100MB的文件，预期数据库数据目录对应的文件尺寸增大 6.5 打开2个前端，登录同一实例，在同一书目下级记录对象中上传文件，预期一个成功，一个失败提示“时间戳不匹配”
七、opac翻页预览测试 7.1 在opac上翻页预览没有问题
八、检索点测试 https://jihulab.com/DigitalPlatform/dp2doc/-/tree/main/keys%E6%A3%80%E7%B4%A2%E7%82%B9%E6%B5%8B%E8%AF%95