这是什么#
可搜索、按月跟踪 freemdict 上 MDict 词典的索引(原文:Searchable, monthly-tracked index of the MDict dictionaries on freemdict)
- 代码仓库:https://github.com/xiaolai/mdict-index
- 主要用 Python 写成
最近的改动#
其他改动
- 提交 jev 的重音对比答案,让每次构建都统一标记它们
- jev 缺失时立即停止生成词库清单,并说明原因
- 并行解析第 1 层和第 3 层,并按哈希值顺序写入第 3 层
- 在 DICTIONARIES.md 中列出推荐使用的词典
- 为词条和词义使用即使重新构建也不会改变的键名
- 按三字组为中文释义建立索引,并在启动时预热查询服务
- 把「做出好用的工具」的计划、过程中的决定和最终结果都记录下来
- 写清楚仓库每个部分是什么,以及怎样从零开始构建
- 给查词服务加上「分析」页面和对应的 POST /api/analyze 接口
- 新增文本分析工具,把词表用到成段的英文上
- 构建本地工具前先加一道检查
- 把抽查结论共享出来,这样不装 jev 也能构建语料库
- 丢掉那些所属词典已从索引中移除的抽查结果
- 不再把普通词条和词源信息误判成易混词和拼写错误
- 能读懂短语写法里粘连在一起的释义、分号和末尾的占位成分
- 在不用 jev 的情况下构建词表,并把这一点记录下来
- 新增一个按顺序把所有词表都构建一遍的脚本
- 补充本地词典数据库和测试命令的说明文档
- 在 CI 里把所有测试都跑一遍
- 新增平行语料的构建脚本和配套文档
- 支持把平行语料导出成 JSONL、TSV 或 TMX 格式
- 每本词典进入语料库之前,先抽查它的准确率
- 用整理好的记录建出平行语料数据库
- 先把选中的每本词典的例句都准备好,再逐条评判
- 用远程抽样的方式,挑选双语对照语料要用哪些词典
- 补上双语对照语料里「例句配对」的读取规则
- 给各类词表写说明文档
- 针对复查出的词表问题补上回归测试,防止再犯
- 逐份检查生成的词表是否符合既定规则
- 用人工核对过的标准样本,检验词表读取的准确度
改动标题译自作者提交代码时写的英文原文,点击可查看原文。