你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

什么是训练和建模?

模型是为特定语言对提供翻译的系统。 成功培训的结果即为一种模型。 若要训练模型,需要三种互斥的文档类型:训练、优化和测试。 还可以提供字典文档类型。 有关详细信息,请参阅 句子对齐

如果在对训练进行排队时仅提供训练数据,则自定义翻译器会自动收集优化和测试数据。 它使用训练文档中的随机句子子集,并从训练数据本身中排除这些句子。

自定义翻译器的训练文档类型

培训集中包含的文档由自定义翻译用作构建模型的基础。 在培训执行期间,这些文档中存在的句子是对齐的(或配对的)。 可以随意修改培训文档集。 可以在一个模型中包含你认为具有切线相关性的文档。 此外,在另一个模型中排除它们,以查看 BLEU(双语评估研究)评分中的影响。 只要保持调整集和测试集不变,就可以随意更改培训集的组成内容。 这种方法是修改翻译系统质量的一种有效方法。

可以在一个项目中运行多个培训,并跨所有培训运行比较 BLEU 评分。 当运行多个训练以进行比较时,请确保每次都指定相同的优化/测试数据。 另外,请务必在“测试”选项卡中手动检查结果。

自定义翻译器的优化文档类型

自定义翻译使用此集中包含的并行文档来调整翻译系统以获得最佳结果。

在训练期间使用优化数据将翻译系统的所有参数和权重调整到最佳值。 仔细选择优化数据:优化数据应代表你在将来打算翻译的文档的内容。 优化数据对所完成的翻译的质量具有重大影响。 优化使翻译系统提供的翻译最接近在优化数据中提供的样本。 优化数据中不需要超过 2500 个句子。 为了获得最佳的翻译质量,建议通过选择最具代表性的句子选项来手动选择调整集。

创建调整集时,请选择将要翻译的有意义且有代表性长度的句子。 选择一些具有你要翻译的单词和短语的句子,这些单词和短语预期大致分布于你未来的翻译中。 在实践中,7 到 10 个单词的句子长度将产生最佳效果。 这些句子包含足够的上下文来显示转折并提供重要的短语长度,而不会过于复杂。

在调整集中使用的句子类型的一个不错描述是散文:实际流畅的句子。 不是表格单元格,不是诗歌,不是事物列表,不仅是标点符号,或句子中的数字 - 常规语言。

如果手动选择你的优化数据,则它不应与训练和测试数据有任何相同的句子。 优化数据对翻译质量有显著影响 - 请仔细选择句子。

如果不确定要选择什么作为优化数据,则只需选择训练数据,让自定义翻译器为你选择优化数据。 在让自定义翻译器自动选择优化数据时,它会使用双语训练文档中的随机句子子集,并从训练材料本身中排除这些句子。

自定义翻译的测试数据集

测试集中包括的并行文档用于计算 BLEU(双语评估研究)评分。 此评分表示翻译系统的质量。 此评分实际告知翻译系统在此次训练后提供的翻译,与测试数据集中的参考句子之间的近似程度。

BLEU 评分是自动翻译与参考翻译之间的差值的度量。 其值范围为 0 到 100。 得分为 0 表示翻译中没有出现单个参考词。 得分为 100 表示自动翻译与参考完全匹配:相同的单词位于完全相同的位置。 你收到的分数是测试数据中所有句子的 BLEU 分数平均值。

测试数据应该包括并行文档,其中的目标语言句子是对应的源语言句子在源/目标对中最理想的翻译。 你可能想要使用组成优化数据时使用的条件。 但是,测试数据对翻译系统的质量没有影响,并专门用于为你生成 BLEU 分数。

测试数据无需超过 2,500 个句子。 在让系统自动选择测试集时,它将使用双语培训文档中的随机句子子集,并从培训材料本身中排除这些句子。

可以通过导航到模型中的测试选项卡,查看测试集的自定义翻译,并将它们与测试集中提供的翻译进行比较。

后续步骤