内容审核

介绍

Spring AI 支持 OpenAI 的 Moderation 模型，该模型可以帮助你检测文本中潜在的有害或敏感内容。请参考本指南获取有关 OpenAI Moderation 模型的更多信息。

前置条件

创建一个 OpenAI 账号并获取 API 密钥。你可以在 OpenAI 注册页面进行注册，并在 API Keys 页面生成 API 密钥。
将 spring-ai-openai 依赖添加到你项目的构建文件中。有关更多信息，请参考依赖管理部分。

内容审核属性

连接属性

sprint.ai.openai 前缀用于配置与 OpenAI 的连接相关属性。

属性	描述	默认值
`spring.ai.openai.base-url`	连接的 URL 地址	`api.openai.com`
`spring.ai.openai.api-key`	OpenAI API Key	-
`spring.ai.openai.organization-id`	可选：指定用于 API 请求的组织	-
`spring.ai.openai.project-id`	可选：指定用于 API 请求的项目	-

对于属于多个组织的用户（或通过旧版用户 API Key 访问项目的用户），可以选择性地指定 API 请求使用的组织和项目。此类 API 请求的使用量将计入指定的组织和项目。

配置属性

启用或禁用 Moderation（内容审核）自动配置现在通过顶级属性 spring.ai.model.moderation 来配置。

启用：spring.ai.model.moderation=openai（默认启用）
禁用：spring.ai.model.moderation=none（或任何不等于 openai 的值）

此更改是为了支持配置多个模型。

配置 OpenAI 审核模型的属性前缀为 spring.ai.openai.moderation。

属性	描述	默认值
`spring.ai.model.moderation`	启用 Moderation 模型	`openai`
`spring.ai.openai.moderation.base-url`	连接 URL	`api.openai.com`
`spring.ai.openai.moderation.api-key`	API Key	-
`spring.ai.openai.moderation.organization-id`	可选：指定用于 API 请求的组织	-
`spring.ai.openai.moderation.project-id`	可选：指定用于 API 请求的项目	-
`spring.ai.openai.moderation.options.model`	用于内容审核的模型 ID	`omni-moderation-latest`

你可以覆盖通用属性 spring.ai.openai.base-url、spring.ai.openai.api-key、spring.ai.openai.organization-id 和 spring.ai.openai.project-id。如果设置了 spring.ai.openai.moderation 下的对应属性，它们将优先于通用属性。这在不同模型或不同模型端点需要使用不同 OpenAI 账户时非常有用。

所有以 spring.ai.openai.moderation.options 为前缀的属性都可以在运行时覆盖。

运行时选项

OpenAiModerationOptions 类提供了在发起内容审核请求时使用的配置选项。在应用启动时，会使用 spring.ai.openai.moderation 中指定的默认选项，但你也可以在运行时覆盖这些选项。

例如：

OpenAiModerationOptions moderationOptions = OpenAiModerationOptions.builder()
    .model("omni-moderation-latest")
    .build();

ModerationPrompt moderationPrompt = new ModerationPrompt("需要审核的文本", this.moderationOptions);
ModerationResponse response = openAiModerationModel.call(this.moderationPrompt);

// 获取审核结果
Moderation moderation = moderationResponse.getResult().getOutput();

// 输出一般信息
System.out.println("审核 ID: " + moderation.getId());
System.out.println("使用模型: " + moderation.getModel());

// 获取审核结果（通常只有一条，但返回的是列表）
for (ModerationResult result : moderation.getResults()) {
    System.out.println("\n审核结果:");
    System.out.println("是否标记: " + result.isFlagged());

    // 获取类别信息
    Categories categories = this.result.getCategories();
    System.out.println("\n类别:");
    System.out.println("性内容: " + categories.isSexual());
    System.out.println("仇恨: " + categories.isHate());
    System.out.println("骚扰: " + categories.isHarassment());
    System.out.println("自残: " + categories.isSelfHarm());
    System.out.println("未成年人性内容: " + categories.isSexualMinors());
    System.out.println("威胁性仇恨: " + categories.isHateThreatening());
    System.out.println("暴力/血腥: " + categories.isViolenceGraphic());
    System.out.println("自残意图: " + categories.isSelfHarmIntent());
    System.out.println("自残指导: " + categories.isSelfHarmInstructions());
    System.out.println("威胁性骚扰: " + categories.isHarassmentThreatening());
    System.out.println("暴力: " + categories.isViolence());

    // 获取各类别的分数
    CategoryScores scores = this.result.getCategoryScores();
    System.out.println("\n类别分数:");
    System.out.println("性内容: " + scores.getSexual());
    System.out.println("仇恨: " + scores.getHate());
    System.out.println("骚扰: " + scores.getHarassment());
    System.out.println("自残: " + scores.getSelfHarm());
    System.out.println("未成年人性内容: " + scores.getSexualMinors());
    System.out.println("威胁性仇恨: " + scores.getHateThreatening());
    System.out.println("暴力/血腥: " + scores.getViolenceGraphic());
    System.out.println("自残意图: " + scores.getSelfHarmIntent());
    System.out.println("自残指导: " + scores.getSelfHarmInstructions());
    System.out.println("威胁性骚扰: " + scores.getHarassmentThreatening());
    System.out.println("暴力: " + scores.getViolence());
}

此示例演示了如何：

创建审核请求并调用 OpenAI Moderation 模型。
获取审核结果及模型信息。
遍历每个审核结果，读取各类别的标记和分数。

手动配置

将 spring-ai-openai 依赖添加到项目的 Maven pom.xml 文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai</artifactId>
</dependency>

或者在 Gradle 的 build.gradle 文件中：

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai'
}

可参考依赖管理章节，将 Spring AI BOM 添加到构建文件中。

接下来，创建一个 OpenAiModerationModel：

OpenAiModerationApi openAiModerationApi = new OpenAiModerationApi(System.getenv("OPENAI_API_KEY"));

OpenAiModerationModel openAiModerationModel = new OpenAiModerationModel(openAiModerationApi);

OpenAiModerationOptions moderationOptions = OpenAiModerationOptions.builder()
    .model("omni-moderation-latest")
    .build();

ModerationPrompt moderationPrompt = new ModerationPrompt("需要审核的文本", moderationOptions);
ModerationResponse response = openAiModerationModel.call(moderationPrompt);

此示例演示了如何：

初始化 OpenAI Moderation API 并创建模型实例。
配置审核选项（如使用的模型）。
构建审核请求并调用模型获取审核结果。

示例代码

OpenAiModerationModelIT 测试提供了该库的一些通用使用示例。你可以参考此测试以获取更详细的使用示例。

ElevenLabs

Mistral AI