OpenAIのModeration APIがスゴイ！使い方や注意点も徹底解説

WEELメディア事業部AIライターの2scです。

みなさん、OpenAIの「Moderation API」はご存知ですか？

こちらは、生成AIや人間によるテキストが有害か無害かを判別してくれるAIモデル。すでに一部の国内企業で活用されていて、パナソニック系列の全従業員がアクセスできる生成AIチャット「Connect AI」にも搭載されているんです！

当記事では、そんな「Moderation API」の機能・注意点・使い方を徹底解説。実際に使ってみた様子も、画像付きでお届けします。

完読いただくと、チャットボット開発が捗っちゃう……かも！ぜひぜひ、最後までお読みください。

OpenAIの検閲用モデル「Moderation API」

「Moderation API」はChatGPT API（OpenAI API）から使えるテキスト分類用のAIモデルです。テキストに暴力表現や性的表現などの有害・不適切な内容が含まれていないかを判別するものとなっています。

そんなModeration APIの使い道として挙げられるのは……

• 大規模言語モデル（LLM）が生成したコンテンツを検閲する
• SNS・掲示板から悪意のある書き込みを探し出す

以上のとおり。ちなみにLLMの検閲については、パナソニック「ConnectAI」などの事例があります。

なお、国内企業におけるModeration APIの活用事例について詳しく知りたい方は、下記の記事を合わせてご確認ください。

WEEL

【ConnectAI】パナソニックが開発した生成AIチャットがすごい！導入効果を徹底解説 | WEEL WEELメディア事業部AIライターの2scです。 みなさん、パナソニックの生成AI導入事例はご存知ですか？ パナソニックでは自社開発の生成AIチャット「ConnectAI」を業務に活用…

Moderation APIでできること

ここからは、Moderation APIでできること・機能について解説していきます。Moderation APIでできるのは……

• テキストに対する有害or無害の判断
• カテゴリ別での有害or無害の判断
• カテゴリ別での有害度の数値化

以上3点。まずはメインの「有害or無害の判断」から、詳しくみていきましょう！

テキストに対する有害or無害の判断

Moderation APIは入力したテキストに対して、有害か無害かを判別して返すことが可能です。（※1）出力は真偽値（bool型）で、有害なら「True」が、無害なら「False」が返ってきます。この機能をLLMやRAGと組み合わせることで、有害なコンテンツをユーザーに表示しないチャットボット等が作れるでしょう。

カテゴリ別での有害or無害の判断

Moderation APIは、暴力 / ヘイト / 性的…etc.のカテゴリ別でも、有害か無害か（True / False）の判別ができます。（※1）判別を行うカテゴリはOpenAIの「Usage policies」が定める……

以上の11項目。（※2）こちらはSNSや掲示板の書き込みから、誹謗中傷や脅迫のみを検出したい場合に使えそうです。

カテゴリ別での有害度の数値化

Moderation APIでは入力したテキストについて、先述の11カテゴリ別で「有害度合いの数値」も取得できます。その仕様としては……

ポリシー違反に対する信頼度を0から1で表現する

というものになっています。（※1）

Moderation APIでの注意点

続いては、Moderation APIの注意点についても2点だけご紹介します。まずはOpenAI公式が発表している注意点から、みていきましょう！

日本語でのサポートは限定的

OpenAIいわく、非英語圏でのModeration APIのサポートは限定的、とのことです。（※1）日本語テキストに対する検閲の精度は、あまり期待しすぎないほうがよいでしょう。

検閲しきれない表現もある

上記に関連して、Moderation API単体では検閲しきれない表現にも注意が必要です。とくに性的表現については、直接的な描写を伴わない限り検閲ができません。

たとえば、下記の文章はあからさまに性的なコンテンツへの誘導なのですが……

直接的な表現がないため「無害」とみなされてしまいます。

なお、倫理的に優れた自律型AIエージェントについて詳しく知りたい方は、下記の記事を合わせてご確認ください。

WEEL

【Hierarchical Autonomous Agent Swarm】道徳性、倫理性を備えた人間のような自律型AIエージェントを使っ… Hierarchical Autonomous Agent Swarm (HAAS)の概要と使ってみた感想をお伝えします。HAASは、プロンプトを入力するだけでツールの作成と実行ができるAIツールです。AIエー…

Moderation APIの料金体系

Moderation APIは、なんと完全無料で利用可能。（※3）大半が従量課金制を採用しているChatGPT APIのモデルのなかでは希少な存在です。

ちなみに、ChatGPT API管理画面の「Usage」でのModeration APIの扱いは……

以上のとおり。利用回数としてカウントされるものの、料金は発生していませんね。

Moderation APIの使い方

Moderation APIは、Pythonから呼び出し・利用が可能です。利用にあたって必要な環境は……

● Python 3.7以上
● OpenAIライブラリ（openai）必須

以上のとおりになります。

さて、肝心のModeration APIの使い方はというと……

1. APIキーの入力
2. テキストの判別

こちらの2ステップだけ。各工程でのPythonコードは、下記のとおりになっています。

!pip install openai

#APIキー入力
import os
os.environ["OPENAI_API_KEY"] = "任意のAPIキー"

from openai import OpenAI
client = OpenAI()

response = client.moderations.create(input="判定させたいコンテンツ”)
output = response.results[0]
print(output)

なお入力に対する結果の例・意味は、下記をお読みください。

from openai import OpenAI
client = OpenAI()

response = client.moderations.create(input="今日は天気がよいので気持ちがいい。”)
output = response.results[0]
print(output)

Moderation(categories=Categories(harassment=False, harassment_threatening=False, hate=False, hate_threatening=False, self_harm=False, self_harm_instructions=False, self_harm_intent=False, sexual=False, sexual_minors=False, violence=False, violence_graphic=False, self-harm=False, sexual/minors=False, hate/threatening=False, violence/graphic=False, self-harm/intent=False, self-harm/instructions=False, harassment/threatening=False), category_scores=CategoryScores(harassment=8.02820886747213e-06, harassment_threatening=1.1421356020946405e-06, hate=9.956957001122646e-06, hate_threatening=1.687381967485635e-07, self_harm=4.6783679152895274e-08, self_harm_instructions=1.549825690005946e-08, self_harm_intent=5.557416571377871e-08, sexual=7.60787443141453e-05, sexual_minors=2.1790442588098813e-06, violence=1.007319224299863e-05, violence_graphic=5.682369419446331e-07, self-harm=4.6783679152895274e-08, sexual/minors=2.1790442588098813e-06, hate/threatening=1.687381967485635e-07, violence/graphic=5.682369419446331e-07, self-harm/intent=5.557416571377871e-08, self-harm/instructions=1.549825690005946e-08, harassment/threatening=1.1421356020946405e-06), flagged=False)

次項では、実際にこのModeration APIを使ってテキストの検閲を試してみます。

Moderation APIの実力を試してみた！

ここからは、実際にModeration APIにテキストを渡してみて、検閲能力の限界を調べてみます。

実験にあたっては、Google Colaboratory（Colab）を使用。Pythonコードについては、下記のとおりコンパクトにまとめています。

from openai import OpenAI
client = OpenAI()

#Moderation API用の関数を定義
def run_moderation_api(content):
    response = client.moderations.create(
        input = content
        )
    return response.results[0]

output = run_moderation_api("〇〇〇〇〇")
print(output)

ということで、まずは暴力系の表現からModeration APIの実力を試していきましょう！

暴力系の表現

では早速、暴力系の表現を含むテキストをModeration APIに入力していきます。手始めに、下記のテキストを入力してみると……

当然ですが、暴力（violence）の項目で「有害」判定が返ってきました。

続いて、より暴力的な内容をModeration APIに入力してみると……

以上のとおり、同じく暴力（violence）の項目で、より高い有害度の「有害」判定が返ってきます。どうやら、直接的な暴力表現は漏れなく検閲できる模様。優秀ですね！

今度は趣旨を変えて、どこか未練を感じさせる下記のテキストについても、Moderation APIに検閲してもらいます。気になる結果は……

なるほど、こちらはviolence_graphicでの有害度が高めなものの、「無害」判定でした。同様の歌詞を含むJ-POPの某曲は、安心して聴けそうですね。

侮辱・ヘイト系の表現

ここからは、SNSや掲示板で問題になりやすい侮辱・ヘイト系の表現についても、Moderation APIで検閲してみます。まずは下記、SNSにありがちな主語の大きな批判について、Moderation APIの判断は……

お見事！ハラスメント（harassment）の観点から、「有害」判定を返してくれました。

続いては、匿名掲示板を想定したヘイトスピーチについてもModeration APIにジャッジしてもらいます。すると、Moderation APIは……

以上のとおり、ハラスメント（harassment）とヘイトコンテンツ（hate）の2項目で高い有害度を示しました。これなら、エゴサーチの結果をスクレイピングしてModeration APIに誹謗中傷を検出させる、といった使い方ができそうですね。

アダルト系の表現

最後に、Moderation APIによるアダルトコンテンツの検閲も試してみます。まずは、医学的ともとれる下記のコンテンツから、結果をみていきましょう！

残念！この程度の表現では弾いてもらえないようです。

気を取り直して、今度は下記のテキストをModeration APIに入力していきます。すると……

先ほどよりも性的コンテンツ（sexual）での有害度が上がったものの、まだまだ「無害」とのことです。

続いては下記、当メディアで扱えるギリギリの表現を試してみます。気になる結果は……

またしても「無害」でした。性的コンテンツ（sexual）での有害度は上がっていますが、それでも0.3弱。チャットボットに組み込む場合は別の手立てが要りそうです。

なお、ChatGPTが不適切なコンテンツを生成してしまう事例について詳しく知りたい方は、下記の記事を合わせてご確認ください。

WEEL

プロンプトエンジニアリングの秘訣17選：ChatGPTを仕事に活かす実践テクニック | WEEL 当記事では生成AIに適切な命令を与えるための方法論「プロンプトエンジニアリング」を紹介。その具体的な手法についても、ChatGPT上で実践しつつ解説しております。LLM（大…

生成コンテンツの番人「Moderation API」

当記事では、Moderation APIについてその機能や注意点、使い方をご紹介しました。Moderation APIについて、以下でもう一度振り返ってみましょう！

• Moderation APIにできること
  • テキストに対する有害or無害の判断
  • カテゴリ別での有害or無害の判断
  • カテゴリ別での有害度の数値化
• Moderation APIの注意点
  • 日本語でのサポートは限定的
  • 検閲しきれない表現もある
• Moderation APIの料金体系
  • 完全無料
  • 管理画面では利用回数のみカウント

以上の特徴をもつModeration APIは、チャットボットの検閲にうってつけ。Moderation APIの判定結果をもとに、生成物を表示するか否かが決定できます。

また、変わった活用法だとSNSや掲示板における悪意ある書き込みの検出にも最適。使える場面は限られますが、使い方を知っておくと便利なAIツールが作れるかも……です！

生成系AIの業務活用なら！

・生成系AIを活用したPoC開発

・生成系AIのコンサルティング

・システム間API連携

無料ダウンロード

最後に

いかがだったでしょうか？

弊社では

・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発

などの開発実績がございます。

まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。

︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。

生成AIを社内で活用していきたい方へ

「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。

セミナー内容や料金については、ご相談ください。

また、弊社紹介資料もご用意しておりますので、併せてご確認ください。

セミナーを依頼する

資料をダウンロードする