AI rinnaをローカルPCで動かしてみる

Tweet

ChatGPTをローカルで実行できるようにしたいけど、GPT-2なら出来るらしい。
GPT-2の日本語対応版が出ていて、LINEで有名なrinnaがGPT-2で出来ているみたいです。

コードを見たら、かなり簡単に動きました。

動かし方

まず、以下のモジュールをインストールします。

pip install transformers==4.20.1
pip install sentencepiece

あと、pytorchもインストールしますが、環境によってインストール方法が違うので、pytorchの公式サイトの通りにインストールします。
pytorch

後は、次のコードをコピーして動かすだけ。

# coding:UTF-8
from transformers import AutoModelForCausalLM, T5Tokenizer

# モデルとトークナイザーの読み込み
tokenizer = T5Tokenizer.from_pretrained("rinna/japanese-gpt-1b")
model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt-1b")

# 生成したいテキストのプロンプトを設定
prompt = "むかしむかし、あるところに、おじいさんとおばあさんが住んでいました。 おじいさんは"

# トークン化
input_ids = tokenizer.encode(prompt, return_tensors="pt")

# 文章生成
output = model.generate(
    input_ids,
    max_length=100,
    min_length=100,
    do_sample=True,
    top_k=500,
    top_p=0.95,
    pad_token_id=tokenizer.pad_token_id,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
    bad_word_ids=[[tokenizer.unk_token_id]]

)

# 生成された文章をデコード
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)

print(generated_text)

実行結果。

むかしむかし、あるところに、おじいさんとおばあさんが住んでいました。 おじいさんは 今年の7月9日～12日にフロリダ州のマイアミで開催される「国際カンファレンスImac 2016」に、Google. com, ale...[続きを読む] » [続きを読む]] Read more → [続きを読む] Read more → [続きを読む] Read more → [続きを読む] Read more → [続きを読む] Read more → [続きを読む] Re

面白いけど、GPT-4には劣ります。