日本語大規模言語モデル (by SHS)

このページでは，Suzuki, Hirano, and Sakaji (SHS)および関係者による日本語大規模言語モデルの更新情報を公開しています． 共同研究，データ提供，各種支援，その他問い合わせは，[email protected] へ．

最新情報

論文と実装を公開しました

2023/6/23

"日本語インストラクションデータを用いた対話可能な日本語大規模言語モデルのLoRAチューニング "という論文と、論文でチューニングと評価に用いた実装を公開しました．

論文 (Jxiv) 実装 (GitHub)

データセットを公開しました

2023/6/23

izumi-lab/llm-japanese-dataset-vanillaという，日英翻訳のデータセット等のない，約180万からなる，日本語向けチューニング用のチャットデータセットを公開しました．

Hugging Face 詳しくはこちら

LLaMAベースのモデルを公開しました

2023/6/23

izumi-lab/llama-7b-japanese-lora-v0-5epを公開しました．日本語向けLoRAチューニング用のチャットデータセットのizumi-lab/llm-japanese-dataset-vanillaを使用し，LLaMAを5 epochチューニングしたものです．

Model 詳しくはこちら

Stormyを公開しました

2023/6/1

izumi-lab/stormy-7b-10epを公開しました．日本語向けLoRAチューニング用のチャットデータセットのizumi-lab/llm-japanese-dataset v0から特別に抽出したデータを使用し，cyberagent/open-calm-7bを10 epochsチューニングしたものです．Hugging Face Spaceでお試しいただけます．

Model 試す 詳しくはこちら

情報一覧

データセット関連

  1. izumi-lab/llm-japanese-dataset-vanilla (izumi-lab/llm-japanese-dataset から，日英翻訳のデータセット等を抜いたもの．約252万件収録). 2023/6/23公開．
    • Hugging Face Dataset
    • GitHub
    • 論文 (詳細情報):
      • 鈴木雅弘, 平野正徳, 坂地泰紀, "日本語インストラクションデータを用いた対話可能な日本語大規模言語モデルのLoRAチューニング ,"
        jxiv:422
  2. izumi-lab/llm-japanese-dataset v0 (日本語向けLoRAチューニング用のチャットデータセット．約905万件収録). 2023/5/23公開．
    • Hugging Face Dataset
    • GitHub
    • 論文 (詳細情報):
      • 平野正徳, 鈴木雅弘, 坂地泰紀, "llm-japanese-dataset v0: 大規模言語モデルのための日本語チャットデータセット構築,"
        jxiv:383
      • Masanori HIRANO, Masahiro SUZUKI, and Hiroki SAKAJI,
        "llm-japanese-dataset v0: Construction of Japanese Chat Dataset for Large Language Models and its Methodology,"
        arXiv:2305.12720, ssrn.com/abstract=4454626

モデル関連

  1. izumi-lab/llama-7b-japanese-lora-v0-5ep (LLaMA 7Bをizumi-lab/llm-japanese-datasetでチューニング). 2023/6/23公開．
    • Hugging Face Model
    • 関連論文:
      • 鈴木雅弘, 平野正徳, 坂地泰紀, "日本語インストラクションデータを用いた対話可能な日本語大規模言語モデルのLoRAチューニング ,"
        jxiv:422
  2. izumi-lab/stormy-7b-10ep (cyberagent/open-calm-7bをizumi-lab/llm-japanese-datasetから特別に抽出したモデルでチューニング). 2023/6/1公開．
  3. izumi-lab/llama-13b-japanese-lora-v0-1ep (LLaMA 13Bをizumi-lab/llm-japanese-datasetでチューニング). 2023/5/23公開．
    • Hugging Face Model
    • 試す (Hugging Face Space)
    • 関連論文 (izumi-lab/llm-japanese-dataset v0と同一):
      • 平野正徳, 鈴木雅弘, 坂地泰紀, "llm-japanese-dataset v0: 大規模言語モデルのための日本語チャットデータセット構築,"
        jxiv:383
      • Masanori HIRANO, Masahiro SUZUKI, and Hiroki SAKAJI,
        "llm-japanese-dataset v0: Construction of Japanese Chat Dataset for Large Language Models and its Methodology,"
        arXiv:2305.12720, ssrn.com/abstract=4454626

実装関連

  1. retarfi/jallm (モデルのチューニング・評価の実装). 2023/6/23公開．
    • GitHub
    • 関連論文:
      • 鈴木雅弘, 平野正徳, 坂地泰紀, "日本語インストラクションデータを用いた対話可能な日本語大規模言語モデルのLoRAチューニング ,"
        jxiv:422