「LLM：Large Language Model（大規模言語モデル）」の版間の差分
提供：作業療法大百科事典OtWiki
| (同じ利用者による、間の18版が非表示) | |||
| 1行目: | 1行目: | ||
[[Category:ICT]][[Category:AI]] | |||
[[ファイル:LLMのイメージ.jpeg]] | |||
たくさんの言葉を学習した[[AI]]。見た目、人間ほど賢い。 | |||
==概要== | ==概要== | ||
大規模言語モデル（LLM：Large Language Models）とは、大量のテキストデータを使ってトレーニングされた自然言語処理のモデルのことである。<ref>https://atmarkit.itmedia.co.jp/ait/spv/2303/13/news013.html</ref> | 大規模言語モデル（LLM：Large Language Models）とは、大量のテキストデータを使ってトレーニングされた自然言語処理のモデルのことである。<ref>https://atmarkit.itmedia.co.jp/ait/spv/2303/13/news013.html</ref> | ||
==注目すべきLLM== | |||
Snowflake Arctic<ref>[https://gigazine.net/news/20240426-arctic-open-efficient-foundation-language-models-snowflake/ 無料で商用利用可能なSQL生成・コーディング・命令フォローなどのエンタープライズタスクに最適化された大規模言語モデル「Snowflake Arctic」が登場 - GIGAZINE]</ref> | |||
[https://huggingface.co/rinna/llama-3-youko-8b rinna/llama-3-youko-8b · Hugging Face]<ref>[https://pc.watch.impress.co.jp/docs/news/1589363.html MetaのLlama 3を日本語でさらに学習したAIモデル、rinnaが公開 - PC Watch]</ref> | |||
==実用化== | ==実用化== | ||
大体のAIサービスはLLMを用いたものになっている。 | 大体のAIサービスはLLMを用いたものになっている。 | ||
[[ChatGPT]] | |||
OpenChat 大規模言語モデル（LLM）の利用を簡素化するオープンソースのチャットbotコンソール | OpenChat 大規模言語モデル（LLM）の利用を簡素化するオープンソースのチャットbotコンソール | ||
OpenCopilot 企業がSaaSやWebアプリケーションなどの製品で、ユーザーを支援するカスタムAI（人工知能）コパイロットを提供するためのOSS（オープンソースソフトウェア）<ref>[https://atmarkit.itmedia.co.jp/ait/articles/2308/24/news061.html 企業が自社アプリのAIコパイロットを提供できるOSS「OpenCopilot」公開：SaaSやWebアプリのAPIを呼び出してユーザーをサポート - ＠IT]</ref> | OpenCopilot 企業がSaaSやWebアプリケーションなどの製品で、ユーザーを支援するカスタムAI（人工知能）コパイロットを提供するためのOSS（オープンソースソフトウェア）<ref>[https://atmarkit.itmedia.co.jp/ait/articles/2308/24/news061.html 企業が自社アプリのAIコパイロットを提供できるOSS「OpenCopilot」公開：SaaSやWebアプリのAPIを呼び出してユーザーをサポート - ＠IT]</ref> | ||
[https://developers.cyberagent.co.jp/blog/archives/47743/ 専門性の高いデータの読み解きをLLMでスケールさせよう | CyberAgent Developers Blog] | |||
===日本語大規模モデル=== | ===日本語大規模モデル=== | ||
| 18行目: | 33行目: | ||
===ローカルLLM=== | ===ローカルLLM=== | ||
[https://gist.github.com/kyo-takano/c662c1bfa1e7fe440511b11f62521a7e ローカルLLMはこーやって使うの💢 · GitHub] | |||
[https://zenn.dev/karaage0703/articles/c271ca65b91bdb Ollama + Open WebUI でローカルLLMを手軽に楽しむ] | |||
[https://elyza.ai/ ELYZA]<ref>[https://note.com/en2enzo/n/n121f72756e58 【無料】ローカルPCで動く日本語LLM（ELYZA-japanese-Llama-2-7b-instruct）｜えんぞう]</ref> | |||
[https://togetter.com/li/2355369 僅か2.3GBで日本語可能な超高性能ローカルLLMのPhi-3 MINIをllama.cppとCPUで動かしてみた。スマホでも可。従来のコンパクトLLMと比較して超越した性能で未来を感じさせるMicroSoft寄付ありがとう - Togetter] | |||
[https://zenn.dev/saldra/articles/201dd9e7d8c743 【令和最新版】何もわからない人向けのローカル LLM 入門] | [https://zenn.dev/saldra/articles/201dd9e7d8c743 【令和最新版】何もわからない人向けのローカル LLM 入門] | ||
[https://note.com/erukiti/n/ne901fbb08145 LLMプロダクト開発とはどういうものなのか？｜erukiti] | |||
[https://zenn.dev/shu223/articles/localllm-ios ローカルLLM on iOS の現状まとめ] | |||
==LLMを評価する== | |||
LLM（大規模言語モデル）の評価には、モデル自体の性能評価とプロダクト開発における品質保証の評価がある。モデル評価は精度や性能を測定し、複数のモデルを比較するためのベンチマークを用いる。一方、プロダクト開発における評価は、LLMシステムが要件を満たしているかを確認する品質保証の役割を果たす。オフライン評価とオンライン評価の違いを理解し、適切な評価戦略を立てることが重要である。 | |||
[https://zenn.dev/seya/articles/dd0010601b3136 LLMにまつわる"評価"を整理する] | |||
===LLMでLLMを評価する=== | |||
[https://zenn.dev/pharmax/articles/9b5fba24c252f3 LLMによるLLMの評価（LLM as a judge）の精度改善のための試行錯誤〜評価分割・モデル間比較] | |||
==Webフレームワークとの組み合わせ== | |||
[https://zenn.dev/hanabi_rest/articles/29e66412422e01 LLMをWebフレームワークにしたら、未来が見えた #2024] | |||
==情報収集== | |||
[https://note.com/csstudyabroad/n/n86e9342818a0 LLM時代のX情報収集術｜べいえりあ] | |||
==資料== | ==資料== | ||
[https://llm-jp.nii.ac.jp/resources/ LLM勉強会] | [https://llm-jp.nii.ac.jp/resources/ LLM勉強会] | ||
[https://scrapbox.io/nishio/LLM%E3%82%92%E4%BD%BF%E3%81%84%E3%81%93%E3%81%AA%E3%81%99%E3%82%A8%E3%83%B3%E3%82%B8%E3%83%8B%E3%82%A2%E3%81%AE%E7%9F%A5%E7%9A%84%E7%94%9F%E7%94%A3%E8%A1%93(%E8%AC%9B%E6%BC%94%E8%B3%87%E6%96%99) LLMを使いこなすエンジニアの知的生産術(講演資料) - 西尾泰和のScrapbox] | |||
==参照== | ==参照== | ||
<references /> | <references /> | ||
2024年6月6日 (木) 21:40時点における最新版
たくさんの言葉を学習したAI。見た目、人間ほど賢い。
概要
大規模言語モデル（LLM：Large Language Models）とは、大量のテキストデータを使ってトレーニングされた自然言語処理のモデルのことである。[1]
注目すべきLLM
Snowflake Arctic[2]
rinna/llama-3-youko-8b · Hugging Face[3]
実用化
大体のAIサービスはLLMを用いたものになっている。
OpenChat 大規模言語モデル（LLM）の利用を簡素化するオープンソースのチャットbotコンソール
OpenCopilot 企業がSaaSやWebアプリケーションなどの製品で、ユーザーを支援するカスタムAI（人工知能）コパイロットを提供するためのOSS（オープンソースソフトウェア）[4]
専門性の高いデータの読み解きをLLMでスケールさせよう | CyberAgent Developers Blog
日本語大規模モデル
日本語大規模言語モデル「Japanese Stable LM 3B-4E1T」「Japanese Stable LM Gamma 7B」を公開しました — Stability AI Japan
ローカルLLM
Ollama + Open WebUI でローカルLLMを手軽に楽しむ
LLMプロダクト開発とはどういうものなのか？｜erukiti
LLMを評価する
LLM（大規模言語モデル）の評価には、モデル自体の性能評価とプロダクト開発における品質保証の評価がある。モデル評価は精度や性能を測定し、複数のモデルを比較するためのベンチマークを用いる。一方、プロダクト開発における評価は、LLMシステムが要件を満たしているかを確認する品質保証の役割を果たす。オフライン評価とオンライン評価の違いを理解し、適切な評価戦略を立てることが重要である。
LLMでLLMを評価する
LLMによるLLMの評価（LLM as a judge）の精度改善のための試行錯誤〜評価分割・モデル間比較
Webフレームワークとの組み合わせ
LLMをWebフレームワークにしたら、未来が見えた #2024
情報収集
資料
LLMを使いこなすエンジニアの知的生産術(講演資料) - 西尾泰和のScrapbox
参照
- ↑ https://atmarkit.itmedia.co.jp/ait/spv/2303/13/news013.html
- ↑ 無料で商用利用可能なSQL生成・コーディング・命令フォローなどのエンタープライズタスクに最適化された大規模言語モデル「Snowflake Arctic」が登場 - GIGAZINE
- ↑ MetaのLlama 3を日本語でさらに学習したAIモデル、rinnaが公開 - PC Watch
- ↑ 企業が自社アプリのAIコパイロットを提供できるOSS「OpenCopilot」公開：SaaSやWebアプリのAPIを呼び出してユーザーをサポート - ＠IT
- ↑ 【無料】ローカルPCで動く日本語LLM（ELYZA-japanese-Llama-2-7b-instruct）｜えんぞう
