[掲示板に戻る]
レス送信モード
おなまえ
E-mail
題　　名
コメント
添付File []
削除キー(削除用.英数字で8字以内)
画像ファイル名：1780627167395.jpg-(43347 B)
43347 B無念Nameとしあき26/06/05(金)11:39:27 ID:ild3zr7INo.1412619161そうだねx1 19:29頃消えます
無料公開！
ノートPCで実行可能なAIモデルGemma4 12B！！
※要16GBのVRAM
このスレは古いので、もうすぐ消えます。
削除された記事が1件あります.見る
…1無念Nameとしあき26/06/05(金)11:46:17 ID:ild3zr7INo.1412620087そうだねx9
やっぱりVRAMは16GBあった方がいいんじゃん…
12GBじゃ足りないんじゃん…
…2無念Nameとしあき26/06/05(金)11:47:48No.1412620296+
ウチの5070Tiで動くのか
…3無念Nameとしあき26/06/05(金)11:49:23 ID:ild3zr7INo.1412620508そうだねx5
>ウチの5070Tiで動くのか
Ti付いてなかったら致命傷だった
やはりTi付きしか勝たん
…4無念Nameとしあき26/06/05(金)11:51:34No.1412620791+
Uncensored来たら起こして
…5無念Nameとしあき26/06/05(金)11:54:27No.1412621166そうだねx3
>Uncensored来たら起こして
もうあるよ
…6無念Nameとしあき26/06/05(金)11:54:31No.1412621174そうだねx1
俺のARCで動きますか?
…7無念Nameとしあき26/06/05(金)11:55:38No.1412621281+
音声入力対応って競合だと無いの？
…8無念Nameとしあき26/06/05(金)12:00:34No.1412621892+
書き込みをした人によって削除されました
…9無念Nameとしあき26/06/05(金)12:01:31No.1412622029そうだねx1
>音声入力対応って競合だと無いの？
普通は何らかのSpeech To Textを使うので…
そういうのを用意しなくてもこれ一つで対応出来ますよという直交性が強みの一つにはなる
…10無念Nameとしあき26/06/05(金)12:02:28No.1412622169+
なるほど
…11無念Nameとしあき26/06/05(金)12:08:57No.1412623191そうだねx1
量子化モデルの日本語壊れてた問題が昨日のうちに解決されてたんやね
…12無念Nameとしあき26/06/05(金)12:23:02No.1412625795+
えーっでも電気代お高いんでしょう
…13無念Nameとしあき26/06/05(金)12:33:34No.1412627861+
今4060なんだけど現実的な買い替え先って何がいいの
…14無念Nameとしあき26/06/05(金)12:34:45 ID:ild3zr7INo.1412628098そうだねx1
>今4060なんだけど現実的な買い替え先って何がいいの
6000出るまで待つ
…15無念Nameとしあき26/06/05(金)12:35:55No.1412628306そうだねx1
メモリは16GBあったほうがいいと思うけど
VRAMはもっと少なくても動くよ
12GBでオフロードなしで動いてるし
8GBなら50%オフロードで動くと思う
…16無念Nameとしあき26/06/05(金)12:44:16No.1412629941+
この先値が下がることあるんですか…？
…17無念Nameとしあき26/06/05(金)12:46:09No.1412630316+
ノートでも動くってのはUMAのことじゃねえの？
…18無念Nameとしあき26/06/05(金)12:46:24 ID:ild3zr7INo.1412630365+
メモリは32GBでVRAMは16GBは欲しいよ
…19無念Nameとしあき26/06/05(金)12:46:45No.1412630441+
出た瞬間が一番安いまである
…20無念Nameとしあき26/06/05(金)12:47:51 ID:ild3zr7INo.1412630634+
>出た瞬間が一番安いまである
ご祝儀価格じゃねーか
それはねーよ
　
と一概に言えなくなって来たりしてな
…21無念Nameとしあき26/06/05(金)12:49:08No.1412630866そうだねx18
    1780631348552.png-(103475 B)
103475 B
>※要16GBのVRAM
…22無念Nameとしあき26/06/05(金)13:15:00No.1412635238そうだねx1
>ノートでも動くってのはUMAのことじゃねえの？
紹介記事でよくある16GBメモリで動くっていうのはそういうことだろうね
モデル8GB＋KVキャッシュ2GB（コンテキスト長10K）、OSシステム4GBだけど
8GBじゃ動かないので16GBという紹介に
VRAMなら12GBで全部乗る
…23無念Nameとしあき26/06/05(金)13:24:23No.1412636630+
VRAM12GBで頑張るなら26B使ってKV確保したほうがよくない
…24無念Nameとしあき26/06/05(金)13:29:11No.1412637328そうだねx1
>ウチの5070Tiで動くのか
一個上の26B A4bも動かせるぞ
…25無念Nameとしあき26/06/05(金)13:35:01No.1412638269+
>VRAM12GBで頑張るなら26B使ってKV確保したほうがよくない
12Bの方が出力早いしどっちにしてもオフロードさせるならモデルが小さい方が良くない？
ただ画像認識の性能は悪い、元々Gemmaはその辺弱いのだけど
なのでGemmaはエロチャット用と考えてる
12Bのエロトーク能力は高くて26B A4Bと感触が変わらない
性知識は26Bの方がある
…26無念Nameとしあき26/06/05(金)13:35:29No.1412638330+
>やっぱりVRAMは16GBあった方がいいんじゃん…
>12GBじゃ足りないんじゃん…
そりゃAI使うならそうでしょうね！
…27無念Nameとしあき26/06/05(金)13:39:32No.1412638978+
Qwenしか触ってこなかったけどそろそろ触るか…
…28無念Nameとしあき26/06/05(金)13:47:56No.1412640173+
量子化すればVRAM 8GBでも動くよ
…29無念Nameとしあき26/06/05(金)13:54:39No.1412641093+
>>VRAM12GBで頑張るなら26B使ってKV確保したほうがよくない
>12Bの方が出力早いしどっちにしてもオフロードさせるならモデルが小さい方が良くない？
Denceは26Bの方が小さいのでその分をKVに回せる
MoEはCPUにやらせりゃよいという考え
…30無念Nameとしあき26/06/05(金)13:57:19No.1412641487+
26B A4Bはメモリ使用が上手いのでVRAM8GBでもかなり動くよ
…31無念Nameとしあき26/06/05(金)14:06:27No.1412642793+
>>>VRAM12GBで頑張るなら26B使ってKV確保したほうがよくない
>>12Bの方が出力早いしどっちにしてもオフロードさせるならモデルが小さい方が良くない？
>Denceは26Bの方が小さいのでその分をKVに回せる
>MoEはCPUにやらせりゃよいという考え
試してみたら、VRAM8GBは26Bの方がいいかも速度低下が少ない
でもVRAM12GBあるなら12Bが1.5〜2倍早いかな
コンテキスト長確保にどれぐらいオフロードが必要になるかによるのだろうけど
…32無念Nameとしあき26/06/05(金)14:15:04No.1412644002+
激安のMacBook Air（M4）でも動いた
メモリは詰めるだけ積んでおくのが吉だけど
…33無念Nameとしあき26/06/05(金)14:30:29No.1412646158+
>>>>VRAM12GBで頑張るなら26B使ってKV確保したほうがよくない
>>>12Bの方が出力早いしどっちにしてもオフロードさせるならモデルが小さい方が良くない？
>>Denceは26Bの方が小さいのでその分をKVに回せる
>>MoEはCPUにやらせりゃよいという考え
>試してみたら、VRAM8GBは26Bの方がいいかも速度低下が少ない
>でもVRAM12GBあるなら12Bが1.5〜2倍早いかな
>コンテキスト長確保にどれぐらいオフロードが必要になるかによるのだろうけど
CPUに回したMoEのアプティブパラメーター数より
フルDenseの12Bで溢れたパラメータ数が小さければ速くなるか

実はまだ動かしてなかったんだごめんよ
帰ったら試してみるわ
…34無念Nameとしあき26/06/05(金)14:40:34No.1412647509+
>えーっでも電気代お高いんでしょう
DeepseekV4の価格が安すぎるのでほんとに電気代下回る可能性がある
…35無念Nameとしあき26/06/05(金)14:44:27No.1412648085+
>ノートPCで実行可能なAIモデルGemma4 12B！！
うん
>※要16GBのVRAM
ノートPCで？あるの？
…36無念Nameとしあき26/06/05(金)14:44:52No.1412648130+
怪物ノート専用
…37無念Nameとしあき26/06/05(金)14:48:19No.1412648608+
    1780638499964.png-(258712 B)
258712 B
>>※要16GBのVRAM
>ノートPCで？あるの？
かなり高額になるけどあるよ
…38無念Nameとしあき26/06/05(金)14:51:19No.1412649022+
ゲーミングノート4060laptopですらメインメモリー32gbで30万近い値段になってるのにノートで出来ると言われましても
…39無念Nameとしあき26/06/05(金)14:53:15No.1412649328+
最低要件はVRAMではなくてメモリ16GB
ディスクリートGPUでなくてもたぶん動く
でも5tok/sぐらい？
…40無念Nameとしあき26/06/05(金)14:58:30No.1412650080+
そうなんだ
取り敢えず無料なら試してみた方が良さそうだね
…41無念Nameとしあき26/06/05(金)15:22:10 ID:ild3zr7INo.1412653352+
「Gemma 4 12B」は26B MoEモデルに迫るベンチマーク性能でありながら、16GBのVRAM（ビデオメモリー）またはRAM（メモリー）を搭載した端末で動作するという。
　
とあるけど
いわゆるVRAMじゃないと速度が遅くなったりとかSSDをメモリ代わりに使うとかはないの？
…42無念Nameとしあき26/06/05(金)15:27:17No.1412654079+
ほぼメモリ帯域がボトルネックなので
メモリだけ使うとVRAMに乗せた場合の4〜5倍ぐらい遅くなるんじゃないかな
メモリ足りなくてSSDにスワップする使い方だと遅い以上に不安定になるかも
…43無念Nameとしあき26/06/05(金)15:32:43No.1412654887+
チャットで使う場合、10tok/sぐらいほしいけど
比較的新しいPCで16GBメモリあれば7tok/sとか出ないかなどうかな？試してみないと分からない
チャットでないなら待てばいいから動作さえすれば良いという人も居る
動かないor動くという話かと
…44無念Nameとしあき26/06/05(金)15:49:04No.1412657177そうだねx1
12Bめっちゃ良いわ
今までe4bだったから応答のクオリティー激上がりで嬉しい
…45無念Nameとしあき26/06/05(金)16:14:52No.1412661055+
無検閲あるの？
…46無念Nameとしあき26/06/05(金)16:25:58No.1412662709+
Gemmaは4になってからエロ大歓迎で助かる
…47無念Nameとしあき26/06/05(金)17:07:51No.1412669419+
Q4_K_Mのuncensored入れてみた
共有VRAM8GBで7,8tok/sぐらい
やっぱりE4Bと比べて半分の速度だな
でもかなり違和感ないしゃべり方になっていい感じ
…48無念Nameとしあき26/06/05(金)17:12:18No.1412670146+
>No.1412630866
ない
ない
買えません
…49無念Nameとしあき26/06/05(金)17:33:15No.1412673615+
4060Ti16GBでも快適か？帰ったら入れてみるか
…50無念Nameとしあき26/06/05(金)17:38:33No.1412674559+
LLM STDIOのスマホアプリで遠隔で自分のPCアクセス出来るようになったしスレ画と組み合わせすればええんか？
…51無念Nameとしあき26/06/05(金)18:10:04No.1412680891+
5070じゃ動かなかったよ
…52無念Nameとしあき26/06/05(金)18:25:29No.1412684358+
みんなエッチなモデルをなにから使ってるの
SillyTavern?
…53無念Nameとしあき26/06/05(金)18:26:26No.1412684559+
たんなる情報格差ではなく
こういう物理的な形でデジタルデバイドが進行するとは思わなかった…
…54無念Nameとしあき26/06/05(金)18:27:03No.1412684708+
>みんなエッチなモデルをなにから使ってるの
stable deffusion
…55無念Nameとしあき26/06/05(金)18:39:49No.1412687663+
>みんなエッチなモデルをなにから使ってるの
ComfyUIとLM Studioを連動して動画プロンプト拡張させてる
…56無念Nameとしあき26/06/05(金)18:43:14No.1412688468+
>5070じゃ動かなかったよ
RTX2060 12GBですら全部VRAM上に乗って動くのに
…57無念Nameとしあき26/06/05(金)18:45:22No.1412688951+
>ID:ild3zr7I
…58無念Nameとしあき26/06/05(金)18:47:27No.1412689408+
げみにじゃダメな感じのエロチャットしながら
画像のプロンプトを出してもらったりする
…59無念Nameとしあき26/06/05(金)18:48:43No.1412689691+
>かなり高額になるけどあるよ
モデルが違うが年末の倍くらいの値段になってんな…
…60無念Nameとしあき26/06/05(金)18:50:01No.1412689983+
エッチなチャットならGeminiちゃんが何でも出してくれるからなぁ
…61無念Nameとしあき26/06/05(金)18:50:42No.1412690144そうだねx2
26B MoEが優秀過ぎて16GBあるなら26B使うわってなりそう
…62無念Nameとしあき26/06/05(金)18:53:23No.1412690835+
Orion-26B-A4B-v1a-Q8_0使ってるけどもうめちゃくちゃ頭良くなっててびびったわ
…63無念Nameとしあき26/06/05(金)18:55:32No.1412691385+
>エッチなチャットならGeminiちゃんが何でも出してくれるからなぁ
今日もジェミナイに申し訳された！
年齢入りのおねショタで抜こうとしただけで…
血も涙もねえ！
…64無念Nameとしあき26/06/05(金)18:55:49No.1412691455+
MoEはグラボのメモリ沢山いらないし長く会話できるからなぁ・・・
…65無念Nameとしあき26/06/05(金)18:57:30No.1412691894+
Melody1437-26B-A4B-v0.4使ってるけど話のつじつまが合わなくても拒否するどうなってるんだこれ
…66無念Nameとしあき26/06/05(金)18:58:32No.1412692118+
>26B MoEが優秀過ぎて16GBあるなら26B使うわってなりそう
単体ならそうなんだけどAIコンパニオン動かす時に
26B A4Bはやや他ツールとのVRAM取り合いがあったので
量子化して7GBに収まるなら良いかなと思った
…67無念Nameとしあき26/06/05(金)19:00:33No.1412692583+
>>5070じゃ動かなかったよ
>RTX2060 12GBですら全部VRAM上に乗って動くのに
なんか起動しようとするとエラー吐く
…68無念Nameとしあき26/06/05(金)19:01:52No.1412692885+
>なんか起動しようとするとエラー吐く
容量少ない奴でまず試せば？
…69無念Nameとしあき26/06/05(金)19:04:30No.1412693510+
有名なキャラの再現凄いからどのキャラを再現できるか共有できるサイト欲しいなFGOだとマシュとセイバージャンヌくらい他の鯖は設定とか呼び方は正しい
…70無念Nameとしあき26/06/05(金)19:07:23No.1412694171+
16GBってまじか
触ってみるわ
…71無念Nameとしあき26/06/05(金)19:08:11No.1412694366+
qwenは3.7のローカル版出るんだろうか…
…72無念Nameとしあき26/06/05(金)19:08:23No.1412694405+
Gemma4 26は4070でめちゃくちゃ余裕あるし8㎇とかでも遊べるだろうしなぁ・・・24B辺りが欲しい
…73無念Nameとしあき26/06/05(金)19:13:53No.1412695672+
31B使える人は26B-A4Bと比較してどう凄いか教えて欲しい
…74無念Nameとしあき26/06/05(金)19:21:58No.1412697572そうだねx1
31B-Q8動かせるけど26Bとあんま変わらんような気もする
…75無念Nameとしあき26/06/05(金)19:25:11No.1412698388+
>>>5070じゃ動かなかったよ
>>RTX2060 12GBですら全部VRAM上に乗って動くのに
>なんか起動しようとするとエラー吐く
たぶんそれ、llama.cppのバージョンが古い
アップデートすると動くと思う
…76無念Nameとしあき26/06/05(金)19:26:49No.1412698765そうだねx1
>31B使える人は26B-A4Bと比較してどう凄いか教えて欲しい
目的によると思うけどレスポンスの速さが段違いなので26Bの方を使うかな
31B使うならQwen3.6-35B-A3Bとの競合になると思もうけどこれもMoEな分Qwenが有利か
…77無念Nameとしあき26/06/05(金)19:27:26No.1412698903+
>31B-Q8動かせるけど26Bとあんま変わらんような気もする
ありがとうAIに聞いても２％しか変わらないケースが多い少しクリエイティブになるって出たそんな感じなのかな
…78無念Nameとしあき26/06/05(金)19:28:11No.1412699091+
性能的にはQwen3.6の方がいいと思う
ただGemmaは日本語が自然なんだよ
色々設定付けてもちゃんと対話できる
- GazouBBS + futaba-