田端厚賢 生成AIで何ができるという方のために自宅で作れる生成でできるサービスを公開しています。
具体的には、生成AI系の「オープンソース」をローカルサーバーで動かしてサーバーを「ポートウォワーディングリバースSSH」を使用して生成AIのサービスを外部公開しています。
システム環境
普通のデスクトップにNVIDIAのグラフイックボードを搭載させています。
1号サーバー RTX3080（VRAM10G）
2号サーバー RTX3060（VRAM12G）
3号サーバー RTX4090（VRAM24G）
windows10/11,Dockerを使ったりWSL2を使っています。外部公開にはngrokとsishを併用しています。本番運用はデーターセンターでUbuntuがいいと思います。
テキストto画像生成 https://ai2.ex-pa.pro/
テキストから画像を生成することができます。
オープンソース名は、stable diffisionです。
やり方は簡単で、サイトにアクセスして下記のプロンプトとネガティブプロンプトを入力するだけです。後はお好みでプロンプトを調整してください。
モデルは、yayoi_mixです。
プロンプト
1 japanese girl, large_breasts, lingerie, lipsparted_lips,sitting, sky, spread_legs,
BREAK
（eye focus,Character focus, (looking_at_viewer:1.2),
arm at her side,
collared dressネガティブプロンプト
Easy negatvie, (worst quality:2),(low quality:2),(normal quality:2), lowers, normal quality,((monochrome)),((grayscale)),skin spots, acnes, skin blemishes, age spot, nsfw, ugly face, fat, missing fingers, extra fingers, extra arms, extra legs, watermark, text, error, blurry, jpeg artifacts, cropped, bad anatomy, big eyesできた画像です。
動画生成共有サイト https://ai3.ex-pa.pro/
動画共有サイトです。ログインして動画をアップロードすることができます。
YoutubeのURLを入力してfechしてがサムネイル、動画をひっぱることができます。
ChatGPTクローンオープンLLM（バックエンド） https://ai4.ex-pa.pro/
ChatGPTのクローンを複数管理できるオープンLLMのWebUIのバックエンド画面です。
モデルを選択して会話モードや教師モードで会話、教師モードで話すことができます。
Loraを使って強化、追加学習することが可能です。
ChatGPTクローンオープンLLM（API） https://ai5.ex-pa.pro/docs
オープンLLMのWebUIのAPI部分です。docsから試験をすることができます。
curl
curl -X 'POST' \
'https://ai5.ex-pa.pro/v1/completions' \
-H 'accept: application/json' \
-H 'Content-Type: application/json' \
-d '{
"model": "string",
"prompt": "海外移住するには？",
"best_of": 1,
"echo": false,
"frequency_penalty": 0,
"logit_bias": {},
"logprobs": 0,
"max_tokens": 256,
"n": 1,
"presence_penalty": 0,
"stop": "string",
"stream": false,
"suffix": "string",
"temperature": 1,
"top_p": 1,
"user": "string",
"min_p": 0,
"top_k": 0,
"repetition_penalty": 1,
"repetition_penalty_range": 1024,
"typical_p": 1,
"tfs": 1,
"top_a": 0,
"epsilon_cutoff": 0,
"eta_cutoff": 0,
"guidance_scale": 1,
"negative_prompt": "",
"penalty_alpha": 0,
"mirostat_mode": 0,
"mirostat_tau": 5,
"mirostat_eta": 0.1,
"temperature_last": false,
"do_sample": true,
"seed": -1,
"encoder_repetition_penalty": 1,
"no_repeat_ngram_size": 0,
"min_length": 0,
"num_beams": 1,
"length_penalty": 1,
"early_stopping": false,
"truncation_length": 0,
"max_tokens_second": 0,
"custom_token_bans": "",
"auto_max_new_tokens": false,
"ban_eos_token": false,
"add_bos_token": true,
"skip_special_tokens": true,
"grammar_string": ""
}'response body
{
"id": "conv-1709716948379717632",
"object": "text_completion",
"created": 1709716948,
"model": "tokyotech-llm_Swallow-7b-plus-hf",
"choices": [
{
"index": 0,
"finish_reason": "length",
"text": "本人と家族の手続きは?生活するのに揃えておくべきものは? フィリピン\nサワディカ〜\nフィリピンで女の子に間違われるHiroです\n2018年6月23日の今日のクサい食いもんは\nChallenging354『セブンイレブンにて』\nプルメアジャップさんと苦〜い、、、\n内臓から毒素が溶け出して毎日トイレで汗が止まらん。。。\nさてさて、今回は\"海外移住\"を考えている皆さんの為に\n正しい?海外移住の教科書を書いてみようと思う。\n- 海外移住をしたい\n- 直ぐに海外移住をしなくても、今の内に自分に知識を付けて置きたい\n- 少なからず、将来の豊かさに役立てたい\nと思っているあなたの為!必見の内容になるぞ。\n何故なら、海外移住を実行しネットビジネスの収入だけで生活している\nプレミアムな人がいるからだ。\nその人達は一般の人が使う『海外移住先』を使ったのではなく、\nネットで稼いで余裕の人string",
"logprobs": {
"top_logprobs": [
{}
]
}
}
],
"usage": {
"prompt_tokens": 8,
"completion_tokens": 257,
"total_tokens": 265
}
}
response header
access-control-allow-credentials: true
access-control-allow-origin: https://ai5.ex-pa.pro
content-length: 1367
content-type: application/json
date: Wed,06 Mar 2024 09:22:27 GMT
server: uvicorn
vary: Origin 
音声toテキスト生成 https://ai7.ex-pa.pro/
youtubeのURLをいれだけで、英語やタイ語やアラビ語、中国語を日本語のテキスト翻訳にしてくれます。10分のyoutubeであれば3分くらいで翻訳テキストが生成されます。もう人類のレベルを圧倒的に超えています。
レンダリング中です。
結果1
結果2
ttps://ai7.ex-pa.pro/
システム構築を行います。お気軽にご連絡ください。