huggingfaceのgenerationの関数をtorch modelから使えるようにしたいtorchなどのライブラリを使いpre_trainingを行い文章生成させる際、文章生成の計算は基本的に自分で実装する必要がある。 huggingface用のmodelに変換しても良いが、おれおれアーキテクチャにした場合、変換も面倒… そこで、huggingfaceにあるtop_k … Python Nlp Huggingface Torch Pre_training 2023-12-05
複数ファイルに分割されたデータセットをHuggingface Hubにアップロードするメモデータセットなどサイズの大きいデータをHuggingface Hubにアップロードして使う場合のメモ。 公式ドキュメントにはアップロードする方法が様々あるが、いまいちどれを使えば良いか分かりづらかったのでメモ。 今回作成したデータセットは以下。 … Python Nlp Huggingface 2023-11-21
HuggingfaceのDataLoaderとDatacollatorのソースコードを眺めるエラーでハマったので、hugging faceのdatasetからbatche_sizeごとのinput_idsやlabelsにするあたりの実装、特にDataLoaderとDataCollatorあたりをちゃんと確認しておく train loopは以下から始まる def train( self, … Python Nlp Huggingface 2023-09-21
OpenCALM-7Bをloraで学習して、quantizeするまでcyberagent/open-calm-7bをLoraを用いて学習し、quantizeするまでやっていきます https://huggingface.co/cyberagent/open-calm-7b gpt-neoxのlora weight mergeの記事が見つからなかったのでメモとして 動 … Nlp Deeplearning Python Huggingface 2023-05-22
loraで学習する場合のpromptって何でも良いんだっけ？rinna instruction 3Bで試すloraを用いて学習する場合の、promptのtemplateは日本語にしたほうが良いんだっけ？ ユーザー入力のフォーマットとかLLM側の出力のフォーマットとかどうすれば良いんだっけ？ ってなったので学習させて結果を比較してみる。 せっかくなの … Nlp Deeplearning Python Huggingface 2023-05-21
rinna 3Bをcppで動かすrinnaをcppで動かせるように色々試して見ました。 instructionもあり、そのままlangchainなどに突っ込んでも動かせそうということで、 ローカルで遊ぶならcppしてないと遊べないので色々試してみました。 … Nlp Deeplearning Python Huggingface 2023-05-18
Rust TokenizerをC++から呼び出すBloomz.cppのtokenizerが日本語でうまく動かなかったので、 Rust製のHuggingface TokenizerをC++から呼び出せるようにしました。 初めに 「応答」の応の文字には２つのIDが振られている。 model_name = … Nlp Deeplearning Python Huggingface 2023-03-31
BloomをLoRaで日本語finetuningLlamaをAlpacaデータセットを使いLoRaでfine tuneしたものが良い感じだったので、Bloomを日本語で学習させてみようと思う。 https://github.com/tloen/alpaca-lora とりあえず動かすまででしっかりfine tune … Nlp Deeplearning Python Huggingface 2023-03-20
LlamaIndex(GPTIndex)を触るLlamaIndexを動かしていきます。最近名前がGPTIndexから変わったみたい。 LlamaIndexとは、LLMのPromptの作成などを外部のデータソースと連携して行えるようにしたツールキット。 … Nlp Deeplearning Python Huggingface 2023-03-04
FlexGenで遊ぶくそでかlarge language modelsは一般人の持ってるPCだと動かすこともできない。 FlexGenでは、そんなLLMを限られたリソースで実行できるようにしてくれる。 https://github.com/FMInference/FlexGen 日本語が喋れるモデルでも動かせるように色 … Nlp Deeplearning Python Huggingface 2023-02-28