huggingfaceのgenerationの関数をtorch modelから使えるようにしたいtorchなどのライブラリを使いpre_trainingを行い文章生成させる際、文章生成の計算は基本的に自分で実装する必要がある。 huggingface用のmodelに変換しても良いが、おれおれアーキテクチャにした場合、変換も面倒… そこで、huggingfaceにあるtop_k … Python Nlp Huggingface Torch Pre_training 2023-12-05
llama2のアーキテクチャを変更してpre trainingしてみるできるだけ小さいサイズのモデルで日本語を喋れるモデルを作りたい、ということでllama2のpre_trainingはすでにおこなったがさらなる改善のため、いくつかのアーキテクチャを考えてみる。 比較のベースとなる標準的なモデルに対し、新たに3つのモデルを作成し比較する transformer … Python Nlp Transformer Pre_training 2023-12-05