LlamaIndex(GPTIndex)を触る LlamaIndexを動かしていきます。最近名前がGPTIndexから変わったみたい。 LlamaIndexとは、LLMのPromptの作成などを外部のデータソースと連携して行えるようにしたツールキット。 https://gpt-index.readthedocs.io/en/latest/guid nlp deeplearning python huggingface 2023-03-04
code blockにrefarenceをつける Hugoでコードブロックを使うときは、GitHubからの引用し、その下に参照元のURLを貼り付けることが多い。 コードブロックの下にそのままURLが表示されるの若干見づらかったので、コードブロックとセットでいい感じに表示したい。 HugoにMarkdown Render Hooksにcodebloc hugo 2023-02-28
FlexGenで遊ぶ くそでかlarge language modelsは一般人の持ってるPCだと動かすこともできない。 FlexGenでは、そんなLLMを限られたリソースで実行できるようにしてくれる。 https://github.com/FMInference/FlexGen 日本語が喋れるモデルでも動かせるように色 nlp deeplearning python huggingface 2023-02-28
Huggingfaceのtext generation pipelineとtext2text generation pipeline HuggingfaceのpipelineでTextGenerationPipelineとText2TextGenerationPipelineがあるが、 何が違うのかよくわからなかったので軽く調査。 https://huggingface.co/docs/transformers/main_clas nlp deeplearning python huggingface 2023-02-06
xglmをquick start 多言語モデルであるxglmを動かしてみます。 最も大きいもので7.5Bのparameterを持つ。 同等のサイズのGPT3のモデルを上回るらしい。 Our largest model with 7.5 billion parameters sets new state of the art in f nlp deeplearning python huggingface 2023-02-05
flan_t5をquick start T5を強化したモデルであるFlan-t5を動かしてみます。 FlanはFinetunedLAnguage Netの略。 ちなみに、Flanはカスタードプリンとかプリンの意味らしい。だからプリンのイラストあったのか https://huggingface.co/docs/transformers/mo nlp deeplearning python huggingface 2023-02-04
Hugging Faceのtokenizerで迷ったのでまとめておく tokeninzerとかencodeとか色々あって毎回調べることになるのでメモ。 以下の日本語tokenizerを使わせてもらう。 tokenizer = T5Tokenizer.from_pretrained("sonoisa/t5-base-japanese") よく見る書き方 nlp deeplearning python huggingface 2022-08-16
Hugging Faceのpipelineで会話モデルを動かす Hugging Faceのpipelineを’使って会話モデルを動かしたのでメモ。 あまり日本語記事がなかったので残しておく。 huggingfaceについてはこっちの記事を参照 https://www.if-blog.site/posts/nlp/huggingface-doc/ pipeline nlp deeplearning python huggingface 2022-05-05
プログラミングTypeScript――スケールするJavaScriptアプリケーション開発 オライリーのtypescriptの本を読んだ。 typescriptのジェネリクスなど基本的な動作は知ってたがいくつか知らないことが合ったので それだけメモしておく。 4章 関数 4.1.4 thisの型付け javascriptではすべての関数に対してthisが定義される。 これによりコードが脆弱 typescript 2021-12-26
Hugging Face Transformersのドキュメント読んだ Hugging FaceなのかTransformersなのか呼び方がわからん。 BERTやGPT-2などの様々なモデルが扱えるライブラリ 事前学習済のモデルとタスクが用意されており、そのままモデルを使ったりFine-Tuningが簡単にできる。 https://huggingface.co/docs nlp deeplearning python huggingface 2021-12-09
emacsにtext-lintを導入する 日本語文章用に、textlintを導入する。 install 今回は.emacs.d以下にsite-lispというディレクトリを作り、そこにtextlintをinstallする。 cd .emacs.d/site-lisp npm install -D textlint textlintのルールには emacs 2021-09-23
Flaxに入門してみる Googleが最近力を入れているニューラルネットワークのフレームワークらしい。 一般的に、flaxは亜麻、linenは麻と訳される。flaxは植物で、その植物を加工し繊維状にしたものまでをflax、それを紡いで糸にしたもの及びその製品をlinenと呼ぶらしい。 (参照：日本麻紡績協会) 例えばこのラ deeplearning python 2021-07-25
Github Actionsでrxivの論文をsummaryを翻訳して、日々slackに送る 朝の空いた時間などにarxivの新着論文を読みたくて、 アブストラクトを翻訳したものをslackに送るようにしました。 流れは以下のような感じ。 arxivはAPIを公開しているのでそこから、アブストや論文のタイトル、リンクなどを取得します。 Google Apps Script（GAS）を使うと、 python arxiv github 2021-07-24
pythonでarxivのAPIを使う arxivで公開されているAPIを使っていきます https://arxiv.org/ APIを直接呼び出しても良いですが、responseがxmlで使いづらかったので pythonのライブラリを使わせてもらいます。 https://github.com/lukasschwab/arxiv.py p python arxiv 2021-07-23
Google Apps ScriptでGoogle Translateを使う 翻訳用のAPIを簡単に利用したいことあると思います。 Google TranslateはAPIを公開してますが、気軽に使う場合には少し不便です。 そういう場合は、Google Apps ScriptからGoogle Translateの機能を使うと便利です。 結論 LanguageApp.trans gas arxiv 2021-07-22
Hugoの記事に関連記事を表示させる 記事の最後に関連記事を表示する方法が簡単になってた。 https://gohugo.io/content-management/related/ これで関連記事を取れる .Site.RegularPages.Related 以下のような感じで記事の最後につけるとおｋ {{ $related := . hugo 2021-07-18
Open AI Gymをとりあえず動かす Open AI Gymのquick startです。とりあえず動かしてみます。 document https://gym.openai.com/docs/ Install pip install gym Run import gym env = gym.make('CartPole-v0&# python 2021-07-14
End-to-End Text Classification via Image-basedEmbedding using Character-level Networks 日本語、中国語、タイ語など、形態素解析に基づく単語境界を持たない言語の分析や理解のためには、単語の埋め込みの前に適切な単語分割を行うことが望まれるが、これらの言語では本質的に困難である。しかし、これらの言語では、それは本質的に困難である。近年、ディープラーニングに基づく様々な言語モデルの進歩は目覚ま deeplearning nlp 論文 2020-12-30
Enhanced character embedding for Chinese named entity recognition Enhanced character embedding for Chinese named entity recognition https://journals.sagepub.com/doi/pdf/10.1177/0020294020952456 従来の名前付き実体認識方法では、主に手作業に deeplearning nlp 論文 2020-12-30
GitHub Actionsを手動実行する GitHub Actionsをcronとして定期実行していたが、動作の確認のために手動実行もしたかったのでメモ 結論 onワークフロー構文に、workflow_dispatchを指定する name: Manually triggered workflow on: workflow_dispatch: github 2020-07-19