2月 13, 2025 / 最終更新日時 : 2月 13, 2025 Shuji Suzuki (shu) プログラミング 小型LLM PLaMo 2 1BをGoogle ColabでSFTしてみる 今回はPreferred Networksとその子会社のPreferred Elementsが共同で開発した1Bサイズの小型のLLM、PLaMo 2 1Bに対してSFTをするコードの紹介になります。 Google Col […]
5月 8, 2023 / 最終更新日時 : 5月 8, 2023 Shuji Suzuki (shu) 書評 [書評] 機械学習エンジニアのためのTransformers ー 自然言語のTransformerについてより知りたい人向けな一冊 今回は毎週月曜日恒例の書評回です。今回は「機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発」を読んだところなので、この本についての記事になります。 どんな内容の本か？ […]
4月 13, 2023 / 最終更新日時 : 4月 13, 2023 Shuji Suzuki (shu) 未分類 [勉強ノート] 「拡散モデル データ生成技術の数理」 3.1-3.5のVE-SDE部分について 先日紹介した「拡散モデル データ生成技術の数理」をちゃんと理解するために数式を改めて追ったり、説明されているアルゴリズムを実装をしたりしたものをまとめた記事の第4弾です。今回は3章の分散発散型確率微分方程式 (VE-SD […]
3月 18, 2023 / 最終更新日時 : 3月 18, 2023 Shuji Suzuki (shu) プログラミング PyTorch 2.0の新機能「torch.compile」使ってみた 今回は3/16についに出たPyTorch 2.0の目玉機能である「torch.comple」について実際に動かしてみて計算時間を測定してみたので、そのまとめになります。 時間計測の部分で測定に使ったコードはここにあげてあ […]
3月 16, 2023 / 最終更新日時 : 3月 16, 2023 Shuji Suzuki (shu) 未分類 [勉強ノート] 「拡散モデル データ生成技術の数理」 2.3 デノイジング拡散確率モデル 先日紹介した「拡散モデル データ生成技術の数理」をちゃんと理解するために数式を改めて追ったり、説明されているアルゴリズムを実装したりしています。 その第3弾として「2.3 デノイジング拡散確率モデル」で説明されているデノ […]
3月 8, 2023 / 最終更新日時 : 3月 31, 2023 Shuji Suzuki (shu) 未分類 [勉強ノート] 「拡散モデル データ生成技術の数理」 2.2 スコアベースモデル 先日紹介した「拡散モデル データ生成技術の数理」をちゃんと理解するために数式を改めて追ったり、説明されているアルゴリズムを実装したりしています。 その第2弾として「2.2 スコアベースモデル」で説明されているスコアベース […]
1月 10, 2023 / 最終更新日時 : 4月 1, 2024 Shuji Suzuki (shu) 書評 統計的因果推論、統計的因果探索の勉強で読んだ本まとめ(2023/1版) あけましておめでとうございます。年末年始の休みを利用して今年もまとめて本を読んでいたのですが、統計的因果推論に関する本を読んだらすごく面白くて今年はそれ関係の本をまとめて読みました。 今回の記事では私が読んだ本の軽い解説 […]
11月 19, 2022 / 最終更新日時 : 12月 20, 2022 Shuji Suzuki (shu) プログラミング Kaggleの「Open Problems – Multimodal Single-Cell Integration」の振り返り 今回は2022/11/15 (日本時間の2022/11/16の朝)まで行われていた「Open Problems – Multimodal Single-Cell Integration」に参加した際、どうして […]
5月 23, 2022 / 最終更新日時 : 5月 23, 2022 Shuji Suzuki (shu) プログラミング PyTorch Geometricを使ってVariational Graph Auto-Encodersを作って学習してみる はじめに 最近読んだ論文にVariational Graph Auto-Encoders (VGAE) を使ったモデルがあったので、自分でもやってみようと思い、作ってみました。本日はそのまとめになります。 本日紹介する使 […]
2月 28, 2022 / 最終更新日時 : 2月 28, 2022 Shuji Suzuki (shu) 未分類 [勉強ノート]「ベイズ推論による機械学習入門」5.7 ニューラルネットワークで紹介されたものをPyTorchで実装してみた はじめに 最近ベイズ推論の勉強をしていて機械学習スタートアップシリーズの「ベイズ推論による機械学習入門」を読んでいます。今回はこの本の5.7 のニューラルネットワークの章で紹介されていたモデルをPyTorchで実装したの […]
