3月 28, 2022 / 最終更新日時 : 3月 29, 2022 Shuji Suzuki (shu) プログラミング [勉強ノート] 「線形計算の数理」7.3 同時反復法 今日の記事では「線形計算の数理」の7.3で紹介されている固有値問題のアルゴリズムの同時反復法についてのアルゴリズムの説明と固有ベクトル、固有値に収束することの証明を説明します。 個人的には初見で全然収束の証明の意味がわか […]
3月 24, 2022 / 最終更新日時 : 3月 27, 2022 Shuji Suzuki (shu) プログラミング [勉強ノート] 「線形計算の数理」 7.2.1 べき乗法 基本形 今日の記事では「線形計算の数理」の7.2.1で紹介されているべき乗法について解説とPythonによる実装を紹介します。基本的には自分があとで見返したときに納得できるように説明を書いたので、かなり基本的なところから書いてあ […]
2月 28, 2022 / 最終更新日時 : 2月 28, 2022 Shuji Suzuki (shu) 未分類 [勉強ノート]「ベイズ推論による機械学習入門」5.7 ニューラルネットワークで紹介されたものをPyTorchで実装してみた はじめに 最近ベイズ推論の勉強をしていて機械学習スタートアップシリーズの「ベイズ推論による機械学習入門」を読んでいます。今回はこの本の5.7 のニューラルネットワークの章で紹介されていたモデルをPyTorchで実装したの […]
2月 24, 2022 / 最終更新日時 : 2月 24, 2022 Shuji Suzuki (shu) 未分類 [勉強ノート]「ベイズ推論による機械学習入門」5.6ロジスティック回帰 最近ベイズ推論の勉強をしていて機械学習スタートアップシリーズの「ベイズ推論による機械学習入門」を読んでいます。 この記事はこの本の「5.6 ロジスティック回帰」の部分で個人的にぱっと式変形がわからなかったところの詳細に関 […]
12月 14, 2021 / 最終更新日時 : 12月 14, 2021 Shuji Suzuki (shu) 未分類 Optuna V3開発スプリント #2 に行ってきた 先日「Optuna V3開発スプリント #2」に行ったら思いのほかよかったので、次回以降、行こうか迷っている人の参考になればと思い、どうして参加しようと思ったかや実際行ってどうだったかを紹介しようと思います。 ちなみに次 […]
11月 17, 2021 / 最終更新日時 : 11月 17, 2021 Shuji Suzuki (shu) プログラミング JAXとPyTorch、どっちが速いのか検証してみた 高速化が趣味＆仕事なので、最近よく目にするJAXの速度が気になってました。このため、今回は日ごろ使っているPyTorchと比較したので、その結果のまとめを紹介します。 結論 結果だけ知りたい方が多いだろうと思ったので先に […]
11月 8, 2021 / 最終更新日時 : 11月 8, 2021 Shuji Suzuki (shu) プログラミング JAXによる微分可能Smith Watermanアルゴリズムのパフォーマンス測定 最近微分可能な Smith Waterman アルゴリズムというものとJAXのコードが公開されました。今回はこれらを参考に、JAXの勉強がてら何パターンかSmith Watermanアルゴリズムを実装して測定してみたので […]
10月 23, 2021 / 最終更新日時 : 10月 23, 2021 Shuji Suzuki (shu) プログラミング PyTorch 1.10の新機能「CUDA Graphs」のパフォーマンスを測定してみる はじめに 10/21にPyTorch 1.10がリリースされ、今回も面白そうな機能が追加されました。個人的には楽しみにしていた「CUDA Graphs」のAPIのベータ版が追加されたということで早速試してみました。今回は […]
5月 10, 2021 / 最終更新日時 : 5月 10, 2021 Shuji Suzuki (shu) プログラミング PyTorchのPERFORMANCE TUNING GUIDEの効果を確認してみる その2 「Fuse pointwise operations」 PyTorchには「PERFORMANCE TUNING GUIDE」という学習を速くするためのテクニック集があります。このドキュメントでは個々のテクニックでどれくらい速くなるか具体的な数値が示されていないので、それを確 […]
4月 27, 2021 / 最終更新日時 : 5月 10, 2021 Shuji Suzuki (shu) プログラミング PyTorchのPERFORMANCE TUNING GUIDEの効果を確認してみる その1 「parameter.grad = Noneを使う」 PyTorchには「PERFORMANCE TUNING GUIDE」という学習を速くするためのテクニック集があります。ただ、このドキュメントでは個々のテクニックでどれくらい速くなるのかまでは書いていません。このため、気 […]
