2月 28, 2022 / 最終更新日時 : 2月 28, 2022 Shuji Suzuki (shu) 未分類 [勉強ノート]「ベイズ推論による機械学習入門」5.7 ニューラルネットワークで紹介されたものをPyTorchで実装してみた はじめに 最近ベイズ推論の勉強をしていて機械学習スタートアップシリーズの「ベイズ推論による機械学習入門」を読んでいます。今回はこの本の5.7 のニューラルネットワークの章で紹介されていたモデルをPyTorchで実装したの […]
2月 24, 2022 / 最終更新日時 : 2月 24, 2022 Shuji Suzuki (shu) 未分類 [勉強ノート]「ベイズ推論による機械学習入門」5.6ロジスティック回帰 最近ベイズ推論の勉強をしていて機械学習スタートアップシリーズの「ベイズ推論による機械学習入門」を読んでいます。 この記事はこの本の「5.6 ロジスティック回帰」の部分で個人的にぱっと式変形がわからなかったところの詳細に関 […]
12月 14, 2021 / 最終更新日時 : 12月 14, 2021 Shuji Suzuki (shu) 未分類 Optuna V3開発スプリント #2 に行ってきた 先日「Optuna V3開発スプリント #2」に行ったら思いのほかよかったので、次回以降、行こうか迷っている人の参考になればと思い、どうして参加しようと思ったかや実際行ってどうだったかを紹介しようと思います。 ちなみに次 […]
11月 17, 2021 / 最終更新日時 : 11月 17, 2021 Shuji Suzuki (shu) プログラミング JAXとPyTorch、どっちが速いのか検証してみた 高速化が趣味＆仕事なので、最近よく目にするJAXの速度が気になってました。このため、今回は日ごろ使っているPyTorchと比較したので、その結果のまとめを紹介します。 結論 結果だけ知りたい方が多いだろうと思ったので先に […]
11月 8, 2021 / 最終更新日時 : 11月 8, 2021 Shuji Suzuki (shu) プログラミング JAXによる微分可能Smith Watermanアルゴリズムのパフォーマンス測定 最近微分可能な Smith Waterman アルゴリズムというものとJAXのコードが公開されました。今回はこれらを参考に、JAXの勉強がてら何パターンかSmith Watermanアルゴリズムを実装して測定してみたので […]
10月 23, 2021 / 最終更新日時 : 10月 23, 2021 Shuji Suzuki (shu) プログラミング PyTorch 1.10の新機能「CUDA Graphs」のパフォーマンスを測定してみる はじめに 10/21にPyTorch 1.10がリリースされ、今回も面白そうな機能が追加されました。個人的には楽しみにしていた「CUDA Graphs」のAPIのベータ版が追加されたということで早速試してみました。今回は […]
5月 10, 2021 / 最終更新日時 : 5月 10, 2021 Shuji Suzuki (shu) プログラミング PyTorchのPERFORMANCE TUNING GUIDEの効果を確認してみる その2 「Fuse pointwise operations」 PyTorchには「PERFORMANCE TUNING GUIDE」という学習を速くするためのテクニック集があります。このドキュメントでは個々のテクニックでどれくらい速くなるか具体的な数値が示されていないので、それを確 […]
4月 27, 2021 / 最終更新日時 : 5月 10, 2021 Shuji Suzuki (shu) プログラミング PyTorchのPERFORMANCE TUNING GUIDEの効果を確認してみる その1 「parameter.grad = Noneを使う」 PyTorchには「PERFORMANCE TUNING GUIDE」という学習を速くするためのテクニック集があります。ただ、このドキュメントでは個々のテクニックでどれくらい速くなるのかまでは書いていません。このため、気 […]
4月 5, 2021 / 最終更新日時 : 4月 1, 2024 Shuji Suzuki (shu) 書評 [書評] CAREER SKILLS ソフトウェア開発者の完全キャリアガイド ー ソフトウェア開発者のキャリアで悩んでいる人たちに勧める最初の1冊 このブログのコンテンツの一つとして考えていた書評を今回から始めてみようと思います。最初は最近買った「CAREER SKILLS ソフトウェア開発者の完全キャリアガイド」です。 なぜこの本を買ったか？ 2016年のちょうど […]
4月 3, 2021 / 最終更新日時 : 4月 3, 2021 Shuji Suzuki (shu) プログラミング PyTorch 1.8.1で入ったPyTorch Profilerを使ってみた 3月終わりごろ、PyTorch の1.8.1がリリースされました。1.8.0から1.8.1でsmall bugfixだけかと思ってたら、元々あったautograd profilerの次のバージョンのprofilerという […]
