2024-01-01から1年間の記事一覧

2024年読書記録

2024年度の実質的な読書記録. 某所へ.大遅刻で申し訳ございません.情報系の人間の記事ということを前提に読んでもらえるとちょうどよいと思います. amazonリンクは,アフェリエイトなど何もかけていないので,気にせず興味あるものを買っていただければ…

損失関数の平坦性の種々の定義について

以前,損失関数の平坦性の定義について考えたことを雑記としてメモとして残す. 損失地形の平坦性 損失関数 はモデルのパラメータ に対して定義されるスカラー値関数である.損失地形とは,パラメータ空間における幾何学的形状を指す.次のような最適化問題…

LLMへの敵対的攻撃を考える

はじめに 勾配攻撃(gradient attack) 脱獄プロンプト その他の動向 さいごに はじめに セキュリティの分野などでよく知られている敵対的攻撃(adversarial attacks)は,機械学習モデルなどに対して,望ましくない出力をするように仕掛けることです. 多く…

Norm of Mean Contextualized Embeddings Determines their Varianceを読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 とくに断りがない限り,図表は論文より引用. 基本情報 概要 主な貢献 実験 感想 基本情報 著者 Hiroaki Yamagiwa and Hidetoshi Shimodaira BibTeX @m…

Not All Language Model Features Are Linearを読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 とくに断りがない限り,図表は論文より引用. 基本情報 概要 語の定義 基本情報 著者 Joshua Engels and Eric J. Michaud and Isaac Liao and Wes Gurn…

The Shape of Learning: Anisotropy and Intrinsic Dimensions in Transformer-Based Modelsを読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 とくに断りがない限り,図表は論文より引用. 基本情報 概要 known fact 実験方法 結果 基本情報 著者 Anton Razzhigaev and Matvey Mikhalchuk and El…

Intrinsic dimension of data representations in deep neural networksを読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 とくに断りがない限り,図表は論文より引用. 基本情報 概要 提案手法:2近傍法(Two-NN) 実験結果 基本情報 著者 Alessio Ansuini and Alessandro La…

Geometrically Enriched Latent Spacesを読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 とくに断りがない限り,図表は論文より引用. 基本情報 どんなもの? 先行研究と比べてどこがすごい? 技術や手法のキモはどこ? どうやって有効だと示…

Geodesic Clustering in Deep Generative Modelsを読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 とくに断りがない限り,図表は論文より引用. 基本情報 基本情報 次の図はイメージ.自然なデータ多様体からランダムサンプリングした点群を考えると,…

Zipfian Whiteningを読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 とくに断りがない限り,図表は論文より引用. 基本情報 Section1 Section2 Section3 Section4 Section5 Section6&Limitation 付録 感想 基本情報 著者…

言語の固有次元を測る、を読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 とくに断りがない限り,図表は論文より引用. https://www.anlp.jp/proceedings/annual_meeting/2024/pdf_dir/E6-1.pdf 基本情報 どんなもの? 先行研…

Discovering Universal Geometry in Embeddings with ICAを読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 とくに断りがない限り,図表は論文より引用. 基本情報 どんなもの? 先行研究と比べてどこがすごい? 技術や手法のきもはどこ? どうやって有効だと示…

Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problemを読んで

基本情報 どんなもの? 先行研究と比べてどこがすごい? 技術や手法のきもはどこ? どうやって有効だと示した? 議論はある? 個人的なメモ aclanthology.org 本人による解説スライド. www.slideshare.net 基本情報 著者 Sato Ryoma BibTeX @inproceedings{…

Latent Space Oddity : On The Curvature Of Deep Generative Modelsを読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 基本情報 一言で 数学的定式化 基本情報 著者 Georgios Arvanitidis, Lars Kai Hansen, Søren Hauberg URL openreview.net BibTeX @inproceedings{ arv…

Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained Modelsを読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 基本情報 研究背景/前提知識 技術や手法のきもはどこ? どうやって有効だと示した? 次に読むべき論文は? 基本情報 著者 Guillermo Ortiz-Jimenez and…