リソース・参考

解説とガイド

• Transformer Model Explaination

トランスフォーマーアーキテクチャの概念を明確に説明した素晴らしいYouTubeビデオです。

• Let's build GPT: from scratch, in code, spelled out.

Andrej Karpathyの有名なビデオチュートリアルで、GPTモデルをゼロから構築する方法を解説しています。

• トランスフォーマーのビジュアルガイド

ジェイ・アラマーによるTransformerモデルの別のビデオガイド。

• Transformers from Scratch

Mat MillerによるAndrejのビデオコンテンツを明確で簡単な実装。

• The Illustrated Transformer

トランスフォーマーモデルを詳細に説明した素晴らしいブログ記事です。

• The Annotated Transformer

トランスフォーマーモデルを詳細に説明するハーバード大学の実装。

• Transformers from Scratch

論文《Attention is all you need》 .に基づいてトランスフォーマーモデルコードを手書きで実装。

• LLM Visualization

LLMモデルがどのように調和をとっているかを素晴らしい可視化。

• GPT — Intuitively and Exhaustively Explained

OpenAIの生成事前トレーニングトランスフォーマーのアーキテクチャを探求。

• Solving Transformer by Hand

ステップ・バイ・ステップの数学的な例。

エコシステム

• HuggingFace

オープンソースのモデルとデータセットを共有するためのプラットフォーム。

• Lightening AI

クラウド上でAIモデルを構築、トレーニング、デプロイするためのプラットフォーム。

• HeyGene

ビデオクリエイターがAI活用した動画を生成するためのプラットフォーム。

• ChromaDB

類似性検索のためのベクトルデータベース。

• MPS

MAC用のMetal Performance ShadersのPyTorch拡張。