AI白書2022を読んでメモ１

GPT-3

2020年7月にOpenAIが発表した高性能な言語モデル。Generative Pre-trained Transformer – 3　の略。

LOD

Linked Open Data（リンクト・オープン・データ、略名: LOD）は、ウェブ上でコンピュータ処理に適したデータを公開・共有するための技術の総称。従来のウェブがHTML文書間のハイパーリンクによる人間のための情報空間の構築を目的としてきたことに対応して、Linked Open Dataでは構造化されたデータ同士をリンクさせることでコンピュータが利用可能な「データのウェブ」の構築を目指しており、セマンティックウェブの形成に重要な技術となっている。（Wikipedia）

XL-net

BERT,XL-net，GPT,GPT-2,GPT-3

日本語でのBERT、XLNet、ALBERTとかをまとめてみた

このサイトは論文がいっぱい読める。こんなサイトがあったのか。

arXiv.org e-Print archive

arxiv.org

arXiv（アーカイヴ、archiveと同じ発音）は、物理学、数学、計算機科学、数量生物学（英語版）、数量ファイナンス、統計学、電子工学・システム科学、経済学の、プレプリントを含む様々な論文が保存・公開されているウェブサイトである。論文のアップロード（投稿）、ダウンロード（閲覧）ともに無料で、論文はPDF形式である。

（Wikipediaより）

Attention

文法よりもつながり。文中のどの単語に注目すればよいか。

Attentionメカニズムを理解する

今回は、論文「Neural Machine Translation by Jointly Learning to Align and Translate」で提案され、そこから Transformer

data-analytics.fun

量子機械学習