That Chip Has Sailed: A Critique of Unfounded Skepticism Around AI for Chip Design, Anna Goldie+, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2411.10053

Authors

• Anna Goldie
• Azalia Mirhoseini
• Jeff Dean

Abstract

• In 2020, we introduced a deep reinforcement learning method capable of generating superhuman chip layouts, which we then published in Nature and open-sourced on GitHub. AlphaChip has inspired an explosion of work on AI for chip design, and has been deployed in state-of-the-art chips across Alphabet and extended by external chipmakers. Even so, a non-peer-reviewed invited paper at ISPD 2023 questioned its performance claims, despite failing to run our method as described in Nature. For example, it did not pre-train the RL method (removing its ability to learn from prior experience), used substantially fewer compute resources (20x fewer RL experience collectors and half as many GPUs), did not train to convergence (standard practice in machine learning), and evaluated on test cases that are not representative of modern chips. Recently, Igor Markov published a meta-analysis of three papers: our peer-reviewed Nature paper, the non-peer-reviewed ISPD paper, and Markov's own unpublished paper (though he does not disclose that he co-authored it). Although AlphaChip has already achieved widespread adoption and impact, we publish this response to ensure that no one is wrongly discouraged from innovating in this impactful area.

Translation (by gpt-4o-mini)

• 2020年に、私たちは超人的なチップレイアウトを生成することができる深層強化学習手法を導入し、これをNatureに発表し、GitHubでオープンソース化しました。AlphaChipは、チップ設計におけるAIに関する研究の爆発的な進展を促し、Alphabetの最先端チップに展開され、外部のチップメーカーによっても拡張されています。それにもかかわらず、ISPD 2023での非査読の招待論文は、私たちの性能主張に疑問を呈しましたが、Natureで説明した通りに私たちの手法を実行することに失敗しました。例えば、その論文はRL手法を事前にトレーニングせず（過去の経験から学ぶ能力を失わせ）、計算リソースを大幅に少なく（20倍少ないRL経験収集器と半分のGPU）、収束までトレーニングせず（機械学習の標準的な手法）、現代のチップを代表しないテストケースで評価しました。最近、Igor Markovは、私たちの査読済みのNature論文、非査読のISPD論文、そしてMarkov自身の未発表の論文の3つの論文のメタ分析を発表しました（ただし、彼が共著者であることは明らかにしていません）。AlphaChipはすでに広範な採用と影響を達成していますが、この分野での革新を誤って思いとどまらせないようにするために、私たちはこの応答を発表します。

Summary (by gpt-4o-mini)

• AlphaChipは深層強化学習を用いて超人的なチップレイアウトを生成する手法で、AIチップ設計の進展を促進した。しかし、ISPD 2023での非査読論文が性能に疑問を呈し、実行方法に問題があった。著者は、事前トレーニングや計算リソースの不足、評価基準の不適切さを指摘。Igor Markovによるメタ分析も行われた。AlphaChipは広範な影響を持つが、誤解を避けるためにこの応答を発表した。

[AkihikoWatanabe]

oh...