diff --git a/docs/articles/AWS.html b/docs/articles/AWS.html
index d16afa8ae..70a9cb240 100644
--- a/docs/articles/AWS.html
+++ b/docs/articles/AWS.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/AWS.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="AWSに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"AWS #Article#InfrastructureIssue Date: 2023-08-27 SQL vs. NoSQL cheetsheet, AWS, Azure and Google Cloud Commentデータタイプやユースケースに応じてAWS上のサービスなどをマッピングしてくれているチートシート。わかりやすい。 ... #Article#Infrastructure#LambdaIssue Date: 2023-04-23 Lambda tips CommentAWS Lambda and EFS Troubleshooting https://www.digitalsanctuary.com/aws/aws-lambda-and-efs-troubleshooting.html VPC内のEFSにアクセスできるようなセキュリティー【AWS】VPC ... #Article#Infrastructure#ECSIssue Date: 2023-04-16 ECS tips Commentキャパシティプロバイダーについて https://dev.classmethod.jp/articles/regrwoth-capacity-provider/Fargateをスポットで7割引で使うFargate Spotとは？ #reinvent https://dev.classmeth ... more","headline":"AWSに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/AWS.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/AWS.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"AWS #Article#InfrastructureIssue Date: 2023-08-27 SQL vs. NoSQL cheetsheet, AWS, Azure and Google Cloud Commentデータタイプやユースケースに応じてAWS上のサービスなどをマッピングしてくれているチートシート。わかりやすい。 ... #Article#Infrastructure#LambdaIssue Date: 2023-04-23 Lambda tips CommentAWS Lambda and EFS Troubleshooting https://www.digitalsanctuary.com/aws/aws-lambda-and-efs-troubleshooting.html VPC内のEFSにアクセスできるようなセキュリティー【AWS】VPC ... #Article#Infrastructure#ECSIssue Date: 2023-04-16 ECS tips Commentキャパシティプロバイダーについて https://dev.classmethod.jp/articles/regrwoth-capacity-provider/Fargateをスポットで7割引で使うFargate Spotとは？ #reinvent https://dev.classmeth ... more","headline":"AWSに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/AWS.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/AWS.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1031,32 +1031,32 @@ <h2 id="aws">AWS</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/KnowledgeTracing.html" title="KnowledgeTracingに関する論文・技術記事メモの一覧">
-            KnowledgeTracingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/General.html" title="Generalに関する論文・技術記事メモの一覧">
+            Generalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DialogueGeneration.html" title="DialogueGenerationに関する論文・技術記事メモの一覧">
-            DialogueGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TimeSeriesDataProcessing.html" title="TimeSeriesDataProcessingに関する論文・技術記事メモの一覧">
+            TimeSeriesDataProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ItemBased.html" title="ItemBasedに関する論文・技術記事メモの一覧">
-            ItemBasedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Reference-based.html" title="Reference-basedに関する論文・技術記事メモの一覧">
+            Reference-basedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Unsupervised.html" title="Unsupervisedに関する論文・技術記事メモの一覧">
-            Unsupervisedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Mathematics.html" title="Mathematicsに関する論文・技術記事メモの一覧">
+            Mathematicsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/A_B Testing.html b/docs/articles/A_B Testing.html
index e79d57359..c44b2ac0f 100644
--- a/docs/articles/A_B Testing.html	
+++ b/docs/articles/A_B Testing.html	
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/A_B%20Testing.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="A/B Testingに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"A/B Testing #Article#ArticleIssue Date: 2023-04-26 Controlled experiments on the web: survey and practical guide, 2023 CommentA/Bテストのベストプラクティスが書かれているらしい ...","headline":"A/B Testingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/A_B%20Testing.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/A_B%20Testing.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"A/B Testing #Article#ArticleIssue Date: 2023-04-26 Controlled experiments on the web: survey and practical guide, 2023 CommentA/Bテストのベストプラクティスが書かれているらしい ...","headline":"A/B Testingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/A_B%20Testing.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/A_B%20Testing.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1010,32 +1010,32 @@ <h2 id="ab-testing">A/B Testing</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Personalization.html" title="Personalizationに関する論文・技術記事メモの一覧">
-            Personalizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ConceptToText.html" title="ConceptToTextに関する論文・技術記事メモの一覧">
+            ConceptToTextに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NaturalLanguageGeneration.html" title="NaturalLanguageGenerationに関する論文・技術記事メモの一覧">
-            NaturalLanguageGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataDriven.html" title="DataDrivenに関する論文・技術記事メモの一覧">
+            DataDrivenに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Planning.html" title="Planningに関する論文・技術記事メモの一覧">
-            Planningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Argument.html" title="Argumentに関する論文・技術記事メモの一覧">
+            Argumentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/FactorizationMachines.html" title="FactorizationMachinesに関する論文・技術記事メモの一覧">
-            FactorizationMachinesに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ReinforcementLearning.html" title="ReinforcementLearningに関する論文・技術記事メモの一覧">
+            ReinforcementLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Abstractive.html b/docs/articles/Abstractive.html
index e8ab05123..2776bfec1 100644
--- a/docs/articles/Abstractive.html
+++ b/docs/articles/Abstractive.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Abstractive.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Abstractiveに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Abstractive #DocumentSummarization#NaturalLanguageGeneration#NLP#FactualConsistencyIssue Date: 2023-07-18 Improving Factuality of Abstractive Summarization without Sacrificing Summary Quality, ACL23 Summary事実性を意識した要約の品質向上に関する研究はあるが、品質を犠牲にすることなく事実性を向上させる手法がほとんどない。本研究では「Effective Factual Summarization」という技術を提案し、事実性と類似性の指標の両方で大幅な改善を示すことを示した。トレーニング中に競合を防ぐために2つの指標を組み合わせるランキング戦略を提案し、XSUMのFactCCでは最大6ポイント、CNN/DMでは11ポイントの改善が見られた。また、類似性や要約の抽象性には負の影響を与えない。 #DocumentSummarization#NaturalLanguageGeneration#NLP#ExtractiveIssue Date: 2023-07-18 Abstractive Summarizers are Excellent Extractive Summarizers, ACL23 Summary本研究では、抽出型要約と要約型要約の相乗効果を探求し、シーケンス・トゥ・シーケンス・アーキテクチャを使用した3つの新しい推論アルゴリズムを提案しています。これにより、要約型システムが抽出型システムを超えることができることを示しました。また、要約型システムは抽出型のオラクル要約にさらされることなく、両方の要約を単一のモデルで生成できることも示しました。これは、抽出型ラベルの必要性に疑問を投げかけるものであり、ハイブリッドモデルの有望な研究方向を示しています。 #DocumentSummarization#Survey#NLP#ConversationIssue Date: 2023-07-15 TACL Abstractive Meeting Summarization: A Survey, TACL23 Summary会議の要約化において、深層学習の進歩により抽象的要約が改善された。本論文では、抽象的な会議の要約化の課題と、使用されているデータセット、モデル、評価指標について概説する。 more","headline":"Abstractiveに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Abstractive.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Abstractive.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Abstractive #DocumentSummarization#NaturalLanguageGeneration#NLP#FactualConsistencyIssue Date: 2023-07-18 Improving Factuality of Abstractive Summarization without Sacrificing Summary Quality, ACL23 Summary事実性を意識した要約の品質向上に関する研究はあるが、品質を犠牲にすることなく事実性を向上させる手法がほとんどない。本研究では「Effective Factual Summarization」という技術を提案し、事実性と類似性の指標の両方で大幅な改善を示すことを示した。トレーニング中に競合を防ぐために2つの指標を組み合わせるランキング戦略を提案し、XSUMのFactCCでは最大6ポイント、CNN/DMでは11ポイントの改善が見られた。また、類似性や要約の抽象性には負の影響を与えない。 #DocumentSummarization#NaturalLanguageGeneration#NLP#ExtractiveIssue Date: 2023-07-18 Abstractive Summarizers are Excellent Extractive Summarizers, ACL23 Summary本研究では、抽出型要約と要約型要約の相乗効果を探求し、シーケンス・トゥ・シーケンス・アーキテクチャを使用した3つの新しい推論アルゴリズムを提案しています。これにより、要約型システムが抽出型システムを超えることができることを示しました。また、要約型システムは抽出型のオラクル要約にさらされることなく、両方の要約を単一のモデルで生成できることも示しました。これは、抽出型ラベルの必要性に疑問を投げかけるものであり、ハイブリッドモデルの有望な研究方向を示しています。 #DocumentSummarization#Survey#NLP#ConversationIssue Date: 2023-07-15 TACL Abstractive Meeting Summarization: A Survey, TACL23 Summary会議の要約化において、深層学習の進歩により抽象的要約が改善された。本論文では、抽象的な会議の要約化の課題と、使用されているデータセット、モデル、評価指標について概説する。 more","headline":"Abstractiveに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Abstractive.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Abstractive.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1072,32 +1072,32 @@ <h2 id="abstractive">Abstractive</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/OpinionMining.html" title="OpinionMiningに関する論文・技術記事メモの一覧">
-            OpinionMiningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AudioProcessing.html" title="AudioProcessingに関する論文・技術記事メモの一覧">
+            AudioProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Poisoning.html" title="Poisoningに関する論文・技術記事メモの一覧">
-            Poisoningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Mindset.html" title="Mindsetに関する論文・技術記事メモの一覧">
+            Mindsetに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Library.html" title="Libraryに関する論文・技術記事メモの一覧">
-            Libraryに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Speech.html" title="Speechに関する論文・技術記事メモの一覧">
+            Speechに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/CoT.html" title="CoTに関する論文・技術記事メモの一覧">
-            CoTに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Multi.html" title="Multiに関する論文・技術記事メモの一覧">
+            Multiに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Adapter_LoRA.html b/docs/articles/Adapter_LoRA.html
index 26235692a..9d5a52679 100644
--- a/docs/articles/Adapter_LoRA.html
+++ b/docs/articles/Adapter_LoRA.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Adapter_LoRA.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Adapter/LoRAに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Adapter/LoRA #Efficiency/SpeedUp#Pocket#NLP#LanguageModelIssue Date: 2024-03-05 LoRA+: Efficient Low Rank Adaptation of Large Models, Soufiane Hayou+, N_A, arXiv24 Summary本研究では、Huら（2021）によって導入されたLow Rank Adaptation（LoRA）が、大埋め込み次元を持つモデルの適切な微調整を妨げることを指摘します。この問題は、LoRAのアダプターマトリックスAとBが同じ学習率で更新されることに起因します。我々は、AとBに同じ学習率を使用することが効率的な特徴学習を妨げることを示し、異なる学習率を設定することでこの問題を修正できることを示します。修正されたアルゴリズムをLoRA$+$と呼び、幅広い実験により、LoRA$+$は性能を向上させ、微調整速度を最大2倍高速化することが示されました。 CommentLoRAと同じ計算コストで、2倍以上の高速化、かつ高いパフォーマンスを実現する手法 ... #Efficiency/SpeedUp#MachineLearning#FinetuningIssue Date: 2024-01-17 VeRA: Vector-based Random Matrix Adaptation, Dawid J. Kopiczko+, N_A, arXiv23 Summary本研究では、大規模な言語モデルのfine-tuningにおいて、訓練可能なパラメータの数を削減するための新しい手法であるベクトルベースのランダム行列適応（VeRA）を提案する。VeRAは、共有される低ランク行列と小さなスケーリングベクトルを使用することで、同じ性能を維持しながらパラメータ数を削減する。GLUEやE2Eのベンチマーク、画像分類タスクでの効果を示し、言語モデルのインストラクションチューニングにも応用できることを示す。 #PocketIssue Date: 2023-11-23 MultiLoRA: Democratizing LoRA for Better Multi-Task Learning, Yiming Wang+, N_A, arXiv23 SummaryLoRAは、LLMsを効率的に適応させる手法であり、ChatGPTのようなモデルを複数のタスクに適用することが求められている。しかし、LoRAは複雑なマルチタスクシナリオでの適応性能に制限がある。そこで、本研究ではMultiLoRAという手法を提案し、LoRAの制約を緩和する。MultiLoRAは、LoRAモジュールをスケーリングし、パラメータの依存性を減らすことで、バランスの取れたユニタリ部分空間を得る。実験結果では、わずかな追加パラメータでMultiLoRAが優れたパフォーマンスを示し、上位特異ベクトルへの依存性が低下していることが確認された。 more","headline":"Adapter/LoRAに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Adapter_LoRA.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Adapter_LoRA.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Adapter/LoRA #Efficiency/SpeedUp#Pocket#NLP#LanguageModelIssue Date: 2024-03-05 LoRA+: Efficient Low Rank Adaptation of Large Models, Soufiane Hayou+, N_A, arXiv24 Summary本研究では、Huら（2021）によって導入されたLow Rank Adaptation（LoRA）が、大埋め込み次元を持つモデルの適切な微調整を妨げることを指摘します。この問題は、LoRAのアダプターマトリックスAとBが同じ学習率で更新されることに起因します。我々は、AとBに同じ学習率を使用することが効率的な特徴学習を妨げることを示し、異なる学習率を設定することでこの問題を修正できることを示します。修正されたアルゴリズムをLoRA$+$と呼び、幅広い実験により、LoRA$+$は性能を向上させ、微調整速度を最大2倍高速化することが示されました。 CommentLoRAと同じ計算コストで、2倍以上の高速化、かつ高いパフォーマンスを実現する手法 ... #Efficiency/SpeedUp#MachineLearning#FinetuningIssue Date: 2024-01-17 VeRA: Vector-based Random Matrix Adaptation, Dawid J. Kopiczko+, N_A, arXiv23 Summary本研究では、大規模な言語モデルのfine-tuningにおいて、訓練可能なパラメータの数を削減するための新しい手法であるベクトルベースのランダム行列適応（VeRA）を提案する。VeRAは、共有される低ランク行列と小さなスケーリングベクトルを使用することで、同じ性能を維持しながらパラメータ数を削減する。GLUEやE2Eのベンチマーク、画像分類タスクでの効果を示し、言語モデルのインストラクションチューニングにも応用できることを示す。 #PocketIssue Date: 2023-11-23 MultiLoRA: Democratizing LoRA for Better Multi-Task Learning, Yiming Wang+, N_A, arXiv23 SummaryLoRAは、LLMsを効率的に適応させる手法であり、ChatGPTのようなモデルを複数のタスクに適用することが求められている。しかし、LoRAは複雑なマルチタスクシナリオでの適応性能に制限がある。そこで、本研究ではMultiLoRAという手法を提案し、LoRAの制約を緩和する。MultiLoRAは、LoRAモジュールをスケーリングし、パラメータの依存性を減らすことで、バランスの取れたユニタリ部分空間を得る。実験結果では、わずかな追加パラメータでMultiLoRAが優れたパフォーマンスを示し、上位特異ベクトルへの依存性が低下していることが確認された。 more","headline":"Adapter/LoRAに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Adapter_LoRA.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Adapter_LoRA.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -765,7 +765,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1062,32 +1062,32 @@ <h2 id="adapterlora">Adapter/LoRA</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/DiffusionModel.html" title="DiffusionModelに関する論文・技術記事メモの一覧">
-            DiffusionModelに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/EssayScoring.html" title="EssayScoringに関する論文・技術記事メモの一覧">
+            EssayScoringに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Adapter_LoRA.html" title="Adapter/LoRAに関する論文・技術記事メモの一覧">
-            Adapter/LoRAに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/KnowledgeTracing.html" title="KnowledgeTracingに関する論文・技術記事メモの一覧">
+            KnowledgeTracingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ImageSegmentation.html" title="ImageSegmentationに関する論文・技術記事メモの一覧">
-            ImageSegmentationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/action_wanted.html" title="action_wantedに関する論文・技術記事メモの一覧">
+            action_wantedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Dataset.html" title="Datasetに関する論文・技術記事メモの一覧">
-            Datasetに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InformationRetrieval.html" title="InformationRetrievalに関する論文・技術記事メモの一覧">
+            InformationRetrievalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/AdaptiveLearning.html b/docs/articles/AdaptiveLearning.html
index dc003b11d..4bb644459 100644
--- a/docs/articles/AdaptiveLearning.html
+++ b/docs/articles/AdaptiveLearning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/AdaptiveLearning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="AdaptiveLearningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"AdaptiveLearning #NaturalLanguageGeneration#NLP#Education#KnowledgeTracing#Personalization#QuestionGenerationIssue Date: 2023-07-14 Adaptive and Personalized Exercise Generation for Online Language Learning, ACL23 Summary本研究では、オンライン言語学習のための適応的な演習生成の新しいタスクを研究しました。学習履歴から学生の知識状態を推定し、その状態に基づいて個別化された演習文を生成するモデルを提案しました。実データを用いた実験結果から、学生の状態に応じた演習を生成できることを示しました。さらに、教育アプリケーションでの利用方法についても議論し、学習の効率化を促進できる可能性を示しました。 CommentKnowledge Tracingで推定された習熟度に基づいて、エクササイズを自動生成する研究。KTとNLGが組み合わさっており、非常におもしろい。 ... #Neural#EducationalDataMining#KnowledgeTracingIssue Date: 2022-08-26 Using Neural Network-Based Knowledge Tracing for a Learning System with Unreliable Skill Tags, Karumbaiah+, （w_ Ryan Baker）, EDM22 Comment超重要論文。しっかり読むべき# 一言で言うと KTを利用することを最初から念頭に置いていなかったシステムでは、問題に対して事後的にスキルをマッピングする作業が生じてしまい、これは非常に困難なことが多い。論文中で使用したアメリカの商用の数学のblended learningのシステムのデータでは、途中 ... #Pocket#KnowledgeTracingIssue Date: 2022-08-10 No Task Left Behind: Multi-Task Learning of Knowledge Tracing and Option Tracing for Better Student Assessment, An+, RiiiD, AAAI22 more","headline":"AdaptiveLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/AdaptiveLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/AdaptiveLearning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"AdaptiveLearning #NaturalLanguageGeneration#NLP#Education#KnowledgeTracing#Personalization#QuestionGenerationIssue Date: 2023-07-14 Adaptive and Personalized Exercise Generation for Online Language Learning, ACL23 Summary本研究では、オンライン言語学習のための適応的な演習生成の新しいタスクを研究しました。学習履歴から学生の知識状態を推定し、その状態に基づいて個別化された演習文を生成するモデルを提案しました。実データを用いた実験結果から、学生の状態に応じた演習を生成できることを示しました。さらに、教育アプリケーションでの利用方法についても議論し、学習の効率化を促進できる可能性を示しました。 CommentKnowledge Tracingで推定された習熟度に基づいて、エクササイズを自動生成する研究。KTとNLGが組み合わさっており、非常におもしろい。 ... #Neural#EducationalDataMining#KnowledgeTracingIssue Date: 2022-08-26 Using Neural Network-Based Knowledge Tracing for a Learning System with Unreliable Skill Tags, Karumbaiah+, （w_ Ryan Baker）, EDM22 Comment超重要論文。しっかり読むべき# 一言で言うと KTを利用することを最初から念頭に置いていなかったシステムでは、問題に対して事後的にスキルをマッピングする作業が生じてしまい、これは非常に困難なことが多い。論文中で使用したアメリカの商用の数学のblended learningのシステムのデータでは、途中 ... #Pocket#KnowledgeTracingIssue Date: 2022-08-10 No Task Left Behind: Multi-Task Learning of Knowledge Tracing and Option Tracing for Better Student Assessment, An+, RiiiD, AAAI22 more","headline":"AdaptiveLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/AdaptiveLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/AdaptiveLearning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1222,32 +1222,32 @@ <h2 id="adaptivelearning">AdaptiveLearning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/OpenLLM.html" title="OpenLLMに関する論文・技術記事メモの一覧">
-            OpenLLMに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CommentGeneration.html" title="CommentGenerationに関する論文・技術記事メモの一覧">
+            CommentGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/QA-based.html" title="QA-basedに関する論文・技術記事メモの一覧">
-            QA-basedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Transformer.html" title="Transformerに関する論文・技術記事メモの一覧">
+            Transformerに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InductiveBias.html" title="InductiveBiasに関する論文・技術記事メモの一覧">
-            InductiveBiasに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/GraphConvolutionalNetwork.html" title="GraphConvolutionalNetworkに関する論文・技術記事メモの一覧">
+            GraphConvolutionalNetworkに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/AutomaticPromptEngineering.html" title="AutomaticPromptEngineeringに関する論文・技術記事メモの一覧">
-            AutomaticPromptEngineeringに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DialogueGeneration.html" title="DialogueGenerationに関する論文・技術記事メモの一覧">
+            DialogueGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/AffectDetection.html b/docs/articles/AffectDetection.html
index 786bf99bd..ed6ff4105 100644
--- a/docs/articles/AffectDetection.html
+++ b/docs/articles/AffectDetection.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/AffectDetection.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="AffectDetectionに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"AffectDetection #Neural#EducationalDataMining#LearningAnalyticsIssue Date: 2021-06-08 Improving Sensor-Free Affect Detection Using Deep Learning, Botelho+, AIED17 CommentDKTが実はBKTと対して性能変わらない、みたいな話がreference付きで書かれている。Ryan Baker, Neil Heffernan論文Affect Detectionは、physical/psychological sensorを利用する研究が行われてきており、それらは様々な制約により ...","headline":"AffectDetectionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/AffectDetection.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/AffectDetection.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"AffectDetection #Neural#EducationalDataMining#LearningAnalyticsIssue Date: 2021-06-08 Improving Sensor-Free Affect Detection Using Deep Learning, Botelho+, AIED17 CommentDKTが実はBKTと対して性能変わらない、みたいな話がreference付きで書かれている。Ryan Baker, Neil Heffernan論文Affect Detectionは、physical/psychological sensorを利用する研究が行われてきており、それらは様々な制約により ...","headline":"AffectDetectionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/AffectDetection.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/AffectDetection.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1010,32 +1010,32 @@ <h2 id="affectdetection">AffectDetection</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/InteractiveRecommenderSystems.html" title="InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧">
-            InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CTRPrediction.html" title="CTRPredictionに関する論文・技術記事メモの一覧">
+            CTRPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TimeSeriesDataProcessing.html" title="TimeSeriesDataProcessingに関する論文・技術記事メモの一覧">
-            TimeSeriesDataProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Comments.html" title="Commentsに関する論文・技術記事メモの一覧">
+            Commentsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PsychologicalScience.html" title="PsychologicalScienceに関する論文・技術記事メモの一覧">
-            PsychologicalScienceに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Financial.html" title="Financialに関する論文・技術記事メモの一覧">
+            Financialに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Dataset.html" title="Datasetに関する論文・技術記事メモの一覧">
-            Datasetに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/QA-based.html" title="QA-basedに関する論文・技術記事メモの一覧">
+            QA-basedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Alignment.html b/docs/articles/Alignment.html
index 1128c85d2..047c61cd3 100644
--- a/docs/articles/Alignment.html
+++ b/docs/articles/Alignment.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Alignment.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Alignmentに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Alignment #NLP#LanguageModel#In-ContextLearningIssue Date: 2023-12-05 The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context Learning, Bill Yuchen Lin+, N_A, arXiv23 Summaryアラインメント調整は、大規模言語モデル（LLMs）のパフォーマンスを向上させるために使用されます。しかし、アラインメント調整の効果は「表面的」である可能性があります。この研究では、基本的なLLMとアラインメント調整されたバージョンのトークン分布のシフトを分析しました。結果は、アラインメント調整が主にスタイルトークンに影響を与えることを示しました。さらに、シンプルでチューニングフリーなアラインメント手法であるURIALを導入し、基本的なLLMのパフォーマンスを向上させることができることを示しました。これらの結果から、アラインメントのより深い分析と理論的な理解が重要であることが示唆されます。 Commentモデルの知識はPre-training時に十分獲得されており、モデルのAlignmentをとることで生じるものは表面的な変化のみであるという仮説がある #700 。この仮説に関して分析をし、結果的にスタイリスティックな情報を生成する部分でAlignmentの有無で違いが生じることを明らかにし、そうで ... #Pocket#NLPIssue Date: 2023-11-21 Unbalanced Optimal Transport for Unbalanced Word Alignment, Yuki Arase+, N_A, arXiv23 Summary単一言語の単語アライメントにおいて、null alignmentという現象は重要であり、不均衡な単語アライメントを実現するために最適輸送（OT）のファミリーが有効であることを示している。教師あり・教師なしの設定での包括的な実験により、OTベースのアライメント手法が最新の手法と競争力があることが示されている。 Comment最適輸送で爆速でモノリンガルの単語アライメントがとれるらしい実装:https://github.com/yukiar/OTAlign単語のアライメント先がない（null alignment）、one-to-oneの関係ではなく、one-to-many, many-to-manyのアライメントが必要な ... #Pocket#NLP#Dataset#LanguageModel#ConversationIssue Date: 2023-10-09 RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models, Zekun Moore Wang+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）を使用して役割演技の能力を向上させるためのフレームワークであるRoleLLMを提案しています。RoleLLMは、役割プロファイルの構築、コンテキストベースの指示生成、役割プロンプトによる話し方の模倣、オープンソースモデルの微調整と役割のカスタマイズの4つのステージで構成されています。さらに、RoleBenchと呼ばれる役割演技のためのベンチマークデータセットを作成し、RoleLLaMAとRoleGLMというモデルを開発しました。これにより、役割演技の能力が大幅に向上し、GPT-4と同等の結果を達成しました。 Comment# Overview # RoleBench ... more","headline":"Alignmentに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Alignment.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Alignment.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Alignment #NLP#LanguageModel#In-ContextLearningIssue Date: 2023-12-05 The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context Learning, Bill Yuchen Lin+, N_A, arXiv23 Summaryアラインメント調整は、大規模言語モデル（LLMs）のパフォーマンスを向上させるために使用されます。しかし、アラインメント調整の効果は「表面的」である可能性があります。この研究では、基本的なLLMとアラインメント調整されたバージョンのトークン分布のシフトを分析しました。結果は、アラインメント調整が主にスタイルトークンに影響を与えることを示しました。さらに、シンプルでチューニングフリーなアラインメント手法であるURIALを導入し、基本的なLLMのパフォーマンスを向上させることができることを示しました。これらの結果から、アラインメントのより深い分析と理論的な理解が重要であることが示唆されます。 Commentモデルの知識はPre-training時に十分獲得されており、モデルのAlignmentをとることで生じるものは表面的な変化のみであるという仮説がある #700 。この仮説に関して分析をし、結果的にスタイリスティックな情報を生成する部分でAlignmentの有無で違いが生じることを明らかにし、そうで ... #Pocket#NLPIssue Date: 2023-11-21 Unbalanced Optimal Transport for Unbalanced Word Alignment, Yuki Arase+, N_A, arXiv23 Summary単一言語の単語アライメントにおいて、null alignmentという現象は重要であり、不均衡な単語アライメントを実現するために最適輸送（OT）のファミリーが有効であることを示している。教師あり・教師なしの設定での包括的な実験により、OTベースのアライメント手法が最新の手法と競争力があることが示されている。 Comment最適輸送で爆速でモノリンガルの単語アライメントがとれるらしい実装:https://github.com/yukiar/OTAlign単語のアライメント先がない（null alignment）、one-to-oneの関係ではなく、one-to-many, many-to-manyのアライメントが必要な ... #Pocket#NLP#Dataset#LanguageModel#ConversationIssue Date: 2023-10-09 RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models, Zekun Moore Wang+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）を使用して役割演技の能力を向上させるためのフレームワークであるRoleLLMを提案しています。RoleLLMは、役割プロファイルの構築、コンテキストベースの指示生成、役割プロンプトによる話し方の模倣、オープンソースモデルの微調整と役割のカスタマイズの4つのステージで構成されています。さらに、RoleBenchと呼ばれる役割演技のためのベンチマークデータセットを作成し、RoleLLaMAとRoleGLMというモデルを開発しました。これにより、役割演技の能力が大幅に向上し、GPT-4と同等の結果を達成しました。 Comment# Overview # RoleBench ... more","headline":"Alignmentに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Alignment.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Alignment.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1087,32 +1087,32 @@ <h2 id="alignment">Alignment</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/KnowledgeGraph.html" title="KnowledgeGraphに関する論文・技術記事メモの一覧">
-            KnowledgeGraphに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Proprietary.html" title="Proprietaryに関する論文・技術記事メモの一覧">
+            Proprietaryに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PersonalizedHeadlineGeneration.html" title="PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧">
-            PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LongSequence.html" title="LongSequenceに関する論文・技術記事メモの一覧">
+            LongSequenceに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/SemanticTextualSimilarity.html" title="SemanticTextualSimilarityに関する論文・技術記事メモの一覧">
-            SemanticTextualSimilarityに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Financial.html" title="Financialに関する論文・技術記事メモの一覧">
+            Financialに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/KnowledgeTracing.html" title="KnowledgeTracingに関する論文・技術記事メモの一覧">
-            KnowledgeTracingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Efficiency_SpeedUp.html" title="Efficiency/SpeedUpに関する論文・技術記事メモの一覧">
+            Efficiency/SpeedUpに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Analysis.html b/docs/articles/Analysis.html
index 9a968d4b4..55b825724 100644
--- a/docs/articles/Analysis.html
+++ b/docs/articles/Analysis.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Analysis.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Analysisに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Analysis #Pocket#NLP#LanguageModel#ContextWindow#LongSequenceIssue Date: 2024-04-07 Long-context LLMs Struggle with Long In-context Learning, Tianle Li+, N_A, arXiv24 SummaryLLMsは長いシーケンスを処理する能力に進展しているが、実世界のシナリオでの能力を評価するための専門的なベンチマークLongICLBenchが導入された。このベンチマークでは、LLMsは巨大なラベル空間を理解し、正しい予測を行うために入力全体を理解する必要がある。研究によると、長いコンテキストLLMsは長いコンテキストウィンドウを活用することで比較的良いパフォーマンスを示すが、最も困難なタスクでは苦労している。現在のLLMsは長くコンテキスト豊かなシーケンスを処理し理解する能力にギャップがあることを示唆しており、長いコンテキストの理解と推論は依然として難しい課題であることが示されている。 CommentGPT4以外はコンテキストが20Kを超えると性能が劣化する傾向にあるとのこと。データセットを難易度別に収集し評価したところ、難易度の高いデータではそもそもコンテキストが長くなると全てのLLMがタスクを理解するできずほぼ0%の性能となった。 ... #Pocket#NLP#LanguageModel#QuestionAnsweringIssue Date: 2023-12-04 Unnatural Error Correction: GPT-4 Can Almost Perfectly Handle Unnatural Scrambled Text, Qi Cao+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）の内部動作についての新しい洞察を提供します。特に、GPT-4を調査し、LLMsの耐久性に関する実験結果を示します。実験では、文字レベルの順列に対するLLMsの耐性を調べるために、Scrambled Benchというスイートを使用しました。結果は、GPT-4がtypoglycemiaという現象に似た能力を持ち、非常に自然でないエラーを含む入力をほぼ完璧に処理できることを示しています。これは、LLMsの耐性が直感に反するものであり、他のLLMsや人間にとっても困難なタスクであることを示しています。 CommentOpenAIのモデルがブラックボックスである限り、コンタミネーションがあるのでは？という疑念は持ってしまう。（部分的にしか読めていないが…）RealtimeQAと呼ばれるweeklyで直近のニュースに対するQuestionを発表することで構築されるデータセットのうち、2023.03.17--2完全に ... #NLP#LanguageModelIssue Date: 2023-11-08 Do LLMs exhibit human-like response biases? A case study in survey design, Lindia Tjuatja+, N_A, arXiv23 SummaryLLMsを使用して人間の代理としてタスクを実行する際に、LLMsが人間の応答バイアスをどの程度反映するかを調査する必要がある。この研究では、調査設計を使用して人間の応答バイアスを評価するデータセットとフレームワークを設計し、9つのモデルを評価した結果、一般的なLLMsが人間のような振る舞いを反映することに失敗していることが示された。これらの結果は、LLMsを人間の代わりに使用する際の潜在的な落とし穴を強調し、モデルの振る舞いの細かい特性の重要性を強調している。 CommentLLMはPromptにsensitiveだが、人間も質問の仕方によって応答が変わるから、sensitiveなのは一緒では？ということを調査した研究。Neubigさんのツイートだと、instruction tuningやRLHFをしていないBase LLMの方が、より人間と類似した回答をするのだそう。 ... more","headline":"Analysisに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Analysis.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Analysis.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Analysis #Pocket#NLP#LanguageModel#ContextWindow#LongSequenceIssue Date: 2024-04-07 Long-context LLMs Struggle with Long In-context Learning, Tianle Li+, N_A, arXiv24 SummaryLLMsは長いシーケンスを処理する能力に進展しているが、実世界のシナリオでの能力を評価するための専門的なベンチマークLongICLBenchが導入された。このベンチマークでは、LLMsは巨大なラベル空間を理解し、正しい予測を行うために入力全体を理解する必要がある。研究によると、長いコンテキストLLMsは長いコンテキストウィンドウを活用することで比較的良いパフォーマンスを示すが、最も困難なタスクでは苦労している。現在のLLMsは長くコンテキスト豊かなシーケンスを処理し理解する能力にギャップがあることを示唆しており、長いコンテキストの理解と推論は依然として難しい課題であることが示されている。 CommentGPT4以外はコンテキストが20Kを超えると性能が劣化する傾向にあるとのこと。データセットを難易度別に収集し評価したところ、難易度の高いデータではそもそもコンテキストが長くなると全てのLLMがタスクを理解するできずほぼ0%の性能となった。 ... #Pocket#NLP#LanguageModel#QuestionAnsweringIssue Date: 2023-12-04 Unnatural Error Correction: GPT-4 Can Almost Perfectly Handle Unnatural Scrambled Text, Qi Cao+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）の内部動作についての新しい洞察を提供します。特に、GPT-4を調査し、LLMsの耐久性に関する実験結果を示します。実験では、文字レベルの順列に対するLLMsの耐性を調べるために、Scrambled Benchというスイートを使用しました。結果は、GPT-4がtypoglycemiaという現象に似た能力を持ち、非常に自然でないエラーを含む入力をほぼ完璧に処理できることを示しています。これは、LLMsの耐性が直感に反するものであり、他のLLMsや人間にとっても困難なタスクであることを示しています。 CommentOpenAIのモデルがブラックボックスである限り、コンタミネーションがあるのでは？という疑念は持ってしまう。（部分的にしか読めていないが…）RealtimeQAと呼ばれるweeklyで直近のニュースに対するQuestionを発表することで構築されるデータセットのうち、2023.03.17--2完全に ... #NLP#LanguageModelIssue Date: 2023-11-08 Do LLMs exhibit human-like response biases? A case study in survey design, Lindia Tjuatja+, N_A, arXiv23 SummaryLLMsを使用して人間の代理としてタスクを実行する際に、LLMsが人間の応答バイアスをどの程度反映するかを調査する必要がある。この研究では、調査設計を使用して人間の応答バイアスを評価するデータセットとフレームワークを設計し、9つのモデルを評価した結果、一般的なLLMsが人間のような振る舞いを反映することに失敗していることが示された。これらの結果は、LLMsを人間の代わりに使用する際の潜在的な落とし穴を強調し、モデルの振る舞いの細かい特性の重要性を強調している。 CommentLLMはPromptにsensitiveだが、人間も質問の仕方によって応答が変わるから、sensitiveなのは一緒では？ということを調査した研究。Neubigさんのツイートだと、instruction tuningやRLHFをしていないBase LLMの方が、より人間と類似した回答をするのだそう。 ... more","headline":"Analysisに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Analysis.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Analysis.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1072,32 +1072,32 @@ <h2 id="analysis">Analysis</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Grokking.html" title="Grokkingに関する論文・技術記事メモの一覧">
-            Grokkingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Neural.html" title="Neuralに関する論文・技術記事メモの一覧">
+            Neuralに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/UserModeling.html" title="UserModelingに関する論文・技術記事メモの一覧">
-            UserModelingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DialogueGeneration.html" title="DialogueGenerationに関する論文・技術記事メモの一覧">
+            DialogueGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/project_template.html" title="project_templateに関する論文・技術記事メモの一覧">
-            project_templateに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Pruning.html" title="Pruningに関する論文・技術記事メモの一覧">
+            Pruningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/OptionTracing.html" title="OptionTracingに関する論文・技術記事メモの一覧">
-            OptionTracingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MachineTranslation.html" title="MachineTranslationに関する論文・技術記事メモの一覧">
+            MachineTranslationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Annotation.html b/docs/articles/Annotation.html
index 4111e4534..7931bee36 100644
--- a/docs/articles/Annotation.html
+++ b/docs/articles/Annotation.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Annotation.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Annotationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Annotation #Survey#Pocket#NLP#LanguageModelIssue Date: 2024-03-05 Large Language Models for Data Annotation: A Survey, Zhen Tan+, N_A, arXiv24 SummaryGPT-4などの大規模言語モデル（LLMs）を使用したデータアノテーションの研究に焦点を当て、LLMによるアノテーション生成の評価や学習への応用について述べられています。LLMを使用したデータアノテーションの手法や課題について包括的に議論し、将来の研究の進展を促進することを目的としています。 CommentData AnnotationにLLMを活用する場合のサーベイ ... #DocumentSummarization#NaturalLanguageGeneration#Pocket#NLP#Dataset#LanguageModelIssue Date: 2024-05-15 Benchmarking Large Language Models for News Summarization, Tianyi Zhang+, N_A, arXiv23 SummaryLLMsの成功の理由を理解するために、異なる事前学習方法、プロンプト、およびモデルスケールにわたる10つのLLMsに対する人間の評価を行った。その結果、モデルサイズではなく、指示の調整がLLMのゼロショット要約能力の鍵であることがわかった。また、LLMsの要約は人間の執筆した要約と同等と判断された。 Commentニュース記事の高品質な要約を人間に作成してもらい、gpt-3.5を用いてLLM-basedな要約も生成 annotatorにそれぞれの要約の品質をスコアリングさせたデータセットを作成 ... #Pocket#NLP#LanguageModelIssue Date: 2023-07-22 LLMs as Workers in Human-Computational Algorithms? Replicating Crowdsourcing Pipelines with LLMs, Tongshuang Wu+, N_A, arXiv23 Summary大規模言語モデル（LLMs）は、クラウドソーシングタスクにおいて人間のような振る舞いを再現できる可能性がある。しかし、現在の取り組みは単純なタスクに焦点を当てており、より複雑なパイプラインを再現できるかどうかは不明である。LLMsの成功は、リクエスターの理解力やサブタスクのスキルに影響を受ける。人間とLLMsのトレーニングの組み合わせにより、クラウドソーシングパイプラインの再現が可能であり、LLMsは一部のタスクを完了させながら、他のタスクを人間に任せることができる。 more","headline":"Annotationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Annotation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Annotation.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Annotation #Survey#Pocket#NLP#LanguageModelIssue Date: 2024-03-05 Large Language Models for Data Annotation: A Survey, Zhen Tan+, N_A, arXiv24 SummaryGPT-4などの大規模言語モデル（LLMs）を使用したデータアノテーションの研究に焦点を当て、LLMによるアノテーション生成の評価や学習への応用について述べられています。LLMを使用したデータアノテーションの手法や課題について包括的に議論し、将来の研究の進展を促進することを目的としています。 CommentData AnnotationにLLMを活用する場合のサーベイ ... #DocumentSummarization#NaturalLanguageGeneration#Pocket#NLP#Dataset#LanguageModelIssue Date: 2024-05-15 Benchmarking Large Language Models for News Summarization, Tianyi Zhang+, N_A, arXiv23 SummaryLLMsの成功の理由を理解するために、異なる事前学習方法、プロンプト、およびモデルスケールにわたる10つのLLMsに対する人間の評価を行った。その結果、モデルサイズではなく、指示の調整がLLMのゼロショット要約能力の鍵であることがわかった。また、LLMsの要約は人間の執筆した要約と同等と判断された。 Commentニュース記事の高品質な要約を人間に作成してもらい、gpt-3.5を用いてLLM-basedな要約も生成 annotatorにそれぞれの要約の品質をスコアリングさせたデータセットを作成 ... #Pocket#NLP#LanguageModelIssue Date: 2023-07-22 LLMs as Workers in Human-Computational Algorithms? Replicating Crowdsourcing Pipelines with LLMs, Tongshuang Wu+, N_A, arXiv23 Summary大規模言語モデル（LLMs）は、クラウドソーシングタスクにおいて人間のような振る舞いを再現できる可能性がある。しかし、現在の取り組みは単純なタスクに焦点を当てており、より複雑なパイプラインを再現できるかどうかは不明である。LLMsの成功は、リクエスターの理解力やサブタスクのスキルに影響を受ける。人間とLLMsのトレーニングの組み合わせにより、クラウドソーシングパイプラインの再現が可能であり、LLMsは一部のタスクを完了させながら、他のタスクを人間に任せることができる。 more","headline":"Annotationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Annotation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Annotation.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1029,32 +1029,32 @@ <h2 id="annotation">Annotation</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/SemanticTextualSimilarity.html" title="SemanticTextualSimilarityに関する論文・技術記事メモの一覧">
-            SemanticTextualSimilarityに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Coherence.html" title="Coherenceに関する論文・技術記事メモの一覧">
+            Coherenceに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PairWise.html" title="PairWiseに関する論文・技術記事メモの一覧">
-            PairWiseに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InstructionTuning.html" title="InstructionTuningに関する論文・技術記事メモの一覧">
+            InstructionTuningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Finetuning.html" title="Finetuningに関する論文・技術記事メモの一覧">
-            Finetuningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/post-pretraining.html" title="post-pretrainingに関する論文・技術記事メモの一覧">
+            post-pretrainingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ConceptToText.html" title="ConceptToTextに関する論文・技術記事メモの一覧">
-            ConceptToTextに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataDriven.html" title="DataDrivenに関する論文・技術記事メモの一覧">
+            DataDrivenに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Argument.html b/docs/articles/Argument.html
index d9683eabf..a1cb891a4 100644
--- a/docs/articles/Argument.html
+++ b/docs/articles/Argument.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Argument.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Argumentに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Argument #NaturalLanguageGeneration#Controllable#NLPIssue Date: 2023-07-18 ArgU: A Controllable Factual Argument Generator, ACL23 Summary本研究では、高品質な論証を自動生成するために、制御コードを使用したニューラル論証生成器ArgUを提案します。また、論証スキームを特定するための大規模なデータセットを作成し、注釈付けとデータセット作成のフレームワークについて詳細に説明します。さらに、論証テンプレートを生成する推論戦略を試行し、多様な論証を自動的に生成することが可能であることを示します。","headline":"Argumentに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Argument.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Argument.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Argument #NaturalLanguageGeneration#Controllable#NLPIssue Date: 2023-07-18 ArgU: A Controllable Factual Argument Generator, ACL23 Summary本研究では、高品質な論証を自動生成するために、制御コードを使用したニューラル論証生成器ArgUを提案します。また、論証スキームを特定するための大規模なデータセットを作成し、注釈付けとデータセット作成のフレームワークについて詳細に説明します。さらに、論証テンプレートを生成する推論戦略を試行し、多様な論証を自動的に生成することが可能であることを示します。","headline":"Argumentに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Argument.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Argument.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1010,32 +1010,32 @@ <h2 id="argument">Argument</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/DocumentSummarization.html" title="DocumentSummarizationに関する論文・技術記事メモの一覧">
-            DocumentSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Session.html" title="Sessionに関する論文・技術記事メモの一覧">
+            Sessionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Spoken%20Language%20Processing.html" title="Spoken Language Processingに関する論文・技術記事メモの一覧">
-            Spoken Language Processingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Lambda.html" title="Lambdaに関する論文・技術記事メモの一覧">
+            Lambdaに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/SearchEngine.html" title="SearchEngineに関する論文・技術記事メモの一覧">
-            SearchEngineに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/GrammaticalErrorCorrection.html" title="GrammaticalErrorCorrectionに関する論文・技術記事メモの一覧">
+            GrammaticalErrorCorrectionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/AdaptiveLearning.html" title="AdaptiveLearningに関する論文・技術記事メモの一覧">
-            AdaptiveLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TextualInversion.html" title="TextualInversionに関する論文・技術記事メモの一覧">
+            TextualInversionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Article.html b/docs/articles/Article.html
index 15710a988..ea7ba9813 100644
--- a/docs/articles/Article.html
+++ b/docs/articles/Article.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Article.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Articleに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Article #LanguageModelIssue Date: 2023-12-07 Gemini, Google23 Comment多くのベンチマークでGPT4超えらしい（追記1）テクニカルレポートのp.44を見ると、ブログポスト中のGPT4のMMLUのスコアはGPT-4-0613のもののようなので、これが正しいとすると他のベンチマークのスコアも同モデルのものである可能性が高く、GPT-4-1163-preview（最新モテクニ ... #Article#ExperimentManagementIssue Date: 2024-07-09 Deepでポン用実験管理ツール（サービス）の比較2021 Comment[TensorBoard](https://www.tensorflow.org/tensorboard/) [MLflow](https://mlflow.org/) [Neptune.ai](https://neptune.ai/) [Weights &amp; Biases](https://w ... #Article#ExperimentManagementIssue Date: 2024-07-09 5行でカッコいい可視化を「WandB」入門 more","headline":"Articleに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Article.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Article.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Article #LanguageModelIssue Date: 2023-12-07 Gemini, Google23 Comment多くのベンチマークでGPT4超えらしい（追記1）テクニカルレポートのp.44を見ると、ブログポスト中のGPT4のMMLUのスコアはGPT-4-0613のもののようなので、これが正しいとすると他のベンチマークのスコアも同モデルのものである可能性が高く、GPT-4-1163-preview（最新モテクニ ... #Article#ExperimentManagementIssue Date: 2024-07-09 Deepでポン用実験管理ツール（サービス）の比較2021 Comment[TensorBoard](https://www.tensorflow.org/tensorboard/) [MLflow](https://mlflow.org/) [Neptune.ai](https://neptune.ai/) [Weights &amp; Biases](https://w ... #Article#ExperimentManagementIssue Date: 2024-07-09 5行でカッコいい可視化を「WandB」入門 more","headline":"Articleに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Article.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Article.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1206,32 +1206,32 @@ <h2 id="article">Article</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/review.html" title="reviewに関する論文・技術記事メモの一覧">
-            reviewに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Single.html" title="Singleに関する論文・技術記事メモの一覧">
+            Singleに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RepresentationLearning.html" title="RepresentationLearningに関する論文・技術記事メモの一覧">
-            RepresentationLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DesignPattern.html" title="DesignPatternに関する論文・技術記事メモの一覧">
+            DesignPatternに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TextualInversion.html" title="TextualInversionに関する論文・技術記事メモの一覧">
-            TextualInversionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/RLHF.html" title="RLHFに関する論文・技術記事メモの一覧">
+            RLHFに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Synchrophancy.html" title="Synchrophancyに関する論文・技術記事メモの一覧">
-            Synchrophancyに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/QuestionGeneration.html" title="QuestionGenerationに関する論文・技術記事メモの一覧">
+            QuestionGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Assessment.html b/docs/articles/Assessment.html
index f218f613b..df1957738 100644
--- a/docs/articles/Assessment.html
+++ b/docs/articles/Assessment.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Assessment.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Assessmentに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Assessment #NLP#ChatGPT#InformationExtractionIssue Date: 2023-04-25 Evaluating ChatGPTs Information Extraction Capabilities: An Assessment of Performance, Explainability, Calibration, and Faithfulness, Li+, Peking University, arXiv23 Comment情報抽出タスクにおいてChatGPTを評価した研究。スタンダードなIEの設定ではBERTベースのモデルに負けるが、OpenIEの場合は高い性能を示した。また、ChatGPTは予測に対してクオリティが高く信頼に足る説明をしたが、一方で自信過剰な傾向がある。また、ChatGPTの予測はinput teあ ... #Education#IRTIssue Date: 2022-11-25 Machine Learning–Driven Language Assessment, LaFlair+, TACL20 #Article#NLP#LanguageModelIssue Date: 2023-05-04 ChatBot Arena Commentクラウドソーシング型のチャットボット評価するシステム。ユーザはシステムにアクセスすると、二つのanonymisedされたLLMと対話し、どちらが優れていたかをvotingする。すべてのシステムとユーザのinteractionはロギングされており、最終的にElo RatingでLLM.をランキング付け ... more","headline":"Assessmentに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Assessment.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Assessment.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Assessment #NLP#ChatGPT#InformationExtractionIssue Date: 2023-04-25 Evaluating ChatGPTs Information Extraction Capabilities: An Assessment of Performance, Explainability, Calibration, and Faithfulness, Li+, Peking University, arXiv23 Comment情報抽出タスクにおいてChatGPTを評価した研究。スタンダードなIEの設定ではBERTベースのモデルに負けるが、OpenIEの場合は高い性能を示した。また、ChatGPTは予測に対してクオリティが高く信頼に足る説明をしたが、一方で自信過剰な傾向がある。また、ChatGPTの予測はinput teあ ... #Education#IRTIssue Date: 2022-11-25 Machine Learning–Driven Language Assessment, LaFlair+, TACL20 #Article#NLP#LanguageModelIssue Date: 2023-05-04 ChatBot Arena Commentクラウドソーシング型のチャットボット評価するシステム。ユーザはシステムにアクセスすると、二つのanonymisedされたLLMと対話し、どちらが優れていたかをvotingする。すべてのシステムとユーザのinteractionはロギングされており、最終的にElo RatingでLLM.をランキング付け ... more","headline":"Assessmentに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Assessment.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Assessment.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1028,32 +1028,32 @@ <h2 id="assessment">Assessment</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/AffectDetection.html" title="AffectDetectionに関する論文・技術記事メモの一覧">
-            AffectDetectionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TrainedMetrics.html" title="TrainedMetricsに関する論文・技術記事メモの一覧">
+            TrainedMetricsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LayoutGeneration.html" title="LayoutGenerationに関する論文・技術記事メモの一覧">
-            LayoutGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Extractive.html" title="Extractiveに関する論文・技術記事メモの一覧">
+            Extractiveに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RelevanceFeedback.html" title="RelevanceFeedbackに関する論文・技術記事メモの一覧">
-            RelevanceFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LearningStyle.html" title="LearningStyleに関する論文・技術記事メモの一覧">
+            LearningStyleに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InstructionGeneration.html" title="InstructionGenerationに関する論文・技術記事メモの一覧">
-            InstructionGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/project_template.html" title="project_templateに関する論文・技術記事メモの一覧">
+            project_templateに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Attention.html b/docs/articles/Attention.html
index 0b1bd02be..a6cf0d801 100644
--- a/docs/articles/Attention.html
+++ b/docs/articles/Attention.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Attention.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Attentionに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Attention #Efficiency/SpeedUp#Pocket#NLP#LanguageModel#TransformerIssue Date: 2024-04-07 Dynamic Memory Compression: Retrofitting LLMs for Accelerated Inference, Piotr Nawrot+, N_A, arXiv24 Summaryトランスフォーマーの生成効率を向上させるために、Dynamic Memory Compression（DMC）が提案された。DMCは、異なるヘッドとレイヤーで異なる圧縮率を適用する方法を学習し、事前学習済みLLMsに適用される。DMCは、元の下流パフォーマンスを最大4倍のキャッシュ圧縮で維持しつつ、スループットを向上させることができる。DMCは、GQAと組み合わせることでさらなる利益をもたらす可能性があり、長いコンテキストと大きなバッチを処理する際に有用である。 Comment参考: https://x.com/hillbig/status/1776755029581676943?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q論文中のFigure1が非常にわかりやすい。GQA #1271 と比較して、2~4倍キャッシュを圧縮しつつ、より高い性能を実現。70Bモ ... #Efficiency/SpeedUp#Pocket#NLP#LanguageModel#TransformerIssue Date: 2024-04-07 GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints, Joshua Ainslie+, N_A, arXiv23 SummaryMulti-query attention（MQA）は、単一のkey-value headのみを使用しており、デコーダーの推論を劇的に高速化しています。ただし、MQAは品質の低下を引き起こす可能性があり、さらには、より速い推論のためだけに別個のモデルをトレーニングすることが望ましくない場合もあります。既存のマルチヘッド言語モデルのチェックポイントを、オリジナルの事前トレーニング計量の5%を使用してMQAを持つモデルにアップトレーニングするためのレシピを提案し、さらに、複数のkey-value headを使用するマルチクエリアテンションの一般化であるグループ化クエリアテンション（GQA）を紹介します。アップトレーニングされたGQAが、MQAと同等の速度でマルチヘッドアテンションに匹敵する品質を達成することを示しています。 Comment通常のMulti-Head AttentionがQKVが1対1対応なのに対し、Multi Query Attention (MQA) #1272 は全てのQに対してKVを共有する。一方、GQAはグループごとにKVを共有する点で異なる。MQAは大幅にInfeerence` speedが改善するが、精 ... #Pocket#NLP#LanguageModelIssue Date: 2023-11-10 Tell Your Model Where to Attend: Post-hoc Attention Steering for LLMs, Qingru Zhang+, N_A, arXiv23 SummaryPASTAは、大規模言語モデル（LLMs）において、ユーザーが指定した強調マークのあるテキストを読むことを可能にする手法です。PASTAは、注意の一部を特定し、再重み付けを適用してモデルの注意をユーザーが指定した部分に向けます。実験では、PASTAがLLMの性能を大幅に向上させることが示されています。 Commentユーザがprompt中で強調したいした部分がより考慮されるようにattention weightを調整することで、より応答性能が向上しましたという話っぽい。かなり重要な技術だと思われる。後でしっかり読む。 ... more","headline":"Attentionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Attention.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Attention.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Attention #Efficiency/SpeedUp#Pocket#NLP#LanguageModel#TransformerIssue Date: 2024-04-07 Dynamic Memory Compression: Retrofitting LLMs for Accelerated Inference, Piotr Nawrot+, N_A, arXiv24 Summaryトランスフォーマーの生成効率を向上させるために、Dynamic Memory Compression（DMC）が提案された。DMCは、異なるヘッドとレイヤーで異なる圧縮率を適用する方法を学習し、事前学習済みLLMsに適用される。DMCは、元の下流パフォーマンスを最大4倍のキャッシュ圧縮で維持しつつ、スループットを向上させることができる。DMCは、GQAと組み合わせることでさらなる利益をもたらす可能性があり、長いコンテキストと大きなバッチを処理する際に有用である。 Comment参考: https://x.com/hillbig/status/1776755029581676943?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q論文中のFigure1が非常にわかりやすい。GQA #1271 と比較して、2~4倍キャッシュを圧縮しつつ、より高い性能を実現。70Bモ ... #Efficiency/SpeedUp#Pocket#NLP#LanguageModel#TransformerIssue Date: 2024-04-07 GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints, Joshua Ainslie+, N_A, arXiv23 SummaryMulti-query attention（MQA）は、単一のkey-value headのみを使用しており、デコーダーの推論を劇的に高速化しています。ただし、MQAは品質の低下を引き起こす可能性があり、さらには、より速い推論のためだけに別個のモデルをトレーニングすることが望ましくない場合もあります。既存のマルチヘッド言語モデルのチェックポイントを、オリジナルの事前トレーニング計量の5%を使用してMQAを持つモデルにアップトレーニングするためのレシピを提案し、さらに、複数のkey-value headを使用するマルチクエリアテンションの一般化であるグループ化クエリアテンション（GQA）を紹介します。アップトレーニングされたGQAが、MQAと同等の速度でマルチヘッドアテンションに匹敵する品質を達成することを示しています。 Comment通常のMulti-Head AttentionがQKVが1対1対応なのに対し、Multi Query Attention (MQA) #1272 は全てのQに対してKVを共有する。一方、GQAはグループごとにKVを共有する点で異なる。MQAは大幅にInfeerence` speedが改善するが、精 ... #Pocket#NLP#LanguageModelIssue Date: 2023-11-10 Tell Your Model Where to Attend: Post-hoc Attention Steering for LLMs, Qingru Zhang+, N_A, arXiv23 SummaryPASTAは、大規模言語モデル（LLMs）において、ユーザーが指定した強調マークのあるテキストを読むことを可能にする手法です。PASTAは、注意の一部を特定し、再重み付けを適用してモデルの注意をユーザーが指定した部分に向けます。実験では、PASTAがLLMの性能を大幅に向上させることが示されています。 Commentユーザがprompt中で強調したいした部分がより考慮されるようにattention weightを調整することで、より応答性能が向上しましたという話っぽい。かなり重要な技術だと思われる。後でしっかり読む。 ... more","headline":"Attentionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Attention.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Attention.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1048,32 +1048,32 @@ <h2 id="attention">Attention</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/OpinionMining.html" title="OpinionMiningに関する論文・技術記事メモの一覧">
-            OpinionMiningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/GraphConvolutionalNetwork.html" title="GraphConvolutionalNetworkに関する論文・技術記事メモの一覧">
+            GraphConvolutionalNetworkに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/python.html" title="pythonに関する論文・技術記事メモの一覧">
-            pythonに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LanguageModel.html" title="LanguageModelに関する論文・技術記事メモの一覧">
+            LanguageModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PointWise.html" title="PointWiseに関する論文・技術記事メモの一覧">
-            PointWiseに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ImageCaptioning.html" title="ImageCaptioningに関する論文・技術記事メモの一覧">
+            ImageCaptioningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataAugmentation.html" title="DataAugmentationに関する論文・技術記事メモの一覧">
-            DataAugmentationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ItemBased.html" title="ItemBasedに関する論文・技術記事メモの一覧">
+            ItemBasedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/AudioProcessing.html b/docs/articles/AudioProcessing.html
index bbd1edc7e..ccb909130 100644
--- a/docs/articles/AudioProcessing.html
+++ b/docs/articles/AudioProcessing.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/AudioProcessing.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="AudioProcessingに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"AudioProcessing #NLP#DatasetIssue Date: 2023-08-16 ReazonSpeech: A Free and Massive Corpus for Japanese ASR, Yin+, NLP23 Comment超高精度で商用利用可能な純国産の日本語音声認識モデル「ReazonSpeech」を無償公開 ワンセグのデータにから生成 ... #ComputerVision#Pocket#NLP#LanguageModel#Spoken Language Processing#MulltiModalIssue Date: 2023-07-22 Meta-Transformer: A Unified Framework for Multimodal Learning, Yiyuan Zhang+, N_A, arXiv23 Summary本研究では、マルチモーダル学習のためのMeta-Transformerというフレームワークを提案しています。このフレームワークは、異なるモダリティの情報を処理し関連付けるための統一されたネットワークを構築することを目指しています。Meta-Transformerは、対応のないデータを使用して12のモダリティ間で統一された学習を行うことができ、テキスト、画像、ポイントクラウド、音声、ビデオなどの基本的なパーセプションから、X線、赤外線、高分光、IMUなどの実用的なアプリケーション、グラフ、表形式、時系列などのデータマイニングまで、幅広いタスクを処理することができます。Meta-Transformerは、トランスフォーマーを用いた統一されたマルチモーダルインテリジェンスの開発に向けた有望な未来を示しています。 Comment12種類のモダリティに対して学習できるTransformerを提案Dataをsequenceにtokenizeし、unifiedにfeatureをencodingし、それぞれのdownstreamタスクで学習 ... #MachineTranslation#Unsupervised#NLP#SpeechIssue Date: 2023-07-15 Simple and Effective Unsupervised Speech Translation, ACL23 Summary音声翻訳のためのラベル付きデータが限られているため、非教師あり手法を使用して音声翻訳システムを構築する方法を研究している。パイプラインアプローチや擬似ラベル生成を使用し、非教師ありドメイン適応技術を提案している。実験の結果、従来の手法を上回る性能を示している。 more","headline":"AudioProcessingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/AudioProcessing.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/AudioProcessing.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"AudioProcessing #NLP#DatasetIssue Date: 2023-08-16 ReazonSpeech: A Free and Massive Corpus for Japanese ASR, Yin+, NLP23 Comment超高精度で商用利用可能な純国産の日本語音声認識モデル「ReazonSpeech」を無償公開 ワンセグのデータにから生成 ... #ComputerVision#Pocket#NLP#LanguageModel#Spoken Language Processing#MulltiModalIssue Date: 2023-07-22 Meta-Transformer: A Unified Framework for Multimodal Learning, Yiyuan Zhang+, N_A, arXiv23 Summary本研究では、マルチモーダル学習のためのMeta-Transformerというフレームワークを提案しています。このフレームワークは、異なるモダリティの情報を処理し関連付けるための統一されたネットワークを構築することを目指しています。Meta-Transformerは、対応のないデータを使用して12のモダリティ間で統一された学習を行うことができ、テキスト、画像、ポイントクラウド、音声、ビデオなどの基本的なパーセプションから、X線、赤外線、高分光、IMUなどの実用的なアプリケーション、グラフ、表形式、時系列などのデータマイニングまで、幅広いタスクを処理することができます。Meta-Transformerは、トランスフォーマーを用いた統一されたマルチモーダルインテリジェンスの開発に向けた有望な未来を示しています。 Comment12種類のモダリティに対して学習できるTransformerを提案Dataをsequenceにtokenizeし、unifiedにfeatureをencodingし、それぞれのdownstreamタスクで学習 ... #MachineTranslation#Unsupervised#NLP#SpeechIssue Date: 2023-07-15 Simple and Effective Unsupervised Speech Translation, ACL23 Summary音声翻訳のためのラベル付きデータが限られているため、非教師あり手法を使用して音声翻訳システムを構築する方法を研究している。パイプラインアプローチや擬似ラベル生成を使用し、非教師ありドメイン適応技術を提案している。実験の結果、従来の手法を上回る性能を示している。 more","headline":"AudioProcessingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/AudioProcessing.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/AudioProcessing.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1037,32 +1037,32 @@ <h2 id="audioprocessing">AudioProcessing</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/CrossLingual.html" title="CrossLingualに関する論文・技術記事メモの一覧">
-            CrossLingualに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CTRPrediction.html" title="CTRPredictionに関する論文・技術記事メモの一覧">
+            CTRPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Abstractive.html" title="Abstractiveに関する論文・技術記事メモの一覧">
-            Abstractiveに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MachineTranslation.html" title="MachineTranslationに関する論文・技術記事メモの一覧">
+            MachineTranslationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TimeSeriesDataProcessing.html" title="TimeSeriesDataProcessingに関する論文・技術記事メモの一覧">
-            TimeSeriesDataProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ExplicitFeedback.html" title="ExplicitFeedbackに関する論文・技術記事メモの一覧">
+            ExplicitFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Discourse.html" title="Discourseに関する論文・技術記事メモの一覧">
-            Discourseに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ContextWindow.html" title="ContextWindowに関する論文・技術記事メモの一覧">
+            ContextWindowに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/AutoML.html b/docs/articles/AutoML.html
index 6196129b3..07f7c8afa 100644
--- a/docs/articles/AutoML.html
+++ b/docs/articles/AutoML.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/AutoML.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="AutoMLに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"AutoML #MachineLearning#Pocket#NLP#Dataset#LanguageModel#LLMAgent#EvaluationIssue Date: 2023-10-09 Benchmarking Large Language Models As AI Research Agents, Qian Huang+, N_A, arXiv23 Summary本研究では、AI研究エージェントを構築し、科学的な実験のタスクを実行するためのベンチマークとしてMLAgentBenchを提案する。エージェントはファイルの読み書きやコードの実行などのアクションを実行し、実験を実行し、結果を分析し、機械学習パイプラインのコードを変更することができる。GPT-4ベースの研究エージェントは多くのタスクで高性能なモデルを実現できるが、成功率は異なる。また、LLMベースの研究エージェントにはいくつかの課題がある。 CommentGPT4がMLモデルをどれだけ自動的に構築できるかを調べた模様。また、ベンチマークデータを作成した模様。結果としては、既存の有名なデータセットでの成功率は90%程度であり、未知のタスク（新たなKaggle Challenge等）では30%程度とのこと。 ... #MachineLearning#Pocket#NLPIssue Date: 2023-08-10 MLCopilot: Unleashing the Power of Large Language Models in Solving Machine Learning Tasks, Lei Zhang+, N_A, arXiv23 Summary本研究では、機械学習タスクの自動化における人間の知識と機械知能のギャップを埋めるために、新しいフレームワークMLCopilotを提案する。このフレームワークは、最先端のLLMsを使用して新しいMLタスクのソリューションを開発し、既存のMLタスクの経験から学び、効果的に推論して有望な結果を提供することができる。生成されたソリューションは直接使用して競争力のある結果を得ることができる。","headline":"AutoMLに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/AutoML.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/AutoML.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"AutoML #MachineLearning#Pocket#NLP#Dataset#LanguageModel#LLMAgent#EvaluationIssue Date: 2023-10-09 Benchmarking Large Language Models As AI Research Agents, Qian Huang+, N_A, arXiv23 Summary本研究では、AI研究エージェントを構築し、科学的な実験のタスクを実行するためのベンチマークとしてMLAgentBenchを提案する。エージェントはファイルの読み書きやコードの実行などのアクションを実行し、実験を実行し、結果を分析し、機械学習パイプラインのコードを変更することができる。GPT-4ベースの研究エージェントは多くのタスクで高性能なモデルを実現できるが、成功率は異なる。また、LLMベースの研究エージェントにはいくつかの課題がある。 CommentGPT4がMLモデルをどれだけ自動的に構築できるかを調べた模様。また、ベンチマークデータを作成した模様。結果としては、既存の有名なデータセットでの成功率は90%程度であり、未知のタスク（新たなKaggle Challenge等）では30%程度とのこと。 ... #MachineLearning#Pocket#NLPIssue Date: 2023-08-10 MLCopilot: Unleashing the Power of Large Language Models in Solving Machine Learning Tasks, Lei Zhang+, N_A, arXiv23 Summary本研究では、機械学習タスクの自動化における人間の知識と機械知能のギャップを埋めるために、新しいフレームワークMLCopilotを提案する。このフレームワークは、最先端のLLMsを使用して新しいMLタスクのソリューションを開発し、既存のMLタスクの経験から学び、効果的に推論して有望な結果を提供することができる。生成されたソリューションは直接使用して競争力のある結果を得ることができる。","headline":"AutoMLに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/AutoML.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/AutoML.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1014,32 +1014,32 @@ <h2 id="automl">AutoML</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/DesignPattern.html" title="DesignPatternに関する論文・技術記事メモの一覧">
-            DesignPatternに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LM-based.html" title="LM-basedに関する論文・技術記事メモの一覧">
+            LM-basedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Embed.html" title="Embedに関する論文・技術記事メモの一覧">
-            Embedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ScorePrediction.html" title="ScorePredictionに関する論文・技術記事メモの一覧">
+            ScorePredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RecommenderSystems.html" title="RecommenderSystemsに関する論文・技術記事メモの一覧">
-            RecommenderSystemsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SentimentAnalysis.html" title="SentimentAnalysisに関する論文・技術記事メモの一覧">
+            SentimentAnalysisに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TechnologyEnhancedLearning.html" title="TechnologyEnhancedLearningに関する論文・技術記事メモの一覧">
-            TechnologyEnhancedLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MachineTranslation.html" title="MachineTranslationに関する論文・技術記事メモの一覧">
+            MachineTranslationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/AutomaticPromptEngineering.html b/docs/articles/AutomaticPromptEngineering.html
index 4a2e08de3..4c4f7344c 100644
--- a/docs/articles/AutomaticPromptEngineering.html
+++ b/docs/articles/AutomaticPromptEngineering.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/AutomaticPromptEngineering.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="AutomaticPromptEngineeringに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"AutomaticPromptEngineering #ComputerVision#Pocket#NLP#LanguageModelIssue Date: 2023-11-23 NeuroPrompts: An Adaptive Framework to Optimize Prompts for Text-to-Image Generation, Shachar Rosenman+, N_A, arXiv23 Summary本研究では、テキストから画像への生成モデルの品質を向上させるための適応型フレームワークNeuroPromptsを提案します。このフレームワークは、事前学習された言語モデルを使用して制約付きテキストデコーディングを行い、人間のプロンプトエンジニアが生成するものに類似したプロンプトを生成します。これにより、高品質なテキストから画像への生成が可能となり、ユーザーはスタイルの特徴を制御できます。また、大規模な人間エンジニアリングされたプロンプトのデータセットを使用した実験により、当アプローチが自動的に品質の高いプロンプトを生成し、優れた画像品質を実現することを示しました。 #Pocket#NLP#LanguageModel#PromptingIssue Date: 2023-11-13 Prompt Engineering a Prompt Engineer, Qinyuan Ye+, N_A, arXiv23 Summaryプロンプトエンジニアリングは、LLMsのパフォーマンスを最適化するための重要なタスクであり、本研究ではメタプロンプトを構築して自動的なプロンプトエンジニアリングを行います。改善されたパフォーマンスにつながる推論テンプレートやコンテキストの明示などの要素を導入し、一般的な最適化概念をメタプロンプトに組み込みます。提案手法であるPE2は、さまざまなデータセットやタスクで強力なパフォーマンスを発揮し、以前の自動プロンプトエンジニアリング手法を上回ります。さらに、PE2は意味のあるプロンプト編集を行い、カウンターファクトの推論能力を示します。 #Pocket#NLP#PromptingIssue Date: 2023-10-09 Promptbreeder: Self-Referential Self-Improvement Via Prompt Evolution, Chrisantha Fernando+, N_A, arXiv23 Summary本研究では、Promptbreederという自己参照的な自己改善メカニズムを提案し、大規模言語モデル（LLM）の推論能力を向上させるための汎用的なプロンプト戦略を進化させる方法を示しています。Promptbreederは、LLMが自己参照的な方法で進化する変異プロンプトによって制御され、タスクプロンプトの集団を変異させて改善します。この手法は、算術や常識的な推論のベンチマークだけでなく、ヘイトスピーチ分類などの難しい問題に対しても優れた性能を発揮します。 Comment詳細な解説記事: https://aiboom.net/archives/56319APEとは異なり、GAを使う。突然変異によって、予期せぬ良いpromptが生み出されるかも…？ ... more","headline":"AutomaticPromptEngineeringに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/AutomaticPromptEngineering.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/AutomaticPromptEngineering.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"AutomaticPromptEngineering #ComputerVision#Pocket#NLP#LanguageModelIssue Date: 2023-11-23 NeuroPrompts: An Adaptive Framework to Optimize Prompts for Text-to-Image Generation, Shachar Rosenman+, N_A, arXiv23 Summary本研究では、テキストから画像への生成モデルの品質を向上させるための適応型フレームワークNeuroPromptsを提案します。このフレームワークは、事前学習された言語モデルを使用して制約付きテキストデコーディングを行い、人間のプロンプトエンジニアが生成するものに類似したプロンプトを生成します。これにより、高品質なテキストから画像への生成が可能となり、ユーザーはスタイルの特徴を制御できます。また、大規模な人間エンジニアリングされたプロンプトのデータセットを使用した実験により、当アプローチが自動的に品質の高いプロンプトを生成し、優れた画像品質を実現することを示しました。 #Pocket#NLP#LanguageModel#PromptingIssue Date: 2023-11-13 Prompt Engineering a Prompt Engineer, Qinyuan Ye+, N_A, arXiv23 Summaryプロンプトエンジニアリングは、LLMsのパフォーマンスを最適化するための重要なタスクであり、本研究ではメタプロンプトを構築して自動的なプロンプトエンジニアリングを行います。改善されたパフォーマンスにつながる推論テンプレートやコンテキストの明示などの要素を導入し、一般的な最適化概念をメタプロンプトに組み込みます。提案手法であるPE2は、さまざまなデータセットやタスクで強力なパフォーマンスを発揮し、以前の自動プロンプトエンジニアリング手法を上回ります。さらに、PE2は意味のあるプロンプト編集を行い、カウンターファクトの推論能力を示します。 #Pocket#NLP#PromptingIssue Date: 2023-10-09 Promptbreeder: Self-Referential Self-Improvement Via Prompt Evolution, Chrisantha Fernando+, N_A, arXiv23 Summary本研究では、Promptbreederという自己参照的な自己改善メカニズムを提案し、大規模言語モデル（LLM）の推論能力を向上させるための汎用的なプロンプト戦略を進化させる方法を示しています。Promptbreederは、LLMが自己参照的な方法で進化する変異プロンプトによって制御され、タスクプロンプトの集団を変異させて改善します。この手法は、算術や常識的な推論のベンチマークだけでなく、ヘイトスピーチ分類などの難しい問題に対しても優れた性能を発揮します。 Comment詳細な解説記事: https://aiboom.net/archives/56319APEとは異なり、GAを使う。突然変異によって、予期せぬ良いpromptが生み出されるかも…？ ... more","headline":"AutomaticPromptEngineeringに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/AutomaticPromptEngineering.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/AutomaticPromptEngineering.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1052,32 +1052,32 @@ <h2 id="automaticpromptengineering">AutomaticPromptEngineering</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/LanguageModel.html" title="LanguageModelに関する論文・技術記事メモの一覧">
-            LanguageModelに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Document.html" title="Documentに関する論文・技術記事メモの一覧">
+            Documentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Discourse.html" title="Discourseに関する論文・技術記事メモの一覧">
-            Discourseに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Bias.html" title="Biasに関する論文・技術記事メモの一覧">
+            Biasに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TabularData.html" title="TabularDataに関する論文・技術記事メモの一覧">
-            TabularDataに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/In-ContextLearning.html" title="In-ContextLearningに関する論文・技術記事メモの一覧">
+            In-ContextLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Update.html" title="Updateに関する論文・技術記事メモの一覧">
-            Updateに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PointWise.html" title="PointWiseに関する論文・技術記事メモの一覧">
+            PointWiseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/BeamSearch.html b/docs/articles/BeamSearch.html
index eb892e17e..fe02c9290 100644
--- a/docs/articles/BeamSearch.html
+++ b/docs/articles/BeamSearch.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/BeamSearch.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="BeamSearchに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"BeamSearch #NaturalLanguageGeneration#Pocket#NLPIssue Date: 2023-08-16 Momentum Calibration for Text Generation, Xingxing Zhang+, N_A, arXiv22 Summary本研究では、テキスト生成タスクにおいてMoCa（Momentum Calibration）という手法を提案しています。MoCaは、ビームサーチを用いた遅く進化するサンプルを動的に生成し、これらのサンプルのモデルスコアを実際の品質に合わせるように学習します。実験結果は、MoCaが強力な事前学習済みTransformerを改善し、最先端の結果を達成していることを示しています。 #DocumentSummarization#NaturalLanguageGeneration#Pocket#NLPIssue Date: 2023-08-16 BRIO: Bringing Order to Abstractive Summarization, Yixin Liu+, N_A, arXiv22 Summary従来の抽象的要約モデルでは、最尤推定を使用して訓練されていましたが、この方法では複数の候補要約を比較する際に性能が低下する可能性があります。そこで、非確定論的な分布を仮定し、候補要約の品質に応じて確率を割り当てる新しい訓練パラダイムを提案しました。この手法により、CNN/DailyMailとXSumのデータセットで最高の結果を達成しました。さらに、モデルが候補要約の品質とより相関のある確率を推定できることも示されました。 Commentビーム内のトップがROUGEを最大化しているとは限らなかったため、ROUGEが最大となるような要約を選択するようにしたら性能爆上げしましたという研究。実質現在のSoTA ... #Neural#NLPIssue Date: 2017-12-30 Sequence-to-Sequence Learning as Beam-Search Optimization, Wiseman+, EMNLP16 Commentseq2seqを学習する際には、gold-history（これまで生成した単語がgoldなものと一緒）を使用し、次に続く単語の尤度を最大化するように学習するが、これには、 1. Explosure Bias: test時ではtraining時と違いgold historyを使えないし、trai ... more","headline":"BeamSearchに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/BeamSearch.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/BeamSearch.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"BeamSearch #NaturalLanguageGeneration#Pocket#NLPIssue Date: 2023-08-16 Momentum Calibration for Text Generation, Xingxing Zhang+, N_A, arXiv22 Summary本研究では、テキスト生成タスクにおいてMoCa（Momentum Calibration）という手法を提案しています。MoCaは、ビームサーチを用いた遅く進化するサンプルを動的に生成し、これらのサンプルのモデルスコアを実際の品質に合わせるように学習します。実験結果は、MoCaが強力な事前学習済みTransformerを改善し、最先端の結果を達成していることを示しています。 #DocumentSummarization#NaturalLanguageGeneration#Pocket#NLPIssue Date: 2023-08-16 BRIO: Bringing Order to Abstractive Summarization, Yixin Liu+, N_A, arXiv22 Summary従来の抽象的要約モデルでは、最尤推定を使用して訓練されていましたが、この方法では複数の候補要約を比較する際に性能が低下する可能性があります。そこで、非確定論的な分布を仮定し、候補要約の品質に応じて確率を割り当てる新しい訓練パラダイムを提案しました。この手法により、CNN/DailyMailとXSumのデータセットで最高の結果を達成しました。さらに、モデルが候補要約の品質とより相関のある確率を推定できることも示されました。 Commentビーム内のトップがROUGEを最大化しているとは限らなかったため、ROUGEが最大となるような要約を選択するようにしたら性能爆上げしましたという研究。実質現在のSoTA ... #Neural#NLPIssue Date: 2017-12-30 Sequence-to-Sequence Learning as Beam-Search Optimization, Wiseman+, EMNLP16 Commentseq2seqを学習する際には、gold-history（これまで生成した単語がgoldなものと一緒）を使用し、次に続く単語の尤度を最大化するように学習するが、これには、 1. Explosure Bias: test時ではtraining時と違いgold historyを使えないし、trai ... more","headline":"BeamSearchに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/BeamSearch.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/BeamSearch.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1029,32 +1029,32 @@ <h2 id="beamsearch">BeamSearch</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Single.html" title="Singleに関する論文・技術記事メモの一覧">
-            Singleに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/IRT.html" title="IRTに関する論文・技術記事メモの一覧">
+            IRTに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TabularData.html" title="TabularDataに関する論文・技術記事メモの一覧">
-            TabularDataに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MultitaskLearning.html" title="MultitaskLearningに関する論文・技術記事メモの一覧">
+            MultitaskLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/python.html" title="pythonに関する論文・技術記事メモの一覧">
-            pythonに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InformationRetrieval.html" title="InformationRetrievalに関する論文・技術記事メモの一覧">
+            InformationRetrievalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ECS.html" title="ECSに関する論文・技術記事メモの一覧">
-            ECSに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/WebSearch.html" title="WebSearchに関する論文・技術記事メモの一覧">
+            WebSearchに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Bias.html b/docs/articles/Bias.html
index a54c90822..8d40d930d 100644
--- a/docs/articles/Bias.html
+++ b/docs/articles/Bias.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Bias.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Biasに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Bias #Pocket#NLP#LanguageModelIssue Date: 2023-08-28 Large Language Models Sensitivity to The Order of Options in Multiple-Choice Questions, Pouya Pezeshkpour+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）の頑健性に焦点を当てています。LLMsは多肢選択問題において順序に敏感であり、オプションの配置によって性能に大きな差が生じることを示しました。さらに、オプションの配置に対するバイアスを増幅または軽減する方法を特定し、LLMsの予測を改善するアプローチを提案しました。実験により、最大8パーセントポイントの改善が実現されました。 Commentこれはそうだろうなと思っていたけど、ここまで性能に差が出るとは思わなかった。これがもしLLMのバイアスによるもの（2番目の選択肢に正解が多い）の場合、ランダムにソートしたり、平均取ったりしても、そもそもの正解に常にバイアスがかかっているので、結局バイアスがかかった結果しか出ないのでは、と思ってしまう ...","headline":"Biasに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Bias.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Bias.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Bias #Pocket#NLP#LanguageModelIssue Date: 2023-08-28 Large Language Models Sensitivity to The Order of Options in Multiple-Choice Questions, Pouya Pezeshkpour+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）の頑健性に焦点を当てています。LLMsは多肢選択問題において順序に敏感であり、オプションの配置によって性能に大きな差が生じることを示しました。さらに、オプションの配置に対するバイアスを増幅または軽減する方法を特定し、LLMsの予測を改善するアプローチを提案しました。実験により、最大8パーセントポイントの改善が実現されました。 Commentこれはそうだろうなと思っていたけど、ここまで性能に差が出るとは思わなかった。これがもしLLMのバイアスによるもの（2番目の選択肢に正解が多い）の場合、ランダムにソートしたり、平均取ったりしても、そもそもの正解に常にバイアスがかかっているので、結局バイアスがかかった結果しか出ないのでは、と思ってしまう ...","headline":"Biasに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Bias.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Bias.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1012,32 +1012,32 @@ <h2 id="bias">Bias</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/AutoML.html" title="AutoMLに関する論文・技術記事メモの一覧">
-            AutoMLに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/StudentPerformancePrediction.html" title="StudentPerformancePredictionに関する論文・技術記事メモの一覧">
+            StudentPerformancePredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/CodeGeneration.html" title="CodeGenerationに関する論文・技術記事メモの一覧">
-            CodeGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LayoutGeneration.html" title="LayoutGenerationに関する論文・技術記事メモの一覧">
+            LayoutGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Spoken%20Language%20Processing.html" title="Spoken Language Processingに関する論文・技術記事メモの一覧">
-            Spoken Language Processingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MLOps.html" title="MLOpsに関する論文・技術記事メモの一覧">
+            MLOpsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningAnalytics.html" title="LearningAnalyticsに関する論文・技術記事メモの一覧">
-            LearningAnalyticsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ItemBased.html" title="ItemBasedに関する論文・技術記事メモの一覧">
+            ItemBasedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/CTRPrediction.html b/docs/articles/CTRPrediction.html
index 742e6df41..6a6950e2b 100644
--- a/docs/articles/CTRPrediction.html
+++ b/docs/articles/CTRPrediction.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/CTRPrediction.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="CTRPredictionに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"CTRPrediction #RecommenderSystems#Neural#CVRPredictionIssue Date: 2021-06-01 Conversion Prediction Using Multi-task Conditional Attention Networks to Support the Creation of Effective Ad Creatives, Kitada+, KDD19 Comment# Overview 広告のCVR予測をCTR予測とのmulti-task learningとして定式化。 構築した予測モデルのattention distributionを解析することで、high-qualityなクリエイティブの作成を支援する。 genderやgenre等の情報でatten ... #RecommenderSystems#Neural#FactorizationMachinesIssue Date: 2020-08-29 Field Weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising, Pan+, WWW18 CommentCTR予測でbest-performingなモデルと言われているField Aware Factorization Machines(FFM)では、パラメータ数がフィールド数×特徴数のorderになってしまうため非常に多くなってしまうが、これをよりメモリを効果的に利用できる手法を提案。FFMとは性能 ... #Article#RecommenderSystemsIssue Date: 2021-10-29 Simple and scalable response prediction for display advertising, Chapelle+, Criteo, Transactions on Intelligent Systems and Technology, 2013 Comment日本語解説： https://ameblo.jp/cyberanalyst/entry-11784152713.html CTR予測の概要や、広告主・事業者にとってCTR予測ができることでどのようなメリットがあるかなどがまとまっている。 論文の手法自体は、logistic regressio ... more","headline":"CTRPredictionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/CTRPrediction.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/CTRPrediction.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"CTRPrediction #RecommenderSystems#Neural#CVRPredictionIssue Date: 2021-06-01 Conversion Prediction Using Multi-task Conditional Attention Networks to Support the Creation of Effective Ad Creatives, Kitada+, KDD19 Comment# Overview 広告のCVR予測をCTR予測とのmulti-task learningとして定式化。 構築した予測モデルのattention distributionを解析することで、high-qualityなクリエイティブの作成を支援する。 genderやgenre等の情報でatten ... #RecommenderSystems#Neural#FactorizationMachinesIssue Date: 2020-08-29 Field Weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising, Pan+, WWW18 CommentCTR予測でbest-performingなモデルと言われているField Aware Factorization Machines(FFM)では、パラメータ数がフィールド数×特徴数のorderになってしまうため非常に多くなってしまうが、これをよりメモリを効果的に利用できる手法を提案。FFMとは性能 ... #Article#RecommenderSystemsIssue Date: 2021-10-29 Simple and scalable response prediction for display advertising, Chapelle+, Criteo, Transactions on Intelligent Systems and Technology, 2013 Comment日本語解説： https://ameblo.jp/cyberanalyst/entry-11784152713.html CTR予測の概要や、広告主・事業者にとってCTR予測ができることでどのようなメリットがあるかなどがまとまっている。 論文の手法自体は、logistic regressio ... more","headline":"CTRPredictionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/CTRPrediction.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/CTRPrediction.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1050,32 +1050,32 @@ <h2 id="ctrprediction">CTRPrediction</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Education.html" title="Educationに関する論文・技術記事メモの一覧">
-            Educationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/OpinionMining.html" title="OpinionMiningに関する論文・技術記事メモの一覧">
+            OpinionMiningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ExplicitFeedback.html" title="ExplicitFeedbackに関する論文・技術記事メモの一覧">
-            ExplicitFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PointWise.html" title="PointWiseに関する論文・技術記事メモの一覧">
+            PointWiseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/GrammaticalErrorCorrection.html" title="GrammaticalErrorCorrectionに関する論文・技術記事メモの一覧">
-            GrammaticalErrorCorrectionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Out-of-DistributionDetection.html" title="Out-of-DistributionDetectionに関する論文・技術記事メモの一覧">
+            Out-of-DistributionDetectionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Snippets.html" title="Snippetsに関する論文・技術記事メモの一覧">
-            Snippetsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Poisoning.html" title="Poisoningに関する論文・技術記事メモの一覧">
+            Poisoningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/CVRPrediction.html b/docs/articles/CVRPrediction.html
index 248615f29..bb2fd6b47 100644
--- a/docs/articles/CVRPrediction.html
+++ b/docs/articles/CVRPrediction.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/CVRPrediction.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="CVRPredictionに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"CVRPrediction #RecommenderSystems#Neural#CTRPredictionIssue Date: 2021-06-01 Conversion Prediction Using Multi-task Conditional Attention Networks to Support the Creation of Effective Ad Creatives, Kitada+, KDD19 Comment# Overview 広告のCVR予測をCTR予測とのmulti-task learningとして定式化。 構築した予測モデルのattention distributionを解析することで、high-qualityなクリエイティブの作成を支援する。 genderやgenre等の情報でatten ...","headline":"CVRPredictionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/CVRPrediction.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/CVRPrediction.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"CVRPrediction #RecommenderSystems#Neural#CTRPredictionIssue Date: 2021-06-01 Conversion Prediction Using Multi-task Conditional Attention Networks to Support the Creation of Effective Ad Creatives, Kitada+, KDD19 Comment# Overview 広告のCVR予測をCTR予測とのmulti-task learningとして定式化。 構築した予測モデルのattention distributionを解析することで、high-qualityなクリエイティブの作成を支援する。 genderやgenre等の情報でatten ...","headline":"CVRPredictionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/CVRPrediction.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/CVRPrediction.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1013,32 +1013,32 @@ <h2 id="cvrprediction">CVRPrediction</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/GenerativeAI.html" title="GenerativeAIに関する論文・技術記事メモの一覧">
-            GenerativeAIに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/BeamSearch.html" title="BeamSearchに関する論文・技術記事メモの一覧">
+            BeamSearchに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Novelty.html" title="Noveltyに関する論文・技術記事メモの一覧">
-            Noveltyに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Analysis.html" title="Analysisに関する論文・技術記事メモの一覧">
+            Analysisに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Document.html" title="Documentに関する論文・技術記事メモの一覧">
-            Documentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Discourse.html" title="Discourseに関する論文・技術記事メモの一覧">
+            Discourseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Online_Interactive.html" title="Online/Interactiveに関する論文・技術記事メモの一覧">
-            Online/Interactiveに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DocumentSummarization.html" title="DocumentSummarizationに関する論文・技術記事メモの一覧">
+            DocumentSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/ChatGPT.html b/docs/articles/ChatGPT.html
index bef796876..ee743a07a 100644
--- a/docs/articles/ChatGPT.html
+++ b/docs/articles/ChatGPT.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/ChatGPT.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="ChatGPTに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"ChatGPT #Pocket#NLP#EvaluationIssue Date: 2023-07-22 How is ChatGPTs behavior changing over time?, Lingjiao Chen+, N_A, arXiv23 SummaryGPT-3.5とGPT-4は、大規模言語モデル（LLM）のサービスであり、その性能と振る舞いは時間とともに変動することがわかった。例えば、GPT-4は素数の特定に優れていたが、後のバージョンでは低い正答率となった。また、GPT-3.5はGPT-4よりも優れた性能を示した。さらに、GPT-4とGPT-3.5の両方が時間とともに敏感な質問への回答やコード生成でのミスが増えた。この結果から、LLMの品質を継続的に監視する必要性が示唆される。 CommentGPT3.5, GPT4共にfreezeされてないのなら、研究で利用すると結果が再現されないので、研究で使うべきではない。また、知らんうちにいくつかのタスクで勝手に性能低下されたらたまったものではない。 ... #NLP#LanguageModel#Alignment#Finetuning#DataDistillationIssue Date: 2023-05-22 LIMA: Less Is More for Alignment, Chunting Zhou+, N_A, arXiv23 Summary本研究では、65BパラメータのLLaMa言語モデルであるLIMAを訓練し、強化学習や人間の好みモデリングなしに、厳選された1,000のプロンプトとレスポンスのみで標準的な教師あり損失で微調整しました。LIMAは、幅広いクエリに対応する驚くべき強力なパフォーマンスを示し、トレーニングデータに現れなかった未知のタスクにも一般化する傾向があります。制御された人間の研究では、LIMAのレスポンスは、GPT-4、Bard、DaVinci003と比較して優れていることが示されました。これらの結果から、大規模言語モデルのほとんどの知識は事前トレーニング中に学習され、高品質の出力を生成するためには限られた指示調整データしか必要ないことが示唆されます。 CommentLLaMA65Bをたった1kのdata point（厳選された物）でRLHF無しでfinetuningすると、旅行プランの作成や、歴史改変の推測（？）幅広いタスクで高いパフォーマンスを示し、未知のタスクへの汎化能力も示した。最終的にGPT3,4,BARD,CLAUDEよりも人間が好む回答を返した。L ... #Survey#Pocket#EducationIssue Date: 2023-05-04 A Review of ChatGPT Applications in Education, Marketing, Software Engineering, and Healthcare: Benefits, Drawbacks, and Research Directions, Mohammad Fraiwan+, N_A, arXiv23 SummaryChatGPTは、深層学習アルゴリズムを使用して人間らしい応答を生成する人工知能言語モデルである。最新のChatGPTバージョンが導入され、他の言語モデルも登場している。これらのモデルは、教育、ソフトウェアエンジニアリング、医療、マーケティングなどの分野で応用可能性がある。本論文では、これらのモデルの可能な応用、制限、欠点、および研究方向について議論する。 more","headline":"ChatGPTに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ChatGPT.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ChatGPT.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"ChatGPT #Pocket#NLP#EvaluationIssue Date: 2023-07-22 How is ChatGPTs behavior changing over time?, Lingjiao Chen+, N_A, arXiv23 SummaryGPT-3.5とGPT-4は、大規模言語モデル（LLM）のサービスであり、その性能と振る舞いは時間とともに変動することがわかった。例えば、GPT-4は素数の特定に優れていたが、後のバージョンでは低い正答率となった。また、GPT-3.5はGPT-4よりも優れた性能を示した。さらに、GPT-4とGPT-3.5の両方が時間とともに敏感な質問への回答やコード生成でのミスが増えた。この結果から、LLMの品質を継続的に監視する必要性が示唆される。 CommentGPT3.5, GPT4共にfreezeされてないのなら、研究で利用すると結果が再現されないので、研究で使うべきではない。また、知らんうちにいくつかのタスクで勝手に性能低下されたらたまったものではない。 ... #NLP#LanguageModel#Alignment#Finetuning#DataDistillationIssue Date: 2023-05-22 LIMA: Less Is More for Alignment, Chunting Zhou+, N_A, arXiv23 Summary本研究では、65BパラメータのLLaMa言語モデルであるLIMAを訓練し、強化学習や人間の好みモデリングなしに、厳選された1,000のプロンプトとレスポンスのみで標準的な教師あり損失で微調整しました。LIMAは、幅広いクエリに対応する驚くべき強力なパフォーマンスを示し、トレーニングデータに現れなかった未知のタスクにも一般化する傾向があります。制御された人間の研究では、LIMAのレスポンスは、GPT-4、Bard、DaVinci003と比較して優れていることが示されました。これらの結果から、大規模言語モデルのほとんどの知識は事前トレーニング中に学習され、高品質の出力を生成するためには限られた指示調整データしか必要ないことが示唆されます。 CommentLLaMA65Bをたった1kのdata point（厳選された物）でRLHF無しでfinetuningすると、旅行プランの作成や、歴史改変の推測（？）幅広いタスクで高いパフォーマンスを示し、未知のタスクへの汎化能力も示した。最終的にGPT3,4,BARD,CLAUDEよりも人間が好む回答を返した。L ... #Survey#Pocket#EducationIssue Date: 2023-05-04 A Review of ChatGPT Applications in Education, Marketing, Software Engineering, and Healthcare: Benefits, Drawbacks, and Research Directions, Mohammad Fraiwan+, N_A, arXiv23 SummaryChatGPTは、深層学習アルゴリズムを使用して人間らしい応答を生成する人工知能言語モデルである。最新のChatGPTバージョンが導入され、他の言語モデルも登場している。これらのモデルは、教育、ソフトウェアエンジニアリング、医療、マーケティングなどの分野で応用可能性がある。本論文では、これらのモデルの可能な応用、制限、欠点、および研究方向について議論する。 more","headline":"ChatGPTに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ChatGPT.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ChatGPT.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1042,32 +1042,32 @@ <h2 id="chatgpt">ChatGPT</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/QA-based.html" title="QA-basedに関する論文・技術記事メモの一覧">
-            QA-basedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PersonalizedHeadlineGeneration.html" title="PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧">
+            PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Proprietary.html" title="Proprietaryに関する論文・技術記事メモの一覧">
-            Proprietaryに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AudioProcessing.html" title="AudioProcessingに関する論文・技術記事メモの一覧">
+            AudioProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/OptionTracing.html" title="OptionTracingに関する論文・技術記事メモの一覧">
-            OptionTracingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Transformer.html" title="Transformerに関する論文・技術記事メモの一覧">
+            Transformerに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/AdaptiveLearning.html" title="AdaptiveLearningに関する論文・技術記事メモの一覧">
-            AdaptiveLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NumericReasoning.html" title="NumericReasoningに関する論文・技術記事メモの一覧">
+            NumericReasoningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Classic.html b/docs/articles/Classic.html
index 955f42ed9..f4e8d83b8 100644
--- a/docs/articles/Classic.html
+++ b/docs/articles/Classic.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Classic.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Classicに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Classic #Multi#DocumentSummarization#NLPIssue Date: 2023-08-27 Centroid-based summarization of multiple documents: sentence extraction, utility-based evaluation, and user studies, Radev+, Information Processing &amp; Management04 CommentMEAD, Centroid-basedな手法で要約を実施する古典的なMDS手法 ... #Article#RecommenderSystems#ContextAwareIssue Date: 2018-12-22 Context-Aware Recommender Systems, Adomavicius+, Recommender Systems Handbook, 2011 CommentContext-aware Recsysのパイオニア的研究通常のuser/item paradigmを拡張して、いかにコンテキストの情報を考慮するかを研究。 コンテキスト情報は、 Explicit: ユーザのマニュアルインプットから取得 Implicit: 自動的に取得 inferred: ユーザ ... #Article#AdaptiveLearning#LearningStyleIssue Date: 2018-12-22 LEARNING AND TEACHING STYLES IN ENGINEERING EDUCATION, Felder, Engr. Education, 78（7）, 674–681 （1988） CommentLearningStyleに関して研究している古典的な研究。 context-aware recsysの研究初期の頃は、だいたいはこのFelder-Silverman Theoryというのをベースに研究されていたらしい。 ... more","headline":"Classicに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Classic.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Classic.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Classic #Multi#DocumentSummarization#NLPIssue Date: 2023-08-27 Centroid-based summarization of multiple documents: sentence extraction, utility-based evaluation, and user studies, Radev+, Information Processing &amp; Management04 CommentMEAD, Centroid-basedな手法で要約を実施する古典的なMDS手法 ... #Article#RecommenderSystems#ContextAwareIssue Date: 2018-12-22 Context-Aware Recommender Systems, Adomavicius+, Recommender Systems Handbook, 2011 CommentContext-aware Recsysのパイオニア的研究通常のuser/item paradigmを拡張して、いかにコンテキストの情報を考慮するかを研究。 コンテキスト情報は、 Explicit: ユーザのマニュアルインプットから取得 Implicit: 自動的に取得 inferred: ユーザ ... #Article#AdaptiveLearning#LearningStyleIssue Date: 2018-12-22 LEARNING AND TEACHING STYLES IN ENGINEERING EDUCATION, Felder, Engr. Education, 78（7）, 674–681 （1988） CommentLearningStyleに関して研究している古典的な研究。 context-aware recsysの研究初期の頃は、だいたいはこのFelder-Silverman Theoryというのをベースに研究されていたらしい。 ... more","headline":"Classicに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Classic.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Classic.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1035,32 +1035,32 @@ <h2 id="classic">Classic</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ExperimentManagement.html" title="ExperimentManagementに関する論文・技術記事メモの一覧">
-            ExperimentManagementに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/QA-based.html" title="QA-basedに関する論文・技術記事メモの一覧">
+            QA-basedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningAnalytics.html" title="LearningAnalyticsに関する論文・技術記事メモの一覧">
-            LearningAnalyticsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/QueryBiased.html" title="QueryBiasedに関する論文・技術記事メモの一覧">
+            QueryBiasedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/SyntheticData.html" title="SyntheticDataに関する論文・技術記事メモの一覧">
-            SyntheticDataに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ContextWindow.html" title="ContextWindowに関する論文・技術記事メモの一覧">
+            ContextWindowに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/QueryBiased.html" title="QueryBiasedに関する論文・技術記事メモの一覧">
-            QueryBiasedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Lambda.html" title="Lambdaに関する論文・技術記事メモの一覧">
+            Lambdaに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/CoT.html b/docs/articles/CoT.html
index b388c09ad..1740af9ee 100644
--- a/docs/articles/CoT.html
+++ b/docs/articles/CoT.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/CoT.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="CoTに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"CoT #InformationRetrieval#Pocket#NLP#RetrievalAugmentedGenerationIssue Date: 2024-04-14 RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation, Zihao Wang+, N_A, arXiv24 Summary大規模言語モデルの推論および生成能力を向上させ、幻覚を軽減する方法として、情報検索を利用して思考の連鎖を修正する「retrieval-augmented thoughts（RAT）」が提案された。この方法は、ゼロショットのCoTが生成された後、取得した情報を使用して各思考ステップを修正する。GPT-3.5、GPT-4、およびCodeLLaMA-7bにRATを適用することで、コード生成、数学的推論、創造的な執筆、具体的なタスク計画などのタスクでパフォーマンスが大幅に向上した。デモページはhttps://craftjarvis.github.io/RATで利用可能。 CommentRAGにおいてCoTさせる際に、各reasoningのstepを見直させることでより質の高いreasoningを生成するRATを提案。Hallucinationが低減し、生成のパフォーマンスも向上するとのこと。コンセプト自体はそりゃそうだよねという話なので、RAGならではの課題があり、それを解決した ... #ComputerVision#Pocket#NLP#LanguageModelIssue Date: 2024-04-08 Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models, Wenshan Wu+, N_A, arXiv24 SummaryLLMsの空間推論能力を向上させるために、Visualization-of-Thought（VoT）プロンプティングを提案。VoTは、LLMsの推論トレースを可視化し、空間推論タスクで使用することで、既存のMLLMsを上回る性能を示す。VoTは、空間推論を促進するために「メンタルイメージ」を生成する能力を持ち、MLLMsでの有効性を示唆する。 #Pocket#NLP#LanguageModel#PromptingIssue Date: 2024-03-05 Chain-of-Thought Reasoning Without Prompting, Xuezhi Wang+, N_A, arXiv24 SummaryLLMsの推論能力を向上させるための新しいアプローチに焦点を当てた研究が行われている。この研究では、LLMsがプロンプトなしで効果的に推論できるかどうかを検証し、CoT推論パスをデコーディングプロセスを変更することで引き出す方法を提案している。提案手法は、従来の貪欲なデコーディングではなく、代替トークンを調査することでCoTパスを見つけることができることを示しており、様々な推論ベンチマークで有効性を示している。 Comment以前にCoTを内部的に自動的に実施されるように事前学習段階で学習する、といった話があったと思うが、この研究はデコーディング方法を変更することで、promptingで明示的にinstructionを実施せずとも、CoTを実現するもの、ということだと思われる。 ... more","headline":"CoTに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/CoT.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/CoT.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"CoT #InformationRetrieval#Pocket#NLP#RetrievalAugmentedGenerationIssue Date: 2024-04-14 RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation, Zihao Wang+, N_A, arXiv24 Summary大規模言語モデルの推論および生成能力を向上させ、幻覚を軽減する方法として、情報検索を利用して思考の連鎖を修正する「retrieval-augmented thoughts（RAT）」が提案された。この方法は、ゼロショットのCoTが生成された後、取得した情報を使用して各思考ステップを修正する。GPT-3.5、GPT-4、およびCodeLLaMA-7bにRATを適用することで、コード生成、数学的推論、創造的な執筆、具体的なタスク計画などのタスクでパフォーマンスが大幅に向上した。デモページはhttps://craftjarvis.github.io/RATで利用可能。 CommentRAGにおいてCoTさせる際に、各reasoningのstepを見直させることでより質の高いreasoningを生成するRATを提案。Hallucinationが低減し、生成のパフォーマンスも向上するとのこと。コンセプト自体はそりゃそうだよねという話なので、RAGならではの課題があり、それを解決した ... #ComputerVision#Pocket#NLP#LanguageModelIssue Date: 2024-04-08 Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models, Wenshan Wu+, N_A, arXiv24 SummaryLLMsの空間推論能力を向上させるために、Visualization-of-Thought（VoT）プロンプティングを提案。VoTは、LLMsの推論トレースを可視化し、空間推論タスクで使用することで、既存のMLLMsを上回る性能を示す。VoTは、空間推論を促進するために「メンタルイメージ」を生成する能力を持ち、MLLMsでの有効性を示唆する。 #Pocket#NLP#LanguageModel#PromptingIssue Date: 2024-03-05 Chain-of-Thought Reasoning Without Prompting, Xuezhi Wang+, N_A, arXiv24 SummaryLLMsの推論能力を向上させるための新しいアプローチに焦点を当てた研究が行われている。この研究では、LLMsがプロンプトなしで効果的に推論できるかどうかを検証し、CoT推論パスをデコーディングプロセスを変更することで引き出す方法を提案している。提案手法は、従来の貪欲なデコーディングではなく、代替トークンを調査することでCoTパスを見つけることができることを示しており、様々な推論ベンチマークで有効性を示している。 Comment以前にCoTを内部的に自動的に実施されるように事前学習段階で学習する、といった話があったと思うが、この研究はデコーディング方法を変更することで、promptingで明示的にinstructionを実施せずとも、CoTを実現するもの、ということだと思われる。 ... more","headline":"CoTに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/CoT.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/CoT.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1132,32 +1132,32 @@ <h2 id="cot">CoT</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/RepresentationLearning.html" title="RepresentationLearningに関する論文・技術記事メモの一覧">
-            RepresentationLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DocumentSummarization.html" title="DocumentSummarizationに関する論文・技術記事メモの一覧">
+            DocumentSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Metrics.html" title="Metricsに関する論文・技術記事メモの一覧">
-            Metricsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CommentGeneration.html" title="CommentGenerationに関する論文・技術記事メモの一覧">
+            CommentGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Alignment.html" title="Alignmentに関する論文・技術記事メモの一覧">
-            Alignmentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CollaborativeFiltering.html" title="CollaborativeFilteringに関する論文・技術記事メモの一覧">
+            CollaborativeFilteringに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Coherence.html" title="Coherenceに関する論文・技術記事メモの一覧">
-            Coherenceに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PPO.html" title="PPOに関する論文・技術記事メモの一覧">
+            PPOに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/CodeGeneration.html b/docs/articles/CodeGeneration.html
index 842c13d47..1373b6cdc 100644
--- a/docs/articles/CodeGeneration.html
+++ b/docs/articles/CodeGeneration.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/CodeGeneration.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="CodeGenerationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"CodeGeneration #NLP#LanguageModelIssue Date: 2023-05-20 CodeT5+: Open Code Large Language Models for Code Understanding and Generation, Yue Wang+, N_A, arXiv23 Summary本研究では、コードのためのエンコーダーデコーダーLLMsのファミリーである「CodeT5+」を提案し、様々なダウンストリームコードタスクに柔軟に適合することができるようにしました。また、事前学習オブジェクティブの混合を提案することで、事前学習とファインチューニングの不一致を緩和し、スパンデノイジング、コントラスティブラーニング、テキストコードマッチング、因果LM事前学習タスクを含めました。CodeT5+は、異なる設定で20以上のコード関連ベンチマークで徹底的に評価され、最先端のモデルパフォーマンスを観察しました。特に、instruction-tuned CodeT5+ 16Bは、他のオープンなコードLLMsに対して、HumanEvalコード生成タスクで新しい最先端の結果を達成しました。 Comment様々なコードの理解と生成タスクをサポート異なる訓練手法によって計算効率改善20種類のコードベンチマークで、様々な設定「ゼロショット、finetuning, instruction tuning等）を実施した結果、コード補完、math programming, text to code retri ...","headline":"CodeGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/CodeGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/CodeGeneration.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"CodeGeneration #NLP#LanguageModelIssue Date: 2023-05-20 CodeT5+: Open Code Large Language Models for Code Understanding and Generation, Yue Wang+, N_A, arXiv23 Summary本研究では、コードのためのエンコーダーデコーダーLLMsのファミリーである「CodeT5+」を提案し、様々なダウンストリームコードタスクに柔軟に適合することができるようにしました。また、事前学習オブジェクティブの混合を提案することで、事前学習とファインチューニングの不一致を緩和し、スパンデノイジング、コントラスティブラーニング、テキストコードマッチング、因果LM事前学習タスクを含めました。CodeT5+は、異なる設定で20以上のコード関連ベンチマークで徹底的に評価され、最先端のモデルパフォーマンスを観察しました。特に、instruction-tuned CodeT5+ 16Bは、他のオープンなコードLLMsに対して、HumanEvalコード生成タスクで新しい最先端の結果を達成しました。 Comment様々なコードの理解と生成タスクをサポート異なる訓練手法によって計算効率改善20種類のコードベンチマークで、様々な設定「ゼロショット、finetuning, instruction tuning等）を実施した結果、コード補完、math programming, text to code retri ...","headline":"CodeGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/CodeGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/CodeGeneration.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1011,32 +1011,32 @@ <h2 id="codegeneration">CodeGeneration</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Unsupervised.html" title="Unsupervisedに関する論文・技術記事メモの一覧">
-            Unsupervisedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PPO.html" title="PPOに関する論文・技術記事メモの一覧">
+            PPOに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/project_template.html" title="project_templateに関する論文・技術記事メモの一覧">
-            project_templateに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DynamicNetworks.html" title="DynamicNetworksに関する論文・技術記事メモの一覧">
+            DynamicNetworksに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DiffusionModel.html" title="DiffusionModelに関する論文・技術記事メモの一覧">
-            DiffusionModelに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/QueryBiased.html" title="QueryBiasedに関する論文・技術記事メモの一覧">
+            QueryBiasedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Distillation.html" title="Distillationに関する論文・技術記事メモの一覧">
-            Distillationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CTRPrediction.html" title="CTRPredictionに関する論文・技術記事メモの一覧">
+            CTRPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Coherence.html b/docs/articles/Coherence.html
index 9149bb483..8e932d283 100644
--- a/docs/articles/Coherence.html
+++ b/docs/articles/Coherence.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Coherence.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Coherenceに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Coherence #DocumentSummarization#MachineTranslation#NaturalLanguageGeneration#Metrics#Pocket#NLP#Evaluation#LM-basedIssue Date: 2023-08-13 DiscoScore: Evaluating Text Generation with BERT and Discourse Coherence, Wei Zhao+, N_A, EACL23 Summary本研究では、文章の一貫性を評価するための新しい指標であるDiscoScoreを紹介します。DiscoScoreはCentering理論に基づいており、BERTを使用して談話の一貫性をモデル化します。実験の結果、DiscoScoreは他の指標よりも人間の評価との相関が高く、システムレベルでの評価でも優れた結果を示しました。さらに、DiscoScoreの重要性とその優位性についても説明されています。 #DocumentSummarization#MachineTranslation#NaturalLanguageGeneration#Metrics#NLP#EvaluationIssue Date: 2023-08-13 Lexical Coherence Graph Modeling Using Word Embeddings, Mesgar+, NAACL16 Comment__translate: Coherence is established by semantic connections between sentences of a text which can be modeled by lexical relations. In this paper, we ... #DocumentSummarization#MachineTranslation#NaturalLanguageGeneration#Metrics#NLP#EvaluationIssue Date: 2023-08-13 Graph-based Local Coherence Modeling, Guinaudeau+, ACL13 Summary私たちは、グラフベースのアプローチを提案し、文の順序付け、要約の結束性評価、読みやすさの評価の3つのタスクでシステムを評価しました。このアプローチは、エンティティグリッドベースのアプローチと同等の性能を持ち、計算コストの高いトレーニングフェーズやデータのまばらさの問題にも対処できます。 more","headline":"Coherenceに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Coherence.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Coherence.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Coherence #DocumentSummarization#MachineTranslation#NaturalLanguageGeneration#Metrics#Pocket#NLP#Evaluation#LM-basedIssue Date: 2023-08-13 DiscoScore: Evaluating Text Generation with BERT and Discourse Coherence, Wei Zhao+, N_A, EACL23 Summary本研究では、文章の一貫性を評価するための新しい指標であるDiscoScoreを紹介します。DiscoScoreはCentering理論に基づいており、BERTを使用して談話の一貫性をモデル化します。実験の結果、DiscoScoreは他の指標よりも人間の評価との相関が高く、システムレベルでの評価でも優れた結果を示しました。さらに、DiscoScoreの重要性とその優位性についても説明されています。 #DocumentSummarization#MachineTranslation#NaturalLanguageGeneration#Metrics#NLP#EvaluationIssue Date: 2023-08-13 Lexical Coherence Graph Modeling Using Word Embeddings, Mesgar+, NAACL16 Comment__translate: Coherence is established by semantic connections between sentences of a text which can be modeled by lexical relations. In this paper, we ... #DocumentSummarization#MachineTranslation#NaturalLanguageGeneration#Metrics#NLP#EvaluationIssue Date: 2023-08-13 Graph-based Local Coherence Modeling, Guinaudeau+, ACL13 Summary私たちは、グラフベースのアプローチを提案し、文の順序付け、要約の結束性評価、読みやすさの評価の3つのタスクでシステムを評価しました。このアプローチは、エンティティグリッドベースのアプローチと同等の性能を持ち、計算コストの高いトレーニングフェーズやデータのまばらさの問題にも対処できます。 more","headline":"Coherenceに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Coherence.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Coherence.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1025,32 +1025,32 @@ <h2 id="coherence">Coherence</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/CrossLingual.html" title="CrossLingualに関する論文・技術記事メモの一覧">
-            CrossLingualに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Embed.html" title="Embedに関する論文・技術記事メモの一覧">
+            Embedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Distillation.html" title="Distillationに関する論文・技術記事メモの一覧">
-            Distillationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AutomaticPromptEngineering.html" title="AutomaticPromptEngineeringに関する論文・技術記事メモの一覧">
+            AutomaticPromptEngineeringに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ReinforcementLearning.html" title="ReinforcementLearningに関する論文・技術記事メモの一覧">
-            ReinforcementLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/KnowledgeTracing.html" title="KnowledgeTracingに関する論文・技術記事メモの一覧">
+            KnowledgeTracingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LongSequence.html" title="LongSequenceに関する論文・技術記事メモの一覧">
-            LongSequenceに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Optimizer.html" title="Optimizerに関する論文・技術記事メモの一覧">
+            Optimizerに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/CollaborativeFiltering.html b/docs/articles/CollaborativeFiltering.html
index 2a0f1e41f..ee8116ff8 100644
--- a/docs/articles/CollaborativeFiltering.html
+++ b/docs/articles/CollaborativeFiltering.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/CollaborativeFiltering.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="CollaborativeFilteringに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"CollaborativeFiltering #RecommenderSystems#GraphBased#PocketIssue Date: 2023-04-26 Graph Collaborative Signals Denoising and Augmentation for Recommendation, Ziwei Fan+, N_A, SIGIR23 Summaryグラフ協調フィルタリング（GCF）は、推薦システムで人気のある技術ですが、相互作用が豊富なユーザーやアイテムにはノイズがあり、相互作用が不十分なユーザーやアイテムには不十分です。また、ユーザー-ユーザーおよびアイテム-アイテムの相関を無視しているため、有益な隣接ノードの範囲が制限される可能性があります。本研究では、ユーザー-ユーザーおよびアイテム-アイテムの相関を組み込んだ新しいグラフの隣接行列と、適切に設計されたユーザー-アイテムの相互作用行列を提案します。実験では、改善された隣接ノードと低密度を持つ強化されたユーザー-アイテムの相互作用行列が、グラフベースの推薦において重要な利点をもたらすことを示しています。また、ユーザー-ユーザーおよびアイテム-アイテムの相関を含めることで、相互作用が豊富なユーザーや不十分なユーザーに対する推薦が改善されることも示しています。 Commentグラフ協調フィルタリングを改善グラフ協調フィルタリング （下記ツイッターより引用） user-item間の関係だけでなく、user-user間とitem-item間の情報を組み込むことで精度向上を達成した論文とのこと。 https://twitter.com/nogawanogawa/status ... #RecommenderSystems#NeuralIssue Date: 2022-04-11 Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches, Politecnico di Milano, Maurizio+, RecSys19 CommentRecSys&#39;19のベストペーパー 日本語解説：https://qiita.com/smochi/items/98dbd9429c15898c5dc7 ... #RecommenderSystems#Neural#NaturalLanguageGeneration#NLP#ReviewGenerationIssue Date: 2019-02-01 Estimating Reactions and Recommending Products with Generative Models of Reviews, Ni+, IJCNLP17 CommentCollaborative Filtering (CF) によるコンテンツ推薦とReview Generationを同時に学習し、 両者の性能を向上させる話。 非常に興味深い設定で、このような実験設定でReview Generationを行なった初めての研究。CFではMatrix Factoriza ... more","headline":"CollaborativeFilteringに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/CollaborativeFiltering.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/CollaborativeFiltering.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"CollaborativeFiltering #RecommenderSystems#GraphBased#PocketIssue Date: 2023-04-26 Graph Collaborative Signals Denoising and Augmentation for Recommendation, Ziwei Fan+, N_A, SIGIR23 Summaryグラフ協調フィルタリング（GCF）は、推薦システムで人気のある技術ですが、相互作用が豊富なユーザーやアイテムにはノイズがあり、相互作用が不十分なユーザーやアイテムには不十分です。また、ユーザー-ユーザーおよびアイテム-アイテムの相関を無視しているため、有益な隣接ノードの範囲が制限される可能性があります。本研究では、ユーザー-ユーザーおよびアイテム-アイテムの相関を組み込んだ新しいグラフの隣接行列と、適切に設計されたユーザー-アイテムの相互作用行列を提案します。実験では、改善された隣接ノードと低密度を持つ強化されたユーザー-アイテムの相互作用行列が、グラフベースの推薦において重要な利点をもたらすことを示しています。また、ユーザー-ユーザーおよびアイテム-アイテムの相関を含めることで、相互作用が豊富なユーザーや不十分なユーザーに対する推薦が改善されることも示しています。 Commentグラフ協調フィルタリングを改善グラフ協調フィルタリング （下記ツイッターより引用） user-item間の関係だけでなく、user-user間とitem-item間の情報を組み込むことで精度向上を達成した論文とのこと。 https://twitter.com/nogawanogawa/status ... #RecommenderSystems#NeuralIssue Date: 2022-04-11 Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches, Politecnico di Milano, Maurizio+, RecSys19 CommentRecSys&#39;19のベストペーパー 日本語解説：https://qiita.com/smochi/items/98dbd9429c15898c5dc7 ... #RecommenderSystems#Neural#NaturalLanguageGeneration#NLP#ReviewGenerationIssue Date: 2019-02-01 Estimating Reactions and Recommending Products with Generative Models of Reviews, Ni+, IJCNLP17 CommentCollaborative Filtering (CF) によるコンテンツ推薦とReview Generationを同時に学習し、 両者の性能を向上させる話。 非常に興味深い設定で、このような実験設定でReview Generationを行なった初めての研究。CFではMatrix Factoriza ... more","headline":"CollaborativeFilteringに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/CollaborativeFiltering.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/CollaborativeFiltering.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1085,32 +1085,32 @@ <h2 id="collaborativefiltering">CollaborativeFiltering</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/MachineTranslation.html" title="MachineTranslationに関する論文・技術記事メモの一覧">
-            MachineTranslationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LabelBias.html" title="LabelBiasに関する論文・技術記事メモの一覧">
+            LabelBiasに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Mindset.html" title="Mindsetに関する論文・技術記事メモの一覧">
-            Mindsetに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/HumanComputerInteraction.html" title="HumanComputerInteractionに関する論文・技術記事メモの一覧">
+            HumanComputerInteractionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Pretraining.html" title="Pretrainingに関する論文・技術記事メモの一覧">
-            Pretrainingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PersonalizedDocumentSummarization.html" title="PersonalizedDocumentSummarizationに関する論文・技術記事メモの一覧">
+            PersonalizedDocumentSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Evaluation.html" title="Evaluationに関する論文・技術記事メモの一覧">
-            Evaluationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Argument.html" title="Argumentに関する論文・技術記事メモの一覧">
+            Argumentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/CommentGeneration.html b/docs/articles/CommentGeneration.html
index f8572ae8f..491af155e 100644
--- a/docs/articles/CommentGeneration.html
+++ b/docs/articles/CommentGeneration.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/CommentGeneration.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="CommentGenerationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"CommentGeneration #Pocket#NLP#PersonalizationIssue Date: 2019-09-11 Automatic Generation of Personalized Comment Based on User Profile, Zeng+, arXiv19 #Neural#Pocket#NLPIssue Date: 2019-08-24 Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence Model, Li+ ,arXiv19 #Neural#Pocket#NLPIssue Date: 2019-08-24 Netizen-Style Commenting on Fashion Photos: Dataset and Diversity Measures, Lin+, WWW18 more","headline":"CommentGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/CommentGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/CommentGeneration.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"CommentGeneration #Pocket#NLP#PersonalizationIssue Date: 2019-09-11 Automatic Generation of Personalized Comment Based on User Profile, Zeng+, arXiv19 #Neural#Pocket#NLPIssue Date: 2019-08-24 Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence Model, Li+ ,arXiv19 #Neural#Pocket#NLPIssue Date: 2019-08-24 Netizen-Style Commenting on Fashion Photos: Dataset and Diversity Measures, Lin+, WWW18 more","headline":"CommentGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/CommentGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/CommentGeneration.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1025,32 +1025,32 @@ <h2 id="commentgeneration">CommentGeneration</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/LLM-as-a-Judge.html" title="LLM-as-a-Judgeに関する論文・技術記事メモの一覧">
-            LLM-as-a-Judgeに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/QueryClassification.html" title="QueryClassificationに関する論文・技術記事メモの一覧">
+            QueryClassificationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Temporal.html" title="Temporalに関する論文・技術記事メモの一覧">
-            Temporalに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LearningStyle.html" title="LearningStyleに関する論文・技術記事メモの一覧">
+            LearningStyleに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/MulltiModal.html" title="MulltiModalに関する論文・技術記事メモの一覧">
-            MulltiModalに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CVRPrediction.html" title="CVRPredictionに関する論文・技術記事メモの一覧">
+            CVRPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/HumanComputerInteraction.html" title="HumanComputerInteractionに関する論文・技術記事メモの一覧">
-            HumanComputerInteractionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Explanation.html" title="Explanationに関する論文・技術記事メモの一覧">
+            Explanationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Comments.html b/docs/articles/Comments.html
index e6d2120e2..4f2082a61 100644
--- a/docs/articles/Comments.html
+++ b/docs/articles/Comments.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Comments.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Commentsに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Comments #RecommenderSystemsIssue Date: 2018-01-15 Care to Comment? Recommendations for Commenting on News Stories, Shmueli+, WWW12 Comment過去のユーザのコメントに対するratingに基づいて、ユーザが（コメントを通じて）議論に参加したいようなNews Storyを推薦する研究。 ... #RecommenderSystemsIssue Date: 2018-01-01 Personalized Recommendation of User Comments via Factor Models, Agarwal+, EMNLP11 CommentPersonalizedなコメント推薦モデルを提案。rater-authorの関係、rater-commentの関係をlatent vectorを用いて表現し、これらとバイアス項の線形結合によりraterのあるコメントに対するratingを予測する。 パラメータを学習する際は、EMでモデルをfit ... #InformationRetrievalIssue Date: 2018-01-15 Ranking Comments on Social Web, Hsu+, CSE09 CommentLearning to Rankによってコメントをランキングする手法を提案。 これにより、低品質なコメントははじき、良質なコメントをすくいとることができる。 素性としては、主にユーザに基づく指標（ユーザが作成した記事の数、プロフィールが何度閲覧されたかなど）と、コメントのContentに基づく指 ... more","headline":"Commentsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Comments.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Comments.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Comments #RecommenderSystemsIssue Date: 2018-01-15 Care to Comment? Recommendations for Commenting on News Stories, Shmueli+, WWW12 Comment過去のユーザのコメントに対するratingに基づいて、ユーザが（コメントを通じて）議論に参加したいようなNews Storyを推薦する研究。 ... #RecommenderSystemsIssue Date: 2018-01-01 Personalized Recommendation of User Comments via Factor Models, Agarwal+, EMNLP11 CommentPersonalizedなコメント推薦モデルを提案。rater-authorの関係、rater-commentの関係をlatent vectorを用いて表現し、これらとバイアス項の線形結合によりraterのあるコメントに対するratingを予測する。 パラメータを学習する際は、EMでモデルをfit ... #InformationRetrievalIssue Date: 2018-01-15 Ranking Comments on Social Web, Hsu+, CSE09 CommentLearning to Rankによってコメントをランキングする手法を提案。 これにより、低品質なコメントははじき、良質なコメントをすくいとることができる。 素性としては、主にユーザに基づく指標（ユーザが作成した記事の数、プロフィールが何度閲覧されたかなど）と、コメントのContentに基づく指 ... more","headline":"Commentsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Comments.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Comments.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1035,32 +1035,32 @@ <h2 id="comments">Comments</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningStyle.html" title="LearningStyleに関する論文・技術記事メモの一覧">
-            LearningStyleに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/python.html" title="pythonに関する論文・技術記事メモの一覧">
+            pythonに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/BeamSearch.html" title="BeamSearchに関する論文・技術記事メモの一覧">
-            BeamSearchに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ContextAware.html" title="ContextAwareに関する論文・技術記事メモの一覧">
+            ContextAwareに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Mathematics.html" title="Mathematicsに関する論文・技術記事メモの一覧">
-            Mathematicsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Tutorial.html" title="Tutorialに関する論文・技術記事メモの一覧">
+            Tutorialに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/SpokenLanguageGeneration.html" title="SpokenLanguageGenerationに関する論文・技術記事メモの一覧">
-            SpokenLanguageGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TextToImage.html" title="TextToImageに関する論文・技術記事メモの一覧">
+            TextToImageに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Composition.html b/docs/articles/Composition.html
index 865a15dd6..e221118f9 100644
--- a/docs/articles/Composition.html
+++ b/docs/articles/Composition.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Composition.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Compositionに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Composition #General#NLP#LanguageModel#In-ContextLearningIssue Date: 2023-07-13 How Do In-Context Examples Affect Compositional Generalization?, ACL23 Summary本研究では、組成的な一般化を調査するためのテストスイートであるCoFeを提案し、インコンテキスト学習の組成的な一般化について研究しました。インコンテキストの例の選択が組成的な一般化のパフォーマンスに影響を与えることを発見し、類似性、多様性、複雑さの要素を研究しました。さらに、架空の単語に対する組成的な一般化は一般的な単語に比べて弱いことが観察されました。インコンテキストの例が言語構造をカバーすることが重要であることも示されました。","headline":"Compositionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Composition.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Composition.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Composition #General#NLP#LanguageModel#In-ContextLearningIssue Date: 2023-07-13 How Do In-Context Examples Affect Compositional Generalization?, ACL23 Summary本研究では、組成的な一般化を調査するためのテストスイートであるCoFeを提案し、インコンテキスト学習の組成的な一般化について研究しました。インコンテキストの例の選択が組成的な一般化のパフォーマンスに影響を与えることを発見し、類似性、多様性、複雑さの要素を研究しました。さらに、架空の単語に対する組成的な一般化は一般的な単語に比べて弱いことが観察されました。インコンテキストの例が言語構造をカバーすることが重要であることも示されました。","headline":"Compositionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Composition.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Composition.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1010,32 +1010,32 @@ <h2 id="composition">Composition</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Unsupervised.html" title="Unsupervisedに関する論文・技術記事メモの一覧">
-            Unsupervisedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/WebSearch.html" title="WebSearchに関する論文・技術記事メモの一覧">
+            WebSearchに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Financial.html" title="Financialに関する論文・技術記事メモの一覧">
-            Financialに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Sentence.html" title="Sentenceに関する論文・技術記事メモの一覧">
+            Sentenceに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NaturalLanguageUnderstanding.html" title="NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧">
-            NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InteractiveRecommenderSystems.html" title="InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧">
+            InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/WebSearch.html" title="WebSearchに関する論文・技術記事メモの一覧">
-            WebSearchに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InstructionGeneration.html" title="InstructionGenerationに関する論文・技術記事メモの一覧">
+            InstructionGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/ComputerVision.html b/docs/articles/ComputerVision.html
index a002767b8..c1974b200 100644
--- a/docs/articles/ComputerVision.html
+++ b/docs/articles/ComputerVision.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/ComputerVision.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="ComputerVisionに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"ComputerVision #Pocket#NLP#LanguageModel#CoTIssue Date: 2024-04-08 Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models, Wenshan Wu+, N_A, arXiv24 SummaryLLMsの空間推論能力を向上させるために、Visualization-of-Thought（VoT）プロンプティングを提案。VoTは、LLMsの推論トレースを可視化し、空間推論タスクで使用することで、既存のMLLMsを上回る性能を示す。VoTは、空間推論を促進するために「メンタルイメージ」を生成する能力を持ち、MLLMsでの有効性を示唆する。 #Pocket#NLP#LanguageModelIssue Date: 2024-03-21 Evolutionary Optimization of Model Merging Recipes, Takuya Akiba+, N_A, arXiv24 Summary進化アルゴリズムを使用した新しいアプローチを提案し、強力な基盤モデルの自動生成を実現。LLMの開発において、人間の直感やドメイン知識に依存せず、多様なオープンソースモデルの効果的な組み合わせを自動的に発見する。このアプローチは、日本語のLLMと数学推論能力を持つモデルなど、異なるドメイン間の統合を容易にし、日本語VLMの性能向上にも貢献。オープンソースコミュニティへの貢献と自動モデル構成の新しいパラダイム導入により、基盤モデル開発における効率的なアプローチを模索。 Comment複数のLLMを融合するモデルマージの話。日本語LLMと英語の数学LLNをマージさせることで日本語の数学性能を大幅に向上させたり、LLMとVLMを融合したりすることで、日本にしか存在しない概念の画像も、きちんと回答できるようになる。著者スライドによると、従来のモデルマージにはbase modelが著者 ... #Pocket#NLP#GenerativeAI#MulltiModalIssue Date: 2023-12-01 SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction, Xinyuan Chen+, N_A, arXiv23 Summary本研究では、ビデオ生成において連続した長いビデオを生成するためのジェネレーティブなトランジションと予測に焦点を当てたモデルSEINEを提案する。SEINEはテキストの説明に基づいてトランジションを生成し、一貫性と視覚的品質を確保した長いビデオを生成する。さらに、提案手法は他のタスクにも拡張可能であり、徹底的な実験によりその有効性が検証されている。 Commenthttps://huggingface.co/spaces/Vchitect/SEINE 画像 + テキストpromptで、動画を生成するデモ ... more","headline":"ComputerVisionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ComputerVision.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ComputerVision.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"ComputerVision #Pocket#NLP#LanguageModel#CoTIssue Date: 2024-04-08 Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models, Wenshan Wu+, N_A, arXiv24 SummaryLLMsの空間推論能力を向上させるために、Visualization-of-Thought（VoT）プロンプティングを提案。VoTは、LLMsの推論トレースを可視化し、空間推論タスクで使用することで、既存のMLLMsを上回る性能を示す。VoTは、空間推論を促進するために「メンタルイメージ」を生成する能力を持ち、MLLMsでの有効性を示唆する。 #Pocket#NLP#LanguageModelIssue Date: 2024-03-21 Evolutionary Optimization of Model Merging Recipes, Takuya Akiba+, N_A, arXiv24 Summary進化アルゴリズムを使用した新しいアプローチを提案し、強力な基盤モデルの自動生成を実現。LLMの開発において、人間の直感やドメイン知識に依存せず、多様なオープンソースモデルの効果的な組み合わせを自動的に発見する。このアプローチは、日本語のLLMと数学推論能力を持つモデルなど、異なるドメイン間の統合を容易にし、日本語VLMの性能向上にも貢献。オープンソースコミュニティへの貢献と自動モデル構成の新しいパラダイム導入により、基盤モデル開発における効率的なアプローチを模索。 Comment複数のLLMを融合するモデルマージの話。日本語LLMと英語の数学LLNをマージさせることで日本語の数学性能を大幅に向上させたり、LLMとVLMを融合したりすることで、日本にしか存在しない概念の画像も、きちんと回答できるようになる。著者スライドによると、従来のモデルマージにはbase modelが著者 ... #Pocket#NLP#GenerativeAI#MulltiModalIssue Date: 2023-12-01 SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction, Xinyuan Chen+, N_A, arXiv23 Summary本研究では、ビデオ生成において連続した長いビデオを生成するためのジェネレーティブなトランジションと予測に焦点を当てたモデルSEINEを提案する。SEINEはテキストの説明に基づいてトランジションを生成し、一貫性と視覚的品質を確保した長いビデオを生成する。さらに、提案手法は他のタスクにも拡張可能であり、徹底的な実験によりその有効性が検証されている。 Commenthttps://huggingface.co/spaces/Vchitect/SEINE 画像 + テキストpromptで、動画を生成するデモ ... more","headline":"ComputerVisionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ComputerVision.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ComputerVision.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1214,32 +1214,32 @@ <h2 id="computervision">ComputerVision</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Lambda.html" title="Lambdaに関する論文・技術記事メモの一覧">
-            Lambdaに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AutoML.html" title="AutoMLに関する論文・技術記事メモの一覧">
+            AutoMLに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DomainAdaptation.html" title="DomainAdaptationに関する論文・技術記事メモの一覧">
-            DomainAdaptationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Pretraining.html" title="Pretrainingに関する論文・技術記事メモの一覧">
+            Pretrainingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Ensemble.html" title="Ensembleに関する論文・技術記事メモの一覧">
-            Ensembleに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/StructuredData.html" title="StructuredDataに関する論文・技術記事メモの一覧">
+            StructuredDataに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RepresentationLearning.html" title="RepresentationLearningに関する論文・技術記事メモの一覧">
-            RepresentationLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LanguageModel.html" title="LanguageModelに関する論文・技術記事メモの一覧">
+            LanguageModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/ConceptToText.html b/docs/articles/ConceptToText.html
index 931cf6482..3a29ef3f2 100644
--- a/docs/articles/ConceptToText.html
+++ b/docs/articles/ConceptToText.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/ConceptToText.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="ConceptToTextに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"ConceptToText #PersonalizedDocumentSummarization#DocumentSummarization#NaturalLanguageGeneration#Metrics#NLP#DataToText#DialogueGeneration#PersonalizedGenerationIssue Date: 2021-06-02 NUBIA, EvalNLGEval20 CommentTextGenerationに関するSoTAの性能指標。BLEU, ROUGE等と比較して、人間との相関が高い。 ![image](https://user-images.githubusercontent.com/12249301/120425437-299d5c00-c3a9-11eb-923意 ... #Neural#NaturalLanguageGeneration#Controllable#NLP#DataToTextIssue Date: 2017-12-31 Toward Controlled Generation of Text, Hu+, ICML17 CommentText Generationを行う際は、現在は基本的に学習された言語モデルの尤度に従ってテキストを生成するのみで、outputされるテキストをcontrolすることができないので、できるようにしましたという論文。 VAEによるテキスト生成にGANを組み合わせたようなモデル。 decodingする元 ... #Survey#NaturalLanguageGeneration#NLP#DataToTextIssue Date: 2017-12-31 Neural Text Generation: A Practical Guide, Xie+, arXiv17 more","headline":"ConceptToTextに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ConceptToText.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ConceptToText.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"ConceptToText #PersonalizedDocumentSummarization#DocumentSummarization#NaturalLanguageGeneration#Metrics#NLP#DataToText#DialogueGeneration#PersonalizedGenerationIssue Date: 2021-06-02 NUBIA, EvalNLGEval20 CommentTextGenerationに関するSoTAの性能指標。BLEU, ROUGE等と比較して、人間との相関が高い。 ![image](https://user-images.githubusercontent.com/12249301/120425437-299d5c00-c3a9-11eb-923意 ... #Neural#NaturalLanguageGeneration#Controllable#NLP#DataToTextIssue Date: 2017-12-31 Toward Controlled Generation of Text, Hu+, ICML17 CommentText Generationを行う際は、現在は基本的に学習された言語モデルの尤度に従ってテキストを生成するのみで、outputされるテキストをcontrolすることができないので、できるようにしましたという論文。 VAEによるテキスト生成にGANを組み合わせたようなモデル。 decodingする元 ... #Survey#NaturalLanguageGeneration#NLP#DataToTextIssue Date: 2017-12-31 Neural Text Generation: A Practical Guide, Xie+, arXiv17 more","headline":"ConceptToTextに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ConceptToText.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ConceptToText.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1056,32 +1056,32 @@ <h2 id="concepttotext">ConceptToText</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Ensemble.html" title="Ensembleに関する論文・技術記事メモの一覧">
-            Ensembleに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AffectDetection.html" title="AffectDetectionに関する論文・技術記事メモの一覧">
+            AffectDetectionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Word.html" title="Wordに関する論文・技術記事メモの一覧">
-            Wordに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ILP.html" title="ILPに関する論文・技術記事メモの一覧">
+            ILPに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ExplicitFeedback.html" title="ExplicitFeedbackに関する論文・技術記事メモの一覧">
-            ExplicitFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Analysis.html" title="Analysisに関する論文・技術記事メモの一覧">
+            Analysisに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PPO.html" title="PPOに関する論文・技術記事メモの一覧">
-            PPOに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NewsCitations.html" title="NewsCitationsに関する論文・技術記事メモの一覧">
+            NewsCitationsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Contents-based.html b/docs/articles/Contents-based.html
index c962ad0c2..d5623e86c 100644
--- a/docs/articles/Contents-based.html
+++ b/docs/articles/Contents-based.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Contents-based.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Contents-basedに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Contents-based #RecommenderSystems#NLP#Transformer#pretrained-LM#ContrastiveLearningIssue Date: 2023-07-18 UniTRec: A Unified Text-to-Text Transformer and Joint Contrastive Learning Framework for Text-based Recommendation, ACL23 Summary本研究では、事前学習済み言語モデル（PLM）を使用して、テキストベースの推薦の性能を向上させるための新しいフレームワークであるUniTRecを提案します。UniTRecは、ユーザーの履歴の文脈をより良くモデル化するために統一されたローカル-グローバルアテンションTransformerエンコーダを使用し、候補のテキストアイテムの言語の複雑さを推定するためにTransformerデコーダを活用します。幅広い評価により、UniTRecがテキストベースの推薦タスクで最先端のパフォーマンスを発揮することが示されました。 #RecommenderSystems#Neural#NewsRecommendationIssue Date: 2021-06-01 DKN: Deep Knowledge-Aware Network for News Recommendation, Wang+, WWW18 Comment# Overview Contents-basedな手法でCTRを予測しNews推薦。newsのタイトルに含まれるentityをknowledge graphと紐づけて、情報をよりリッチにして活用する。 CNNでword-embeddingのみならず、entity embedding, cont#3 ... #RecommenderSystems#Neural#InformationRetrievalIssue Date: 2021-06-01 Learning Deep Structured Semantic Models for Web Search using Clickthrough Data, Huang+, CIKM13 Comment日本語解説: https://shunk031.me/paper-survey/summary/others/Learning-Deep-Structured-Semantic-Models-for-Web-Search-using-Clickthrough-Data ...","headline":"Contents-basedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Contents-based.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Contents-based.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Contents-based #RecommenderSystems#NLP#Transformer#pretrained-LM#ContrastiveLearningIssue Date: 2023-07-18 UniTRec: A Unified Text-to-Text Transformer and Joint Contrastive Learning Framework for Text-based Recommendation, ACL23 Summary本研究では、事前学習済み言語モデル（PLM）を使用して、テキストベースの推薦の性能を向上させるための新しいフレームワークであるUniTRecを提案します。UniTRecは、ユーザーの履歴の文脈をより良くモデル化するために統一されたローカル-グローバルアテンションTransformerエンコーダを使用し、候補のテキストアイテムの言語の複雑さを推定するためにTransformerデコーダを活用します。幅広い評価により、UniTRecがテキストベースの推薦タスクで最先端のパフォーマンスを発揮することが示されました。 #RecommenderSystems#Neural#NewsRecommendationIssue Date: 2021-06-01 DKN: Deep Knowledge-Aware Network for News Recommendation, Wang+, WWW18 Comment# Overview Contents-basedな手法でCTRを予測しNews推薦。newsのタイトルに含まれるentityをknowledge graphと紐づけて、情報をよりリッチにして活用する。 CNNでword-embeddingのみならず、entity embedding, cont#3 ... #RecommenderSystems#Neural#InformationRetrievalIssue Date: 2021-06-01 Learning Deep Structured Semantic Models for Web Search using Clickthrough Data, Huang+, CIKM13 Comment日本語解説: https://shunk031.me/paper-survey/summary/others/Learning-Deep-Structured-Semantic-Models-for-Web-Search-using-Clickthrough-Data ...","headline":"Contents-basedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Contents-based.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Contents-based.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1018,32 +1018,32 @@ <h2 id="contents-based">Contents-based</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/CTRPrediction.html" title="CTRPredictionに関する論文・技術記事メモの一覧">
-            CTRPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LearningToRank.html" title="LearningToRankに関する論文・技術記事メモの一覧">
+            LearningToRankに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Extractive.html" title="Extractiveに関する論文・技術記事メモの一覧">
-            Extractiveに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Visual%20Words.html" title="Visual Wordsに関する論文・技術記事メモの一覧">
+            Visual Wordsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Interleaved.html" title="Interleavedに関する論文・技術記事メモの一覧">
-            Interleavedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/General.html" title="Generalに関する論文・技術記事メモの一覧">
+            Generalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/General.html" title="Generalに関する論文・技術記事メモの一覧">
-            Generalに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AdaptiveLearning.html" title="AdaptiveLearningに関する論文・技術記事メモの一覧">
+            AdaptiveLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/ContextAware.html b/docs/articles/ContextAware.html
index 87ef9a024..30df253d4 100644
--- a/docs/articles/ContextAware.html
+++ b/docs/articles/ContextAware.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/ContextAware.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="ContextAwareに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"ContextAware #Neural#NaturalLanguageGeneration#Pocket#NLPIssue Date: 2019-01-24 Response Generation by Context-aware Prototype Editing, Wu+, AAAI19 #Article#RecommenderSystems#TutorialIssue Date: 2018-12-22 Context Aware Recommender Systems, Adomavicius+, AAAI, 2011 CommentAdomaviciusらによるContext Aware Recsysチュートリアル ... #Article#RecommenderSystemsIssue Date: 2018-12-22 Some Challenges for Context-aware Recommender Systems,” Yujie+, Proc. Fifth Int’l Conf. Computer Science and Education （ICCSE）, pp. 362-365, 2010. more","headline":"ContextAwareに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ContextAware.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ContextAware.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"ContextAware #Neural#NaturalLanguageGeneration#Pocket#NLPIssue Date: 2019-01-24 Response Generation by Context-aware Prototype Editing, Wu+, AAAI19 #Article#RecommenderSystems#TutorialIssue Date: 2018-12-22 Context Aware Recommender Systems, Adomavicius+, AAAI, 2011 CommentAdomaviciusらによるContext Aware Recsysチュートリアル ... #Article#RecommenderSystemsIssue Date: 2018-12-22 Some Challenges for Context-aware Recommender Systems,” Yujie+, Proc. Fifth Int’l Conf. Computer Science and Education （ICCSE）, pp. 362-365, 2010. more","headline":"ContextAwareに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ContextAware.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ContextAware.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1032,32 +1032,32 @@ <h2 id="contextaware">ContextAware</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/RetrievalAugmentedGeneration.html" title="RetrievalAugmentedGenerationに関する論文・技術記事メモの一覧">
-            RetrievalAugmentedGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PairWise.html" title="PairWiseに関する論文・技術記事メモの一覧">
+            PairWiseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ContextWindow.html" title="ContextWindowに関する論文・技術記事メモの一覧">
-            ContextWindowに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/FoundationModel.html" title="FoundationModelに関する論文・技術記事メモの一覧">
+            FoundationModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/CodeGeneration.html" title="CodeGenerationに関する論文・技術記事メモの一覧">
-            CodeGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/OptionTracing.html" title="OptionTracingに関する論文・技術記事メモの一覧">
+            OptionTracingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/In-ContextLearning.html" title="In-ContextLearningに関する論文・技術記事メモの一覧">
-            In-ContextLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Optimizer.html" title="Optimizerに関する論文・技術記事メモの一覧">
+            Optimizerに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/ContextWindow.html b/docs/articles/ContextWindow.html
index c55f5e48d..2e0671055 100644
--- a/docs/articles/ContextWindow.html
+++ b/docs/articles/ContextWindow.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/ContextWindow.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="ContextWindowに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"ContextWindow #Analysis#Pocket#NLP#LanguageModel#LongSequenceIssue Date: 2024-04-07 Long-context LLMs Struggle with Long In-context Learning, Tianle Li+, N_A, arXiv24 SummaryLLMsは長いシーケンスを処理する能力に進展しているが、実世界のシナリオでの能力を評価するための専門的なベンチマークLongICLBenchが導入された。このベンチマークでは、LLMsは巨大なラベル空間を理解し、正しい予測を行うために入力全体を理解する必要がある。研究によると、長いコンテキストLLMsは長いコンテキストウィンドウを活用することで比較的良いパフォーマンスを示すが、最も困難なタスクでは苦労している。現在のLLMsは長くコンテキスト豊かなシーケンスを処理し理解する能力にギャップがあることを示唆しており、長いコンテキストの理解と推論は依然として難しい課題であることが示されている。 CommentGPT4以外はコンテキストが20Kを超えると性能が劣化する傾向にあるとのこと。データセットを難易度別に収集し評価したところ、難易度の高いデータではそもそもコンテキストが長くなると全てのLLMがタスクを理解するできずほぼ0%の性能となった。 ... #NLP#LanguageModelIssue Date: 2023-07-11 Extending Context Window of Large Language Models via Positional Interpolation, Shouyuan Chen+, N_A, arXiv23 Summary私たちは、Position Interpolation（PI）という手法を提案します。これにより、RoPEベースの事前学習済みLLM（例：LLaMAモデル）のコンテキストウィンドウサイズを最大32768まで拡張することができます。PIを使用することで、長いコンテキストが必要なタスクで強力な性能を示し、元のコンテキストウィンドウ内のタスクに対しても良好な品質を保持します。PIは、注意スコアを壊滅的に高くすることを防ぐために、入力の位置インデックスを線形にダウンスケールして元のコンテキストウィンドウサイズに合わせます。この手法は、既存の最適化とインフラストラクチャを再利用することができます。 CommentLLMのContext Windowを最大32kまで拡張する手法を提案。1000 step以内のminimalなfinetuningでモデルの性能を維持しながら実現できる。 ... #Article#SurveyIssue Date: 2023-07-01 Extending Context is Hard…but not Impossible CommentOpen source LLMのcontext lengthをどのように大きくするかに関する議論 ...","headline":"ContextWindowに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ContextWindow.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ContextWindow.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"ContextWindow #Analysis#Pocket#NLP#LanguageModel#LongSequenceIssue Date: 2024-04-07 Long-context LLMs Struggle with Long In-context Learning, Tianle Li+, N_A, arXiv24 SummaryLLMsは長いシーケンスを処理する能力に進展しているが、実世界のシナリオでの能力を評価するための専門的なベンチマークLongICLBenchが導入された。このベンチマークでは、LLMsは巨大なラベル空間を理解し、正しい予測を行うために入力全体を理解する必要がある。研究によると、長いコンテキストLLMsは長いコンテキストウィンドウを活用することで比較的良いパフォーマンスを示すが、最も困難なタスクでは苦労している。現在のLLMsは長くコンテキスト豊かなシーケンスを処理し理解する能力にギャップがあることを示唆しており、長いコンテキストの理解と推論は依然として難しい課題であることが示されている。 CommentGPT4以外はコンテキストが20Kを超えると性能が劣化する傾向にあるとのこと。データセットを難易度別に収集し評価したところ、難易度の高いデータではそもそもコンテキストが長くなると全てのLLMがタスクを理解するできずほぼ0%の性能となった。 ... #NLP#LanguageModelIssue Date: 2023-07-11 Extending Context Window of Large Language Models via Positional Interpolation, Shouyuan Chen+, N_A, arXiv23 Summary私たちは、Position Interpolation（PI）という手法を提案します。これにより、RoPEベースの事前学習済みLLM（例：LLaMAモデル）のコンテキストウィンドウサイズを最大32768まで拡張することができます。PIを使用することで、長いコンテキストが必要なタスクで強力な性能を示し、元のコンテキストウィンドウ内のタスクに対しても良好な品質を保持します。PIは、注意スコアを壊滅的に高くすることを防ぐために、入力の位置インデックスを線形にダウンスケールして元のコンテキストウィンドウサイズに合わせます。この手法は、既存の最適化とインフラストラクチャを再利用することができます。 CommentLLMのContext Windowを最大32kまで拡張する手法を提案。1000 step以内のminimalなfinetuningでモデルの性能を維持しながら実現できる。 ... #Article#SurveyIssue Date: 2023-07-01 Extending Context is Hard…but not Impossible CommentOpen source LLMのcontext lengthをどのように大きくするかに関する議論 ...","headline":"ContextWindowに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ContextWindow.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ContextWindow.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1018,32 +1018,32 @@ <h2 id="contextwindow">ContextWindow</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Pretraining.html" title="Pretrainingに関する論文・技術記事メモの一覧">
-            Pretrainingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataToText.html" title="DataToTextに関する論文・技術記事メモの一覧">
+            DataToTextに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Transformer.html" title="Transformerに関する論文・技術記事メモの一覧">
-            Transformerに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NeuralArchitectureSearch.html" title="NeuralArchitectureSearchに関する論文・技術記事メモの一覧">
+            NeuralArchitectureSearchに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PPO.html" title="PPOに関する論文・技術記事メモの一覧">
-            PPOに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Reference-free.html" title="Reference-freeに関する論文・技術記事メモの一覧">
+            Reference-freeに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Bias.html" title="Biasに関する論文・技術記事メモの一覧">
-            Biasに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Document.html" title="Documentに関する論文・技術記事メモの一覧">
+            Documentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/ContrastiveLearning.html b/docs/articles/ContrastiveLearning.html
index df3748ab0..7d55e4b25 100644
--- a/docs/articles/ContrastiveLearning.html
+++ b/docs/articles/ContrastiveLearning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/ContrastiveLearning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="ContrastiveLearningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"ContrastiveLearning #RecommenderSystems#NLP#Contents-based#Transformer#pretrained-LMIssue Date: 2023-07-18 UniTRec: A Unified Text-to-Text Transformer and Joint Contrastive Learning Framework for Text-based Recommendation, ACL23 Summary本研究では、事前学習済み言語モデル（PLM）を使用して、テキストベースの推薦の性能を向上させるための新しいフレームワークであるUniTRecを提案します。UniTRecは、ユーザーの履歴の文脈をより良くモデル化するために統一されたローカル-グローバルアテンションTransformerエンコーダを使用し、候補のテキストアイテムの言語の複雑さを推定するためにTransformerデコーダを活用します。幅広い評価により、UniTRecがテキストベースの推薦タスクで最先端のパフォーマンスを発揮することが示されました。 #ComputerVision#NLP#MulltiModalIssue Date: 2023-04-27 Learning Transferable Visual Models From Natural Language Supervision、Radford+, OpenAI, arXiv22 CommentCLIP論文。大量の画像と画像に対応するテキストのペアから、対象学習を行い、画像とテキスト間のsimilarityをはかれるようにしたモデル ![image](https://user-images.githubusercontent.com/12249301/234729329-dfa5dc1e ... #Sentence#Embed#Pocket#NLP#LanguageModelIssue Date: 2023-07-27 SimCSE: Simple Contrastive Learning of Sentence Embeddings, Tianyu Gao+, N_A, EMNLP21 Summaryこの論文では、SimCSEという対比学習フレームワークを提案しています。このフレームワークは、文の埋め込み技術を進化させることができます。教師なしアプローチでは、入力文をノイズとして扱い、自己を対比的に予測します。教師ありアプローチでは、自然言語推論データセットから注釈付きのペアを使用して対比学習を行います。SimCSEは、意味的テキスト類似性タスクで評価され、以前の手法と比較して改善を実現しました。対比学習は、事前学習された埋め込みの空間を均一に正則化し、教師信号が利用可能な場合には正のペアをよりよく整列させることが示されました。 Comment#462 よりも性能良く、unsupervisedでも学習できる。STSタスクのベースラインにだいたい入ってる# 手法概要 Contrastive Learningを活用して、unsupervised/supervisedに学習を実施する。 Unsupervised SimCSEでは、あるsente ...","headline":"ContrastiveLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ContrastiveLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ContrastiveLearning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"ContrastiveLearning #RecommenderSystems#NLP#Contents-based#Transformer#pretrained-LMIssue Date: 2023-07-18 UniTRec: A Unified Text-to-Text Transformer and Joint Contrastive Learning Framework for Text-based Recommendation, ACL23 Summary本研究では、事前学習済み言語モデル（PLM）を使用して、テキストベースの推薦の性能を向上させるための新しいフレームワークであるUniTRecを提案します。UniTRecは、ユーザーの履歴の文脈をより良くモデル化するために統一されたローカル-グローバルアテンションTransformerエンコーダを使用し、候補のテキストアイテムの言語の複雑さを推定するためにTransformerデコーダを活用します。幅広い評価により、UniTRecがテキストベースの推薦タスクで最先端のパフォーマンスを発揮することが示されました。 #ComputerVision#NLP#MulltiModalIssue Date: 2023-04-27 Learning Transferable Visual Models From Natural Language Supervision、Radford+, OpenAI, arXiv22 CommentCLIP論文。大量の画像と画像に対応するテキストのペアから、対象学習を行い、画像とテキスト間のsimilarityをはかれるようにしたモデル ![image](https://user-images.githubusercontent.com/12249301/234729329-dfa5dc1e ... #Sentence#Embed#Pocket#NLP#LanguageModelIssue Date: 2023-07-27 SimCSE: Simple Contrastive Learning of Sentence Embeddings, Tianyu Gao+, N_A, EMNLP21 Summaryこの論文では、SimCSEという対比学習フレームワークを提案しています。このフレームワークは、文の埋め込み技術を進化させることができます。教師なしアプローチでは、入力文をノイズとして扱い、自己を対比的に予測します。教師ありアプローチでは、自然言語推論データセットから注釈付きのペアを使用して対比学習を行います。SimCSEは、意味的テキスト類似性タスクで評価され、以前の手法と比較して改善を実現しました。対比学習は、事前学習された埋め込みの空間を均一に正則化し、教師信号が利用可能な場合には正のペアをよりよく整列させることが示されました。 Comment#462 よりも性能良く、unsupervisedでも学習できる。STSタスクのベースラインにだいたい入ってる# 手法概要 Contrastive Learningを活用して、unsupervised/supervisedに学習を実施する。 Unsupervised SimCSEでは、あるsente ...","headline":"ContrastiveLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ContrastiveLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ContrastiveLearning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1021,32 +1021,32 @@ <h2 id="contrastivelearning">ContrastiveLearning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Efficiency_SpeedUp.html" title="Efficiency/SpeedUpに関する論文・技術記事メモの一覧">
-            Efficiency/SpeedUpに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PersonalizedGeneration.html" title="PersonalizedGenerationに関する論文・技術記事メモの一覧">
+            PersonalizedGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/CollaborativeFiltering.html" title="CollaborativeFilteringに関する論文・技術記事メモの一覧">
-            CollaborativeFilteringに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Prompting.html" title="Promptingに関する論文・技術記事メモの一覧">
+            Promptingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Self-SupervisedLearning.html" title="Self-SupervisedLearningに関する論文・技術記事メモの一覧">
-            Self-SupervisedLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Metrics.html" title="Metricsに関する論文・技術記事メモの一覧">
+            Metricsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TimeSeriesDataProcessing.html" title="TimeSeriesDataProcessingに関する論文・技術記事メモの一覧">
-            TimeSeriesDataProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Survey.html" title="Surveyに関する論文・技術記事メモの一覧">
+            Surveyに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Controllable.html b/docs/articles/Controllable.html
index 796a8bb28..0d626e33f 100644
--- a/docs/articles/Controllable.html
+++ b/docs/articles/Controllable.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Controllable.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Controllableに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Controllable #NaturalLanguageGeneration#NLPIssue Date: 2023-07-18 An Invariant Learning Characterization of Controlled Text Generation, ACL23 Summary制御された生成では、予測器の訓練に使用される分布と異なるテキストの分布がある場合、パフォーマンスが低下することが示されている。この問題に対処するために、不変性を持つ予測器が効果的であるという考え方が提案されている。さらに、この特性を活かすための自然な解決策とヒューリスティックも提案されている。実験結果は、制御された生成における分布シフトの課題と不変性手法の潜在能力を示している。 #NaturalLanguageGeneration#NLP#ArgumentIssue Date: 2023-07-18 ArgU: A Controllable Factual Argument Generator, ACL23 Summary本研究では、高品質な論証を自動生成するために、制御コードを使用したニューラル論証生成器ArgUを提案します。また、論証スキームを特定するための大規模なデータセットを作成し、注釈付けとデータセット作成のフレームワークについて詳細に説明します。さらに、論証テンプレートを生成する推論戦略を試行し、多様な論証を自動的に生成することが可能であることを示します。 #NaturalLanguageGeneration#NLPIssue Date: 2023-07-15 Controllable Text Generation via Probability Density Estimation in the Latent Space, ACL23 Summary本研究では、潜在空間での確率密度推定を用いた新しい制御フレームワークを提案しています。この手法は、可逆変換関数を使用して潜在空間の複雑な分布を単純なガウス分布にマッピングし、洗練された柔軟な制御を行うことができます。実験結果では、提案手法が属性の関連性とテキストの品質において強力なベースラインを上回り、新たなSOTAを達成していることが示されています。さらなる分析により、制御戦略の柔軟性が示されています。 more","headline":"Controllableに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Controllable.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Controllable.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Controllable #NaturalLanguageGeneration#NLPIssue Date: 2023-07-18 An Invariant Learning Characterization of Controlled Text Generation, ACL23 Summary制御された生成では、予測器の訓練に使用される分布と異なるテキストの分布がある場合、パフォーマンスが低下することが示されている。この問題に対処するために、不変性を持つ予測器が効果的であるという考え方が提案されている。さらに、この特性を活かすための自然な解決策とヒューリスティックも提案されている。実験結果は、制御された生成における分布シフトの課題と不変性手法の潜在能力を示している。 #NaturalLanguageGeneration#NLP#ArgumentIssue Date: 2023-07-18 ArgU: A Controllable Factual Argument Generator, ACL23 Summary本研究では、高品質な論証を自動生成するために、制御コードを使用したニューラル論証生成器ArgUを提案します。また、論証スキームを特定するための大規模なデータセットを作成し、注釈付けとデータセット作成のフレームワークについて詳細に説明します。さらに、論証テンプレートを生成する推論戦略を試行し、多様な論証を自動的に生成することが可能であることを示します。 #NaturalLanguageGeneration#NLPIssue Date: 2023-07-15 Controllable Text Generation via Probability Density Estimation in the Latent Space, ACL23 Summary本研究では、潜在空間での確率密度推定を用いた新しい制御フレームワークを提案しています。この手法は、可逆変換関数を使用して潜在空間の複雑な分布を単純なガウス分布にマッピングし、洗練された柔軟な制御を行うことができます。実験結果では、提案手法が属性の関連性とテキストの品質において強力なベースラインを上回り、新たなSOTAを達成していることが示されています。さらなる分析により、制御戦略の柔軟性が示されています。 more","headline":"Controllableに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Controllable.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Controllable.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1046,32 +1046,32 @@ <h2 id="controllable">Controllable</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/PerformanceTesting.html" title="PerformanceTestingに関する論文・技術記事メモの一覧">
-            PerformanceTestingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Snippets.html" title="Snippetsに関する論文・技術記事メモの一覧">
+            Snippetsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/HumanComputerInteraction.html" title="HumanComputerInteractionに関する論文・技術記事メモの一覧">
-            HumanComputerInteractionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Others.html" title="Othersに関する論文・技術記事メモの一覧">
+            Othersに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/AudioProcessing.html" title="AudioProcessingに関する論文・技術記事メモの一覧">
-            AudioProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AutoML.html" title="AutoMLに関する論文・技術記事メモの一覧">
+            AutoMLに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/CTRPrediction.html" title="CTRPredictionに関する論文・技術記事メモの一覧">
-            CTRPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/action_wanted.html" title="action_wantedに関する論文・技術記事メモの一覧">
+            action_wantedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Conversation.html b/docs/articles/Conversation.html
index 2f18bcc82..f3a8331ac 100644
--- a/docs/articles/Conversation.html
+++ b/docs/articles/Conversation.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Conversation.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Conversationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Conversation #Pocket#NLP#Dataset#LanguageModel#AlignmentIssue Date: 2023-10-09 RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models, Zekun Moore Wang+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）を使用して役割演技の能力を向上させるためのフレームワークであるRoleLLMを提案しています。RoleLLMは、役割プロファイルの構築、コンテキストベースの指示生成、役割プロンプトによる話し方の模倣、オープンソースモデルの微調整と役割のカスタマイズの4つのステージで構成されています。さらに、RoleBenchと呼ばれる役割演技のためのベンチマークデータセットを作成し、RoleLLaMAとRoleGLMというモデルを開発しました。これにより、役割演技の能力が大幅に向上し、GPT-4と同等の結果を達成しました。 Comment# Overview # RoleBench ... #DocumentSummarization#NaturalLanguageGeneration#NLP#DatasetIssue Date: 2023-07-15 MeetingBank: A Benchmark Dataset for Meeting Summarization, ACL23 Summary会議の要約技術の開発には注釈付きの会議コーパスが必要ですが、その欠如が問題となっています。本研究では、新しいベンチマークデータセットであるMeetingBankを提案しました。MeetingBankは、会議議事録を短いパッセージに分割し、特定のセグメントと対応させることで、会議の要約プロセスを管理しやすいタスクに分割することができます。このデータセットは、会議要約システムのテストベッドとして利用できるだけでなく、一般の人々が議会の意思決定の仕組みを理解するのにも役立ちます。ビデオリンク、トランスクリプト、参照要約などのデータを一般に公開し、会議要約技術の開発を促進します。 #RecommenderSystems#NLPIssue Date: 2023-07-15 TREA: Tree-Structure Reasoning Schema for Conversational Recommendation, ACL23 Summary会話型の推薦システム（CRS）では、外部知識を活用して対話の文脈を理解し、関連するアイテムを推薦することが求められている。しかし、現在の推論モデルは複雑な関係を完全に把握できないため、新しいツリー構造の推論スキーマであるTREAを提案する。TREAは多階層のツリーを使用して因果関係を明確にし、過去の対話を活用してより合理的な応答を生成する。幅広い実験により、TREAの有効性が示された。 more","headline":"Conversationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Conversation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Conversation.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Conversation #Pocket#NLP#Dataset#LanguageModel#AlignmentIssue Date: 2023-10-09 RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models, Zekun Moore Wang+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）を使用して役割演技の能力を向上させるためのフレームワークであるRoleLLMを提案しています。RoleLLMは、役割プロファイルの構築、コンテキストベースの指示生成、役割プロンプトによる話し方の模倣、オープンソースモデルの微調整と役割のカスタマイズの4つのステージで構成されています。さらに、RoleBenchと呼ばれる役割演技のためのベンチマークデータセットを作成し、RoleLLaMAとRoleGLMというモデルを開発しました。これにより、役割演技の能力が大幅に向上し、GPT-4と同等の結果を達成しました。 Comment# Overview # RoleBench ... #DocumentSummarization#NaturalLanguageGeneration#NLP#DatasetIssue Date: 2023-07-15 MeetingBank: A Benchmark Dataset for Meeting Summarization, ACL23 Summary会議の要約技術の開発には注釈付きの会議コーパスが必要ですが、その欠如が問題となっています。本研究では、新しいベンチマークデータセットであるMeetingBankを提案しました。MeetingBankは、会議議事録を短いパッセージに分割し、特定のセグメントと対応させることで、会議の要約プロセスを管理しやすいタスクに分割することができます。このデータセットは、会議要約システムのテストベッドとして利用できるだけでなく、一般の人々が議会の意思決定の仕組みを理解するのにも役立ちます。ビデオリンク、トランスクリプト、参照要約などのデータを一般に公開し、会議要約技術の開発を促進します。 #RecommenderSystems#NLPIssue Date: 2023-07-15 TREA: Tree-Structure Reasoning Schema for Conversational Recommendation, ACL23 Summary会話型の推薦システム（CRS）では、外部知識を活用して対話の文脈を理解し、関連するアイテムを推薦することが求められている。しかし、現在の推論モデルは複雑な関係を完全に把握できないため、新しいツリー構造の推論スキーマであるTREAを提案する。TREAは多階層のツリーを使用して因果関係を明確にし、過去の対話を活用してより合理的な応答を生成する。幅広い実験により、TREAの有効性が示された。 more","headline":"Conversationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Conversation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Conversation.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1030,32 +1030,32 @@ <h2 id="conversation">Conversation</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/post-pretraining.html" title="post-pretrainingに関する論文・技術記事メモの一覧">
-            post-pretrainingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LM-based.html" title="LM-basedに関する論文・技術記事メモの一覧">
+            LM-basedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Abstractive.html" title="Abstractiveに関する論文・技術記事メモの一覧">
-            Abstractiveに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LayoutGeneration.html" title="LayoutGenerationに関する論文・技術記事メモの一覧">
+            LayoutGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PersonalizedDocumentSummarization.html" title="PersonalizedDocumentSummarizationに関する論文・技術記事メモの一覧">
-            PersonalizedDocumentSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NumericReasoning.html" title="NumericReasoningに関する論文・技術記事メモの一覧">
+            NumericReasoningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PersonalizedHeadlineGeneration.html" title="PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧">
-            PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InformationExtraction.html" title="InformationExtractionに関する論文・技術記事メモの一覧">
+            InformationExtractionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/CrossLingual.html b/docs/articles/CrossLingual.html
index 5f5e2a056..b8b28c530 100644
--- a/docs/articles/CrossLingual.html
+++ b/docs/articles/CrossLingual.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/CrossLingual.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="CrossLingualに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"CrossLingual #Pocket#NLPIssue Date: 2023-07-12 Empowering Cross-lingual Behavioral Testing of NLP Models with Typological Features, Ester Hlavnova+, N_A, arXiv23 SummaryM2Cという形態論に敏感なNLPモデルの行動テストフレームワークを提案し、12の異なる言語の特徴に基づいてモデルの振る舞いを探るテストを生成する。最先端の言語モデルは英語では優れているが、特定の言語の特徴に対する一般化の失敗があることが示される。これにより、モデルの盲点に対処するための開発が促される。 #DocumentSummarization#Pocket#NLP#EvaluationIssue Date: 2023-08-13 Evaluating the Efficacy of Summarization Evaluation across Languages, Koto+ （w_ Tim先生）, Findings of ACL12 Summaryこの研究では、異なる言語の要約コーパスを使用して、マルチリンガルBERTを用いたBERTScoreが他の要約評価メトリックスよりも優れたパフォーマンスを示すことが示されました。これは、英語以外の言語においても有効であることを示しています。","headline":"CrossLingualに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/CrossLingual.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/CrossLingual.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"CrossLingual #Pocket#NLPIssue Date: 2023-07-12 Empowering Cross-lingual Behavioral Testing of NLP Models with Typological Features, Ester Hlavnova+, N_A, arXiv23 SummaryM2Cという形態論に敏感なNLPモデルの行動テストフレームワークを提案し、12の異なる言語の特徴に基づいてモデルの振る舞いを探るテストを生成する。最先端の言語モデルは英語では優れているが、特定の言語の特徴に対する一般化の失敗があることが示される。これにより、モデルの盲点に対処するための開発が促される。 #DocumentSummarization#Pocket#NLP#EvaluationIssue Date: 2023-08-13 Evaluating the Efficacy of Summarization Evaluation across Languages, Koto+ （w_ Tim先生）, Findings of ACL12 Summaryこの研究では、異なる言語の要約コーパスを使用して、マルチリンガルBERTを用いたBERTScoreが他の要約評価メトリックスよりも優れたパフォーマンスを示すことが示されました。これは、英語以外の言語においても有効であることを示しています。","headline":"CrossLingualに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/CrossLingual.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/CrossLingual.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1013,32 +1013,32 @@ <h2 id="crosslingual">CrossLingual</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/MulltiModal.html" title="MulltiModalに関する論文・技術記事メモの一覧">
-            MulltiModalに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/VariationalAutoEncoder.html" title="VariationalAutoEncoderに関する論文・技術記事メモの一覧">
+            VariationalAutoEncoderに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/QueryClassification.html" title="QueryClassificationに関する論文・技術記事メモの一覧">
-            QueryClassificationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Programming.html" title="Programmingに関する論文・技術記事メモの一覧">
+            Programmingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/review.html" title="reviewに関する論文・技術記事メモの一覧">
-            reviewに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LabelBias.html" title="LabelBiasに関する論文・技術記事メモの一覧">
+            LabelBiasに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Supervised.html" title="Supervisedに関する論文・技術記事メモの一覧">
-            Supervisedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NeuralArchitectureSearch.html" title="NeuralArchitectureSearchに関する論文・技術記事メモの一覧">
+            NeuralArchitectureSearchに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/DataAugmentation.html b/docs/articles/DataAugmentation.html
index 86a1b60aa..0ce62a4d3 100644
--- a/docs/articles/DataAugmentation.html
+++ b/docs/articles/DataAugmentation.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/DataAugmentation.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="DataAugmentationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"DataAugmentation #MachineLearning#NLP#LanguageModel#Transformer#Finetuning#DataGenerationIssue Date: 2023-08-28 Prompt2Model: Generating Deployable Models from Natural Language Instructions, Vijay Viswanathan+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）を使用して、プロンプトを自然言語でタスクを説明し、特定のモデルを訓練する手法であるPrompt2Modelを提案しています。Prompt2Modelは、既存のデータセットと事前学習済みモデルの検索、LLMsを使用したデータセットの生成、および教師あり微調整のプロセスを通じて行われます。実験結果では、Prompt2Modelが強力なLLMを上回る性能を示し、モデルの信頼性の評価も可能であることが示されています。Prompt2Modelはオープンソースで利用可能です。 CommentDataset Generatorによって、アノテーションが存在しないデータについても擬似ラベル付きデータを生成することができ、かつそれを既存のラベル付きデータと組み合わせることによってさらに性能が向上することが報告されている。これができるのはとても素晴らしい。Dataset Generatorにつ ... #MachineLearning#MulltiModalIssue Date: 2023-04-26 Learning Multimodal Data Augmentation in Feature Space, ICLR23 Summaryマルチモーダルデータの共同学習能力は、インテリジェントシステムの特徴であるが、データ拡張の成功は単一モーダルのタスクに限定されている。本研究では、LeMDAという方法を提案し、モダリティのアイデンティティや関係に制約を設けずにマルチモーダルデータを共同拡張することができることを示した。LeMDAはマルチモーダルディープラーニングの性能を向上させ、幅広いアプリケーションで最先端の結果を達成することができる。 CommentData Augmentationは基本的に単体のモダリティに閉じて行われるが、 マルチモーダルな設定において、モダリティ同士がどう関係しているか、どの変換を利用すべきかわからない時に、どのようにデータ全体のsemantic structureを維持しながら、Data Augmentationでき ... #Article#NLP#Library#RepositoryIssue Date: 2023-01-21 nlpaug CommentData Augmentationのためのオープンソースライブラリ ...","headline":"DataAugmentationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DataAugmentation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DataAugmentation.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"DataAugmentation #MachineLearning#NLP#LanguageModel#Transformer#Finetuning#DataGenerationIssue Date: 2023-08-28 Prompt2Model: Generating Deployable Models from Natural Language Instructions, Vijay Viswanathan+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）を使用して、プロンプトを自然言語でタスクを説明し、特定のモデルを訓練する手法であるPrompt2Modelを提案しています。Prompt2Modelは、既存のデータセットと事前学習済みモデルの検索、LLMsを使用したデータセットの生成、および教師あり微調整のプロセスを通じて行われます。実験結果では、Prompt2Modelが強力なLLMを上回る性能を示し、モデルの信頼性の評価も可能であることが示されています。Prompt2Modelはオープンソースで利用可能です。 CommentDataset Generatorによって、アノテーションが存在しないデータについても擬似ラベル付きデータを生成することができ、かつそれを既存のラベル付きデータと組み合わせることによってさらに性能が向上することが報告されている。これができるのはとても素晴らしい。Dataset Generatorにつ ... #MachineLearning#MulltiModalIssue Date: 2023-04-26 Learning Multimodal Data Augmentation in Feature Space, ICLR23 Summaryマルチモーダルデータの共同学習能力は、インテリジェントシステムの特徴であるが、データ拡張の成功は単一モーダルのタスクに限定されている。本研究では、LeMDAという方法を提案し、モダリティのアイデンティティや関係に制約を設けずにマルチモーダルデータを共同拡張することができることを示した。LeMDAはマルチモーダルディープラーニングの性能を向上させ、幅広いアプリケーションで最先端の結果を達成することができる。 CommentData Augmentationは基本的に単体のモダリティに閉じて行われるが、 マルチモーダルな設定において、モダリティ同士がどう関係しているか、どの変換を利用すべきかわからない時に、どのようにデータ全体のsemantic structureを維持しながら、Data Augmentationでき ... #Article#NLP#Library#RepositoryIssue Date: 2023-01-21 nlpaug CommentData Augmentationのためのオープンソースライブラリ ...","headline":"DataAugmentationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DataAugmentation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DataAugmentation.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1019,32 +1019,32 @@ <h2 id="dataaugmentation">DataAugmentation</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/CollaborativeFiltering.html" title="CollaborativeFilteringに関する論文・技術記事メモの一覧">
-            CollaborativeFilteringに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Speech.html" title="Speechに関する論文・技術記事メモの一覧">
+            Speechに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Hallucination.html" title="Hallucinationに関する論文・技術記事メモの一覧">
-            Hallucinationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Extractive.html" title="Extractiveに関する論文・技術記事メモの一覧">
+            Extractiveに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Word.html" title="Wordに関する論文・技術記事メモの一覧">
-            Wordに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DynamicNetworks.html" title="DynamicNetworksに関する論文・技術記事メモの一覧">
+            DynamicNetworksに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/pretrained-LM.html" title="pretrained-LMに関する論文・技術記事メモの一覧">
-            pretrained-LMに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NewsCitations.html" title="NewsCitationsに関する論文・技術記事メモの一覧">
+            NewsCitationsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/DataDistillation.html b/docs/articles/DataDistillation.html
index 973609064..6e8a08857 100644
--- a/docs/articles/DataDistillation.html
+++ b/docs/articles/DataDistillation.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/DataDistillation.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="DataDistillationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"DataDistillation #NLP#Zero/Few-shot#AttentionIssue Date: 2023-07-14 Dataset Distillation with Attention Labels for Fine-tuning BERT, ACL23 Summary本研究では、データセットの蒸留を使用して、元のデータセットのパフォーマンスを保持しながら、ニューラルネットワークを迅速にトレーニングするための小さなデータセットを作成する方法に焦点を当てています。具体的には、事前学習済みのトランスフォーマーを微調整するための自然言語処理タスクの蒸留されたfew-shotデータセットの構築を提案しています。実験結果では、注意ラベルを使用してfew-shotデータセットを作成し、BERTの微調整において印象的なパフォーマンスを実現できることを示しました。例えば、ニュース分類タスクでは、わずか1つのサンプルとわずか1つの勾配ステップのみで、元のデータセットの98.5％のパフォーマンスを達成しました。 CommentDatadistillationしたら、データセットのうち1サンプルのみで、元のデータセットの98.5%の性能を発揮できたという驚異的な研究（まえかわ君） ... #NLP#LanguageModel#Alignment#Finetuning#ChatGPTIssue Date: 2023-05-22 LIMA: Less Is More for Alignment, Chunting Zhou+, N_A, arXiv23 Summary本研究では、65BパラメータのLLaMa言語モデルであるLIMAを訓練し、強化学習や人間の好みモデリングなしに、厳選された1,000のプロンプトとレスポンスのみで標準的な教師あり損失で微調整しました。LIMAは、幅広いクエリに対応する驚くべき強力なパフォーマンスを示し、トレーニングデータに現れなかった未知のタスクにも一般化する傾向があります。制御された人間の研究では、LIMAのレスポンスは、GPT-4、Bard、DaVinci003と比較して優れていることが示されました。これらの結果から、大規模言語モデルのほとんどの知識は事前トレーニング中に学習され、高品質の出力を生成するためには限られた指示調整データしか必要ないことが示唆されます。 CommentLLaMA65Bをたった1kのdata point（厳選された物）でRLHF無しでfinetuningすると、旅行プランの作成や、歴史改変の推測（？）幅広いタスクで高いパフォーマンスを示し、未知のタスクへの汎化能力も示した。最終的にGPT3,4,BARD,CLAUDEよりも人間が好む回答を返した。L ... #Pretraining#NLP#LanguageModelIssue Date: 2023-05-21 DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining, Sang Michael Xie+, N_A, arXiv23 Summary本論文では、言語モデルの性能に影響を与える事前学習データのドメインの混合比について、DoReMiという手法を提案する。DoReMiは、小さなプロキシモデルを使用してドメインの重みを生成し、再サンプリングして大きなモデルをトレーニングすることで、効率的にドメインの重みを見つけることができる。実験では、DoReMiはThe PileやGLaMデータセットで高い精度を発揮し、few-shot下流精度を6.5％改善することができる。 Comment事前学習する際の各ドメインのデータをどのような比率でmixtureするかの話。各ドメインごとに小さなproxy modelを訓練し、downstream taskの知識無しでドメインごとの重みを生成。データセットを生成されたドメインごとの重みに従いリサンプリングすることで、（1/30のプロキシモデル ... more","headline":"DataDistillationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DataDistillation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DataDistillation.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"DataDistillation #NLP#Zero/Few-shot#AttentionIssue Date: 2023-07-14 Dataset Distillation with Attention Labels for Fine-tuning BERT, ACL23 Summary本研究では、データセットの蒸留を使用して、元のデータセットのパフォーマンスを保持しながら、ニューラルネットワークを迅速にトレーニングするための小さなデータセットを作成する方法に焦点を当てています。具体的には、事前学習済みのトランスフォーマーを微調整するための自然言語処理タスクの蒸留されたfew-shotデータセットの構築を提案しています。実験結果では、注意ラベルを使用してfew-shotデータセットを作成し、BERTの微調整において印象的なパフォーマンスを実現できることを示しました。例えば、ニュース分類タスクでは、わずか1つのサンプルとわずか1つの勾配ステップのみで、元のデータセットの98.5％のパフォーマンスを達成しました。 CommentDatadistillationしたら、データセットのうち1サンプルのみで、元のデータセットの98.5%の性能を発揮できたという驚異的な研究（まえかわ君） ... #NLP#LanguageModel#Alignment#Finetuning#ChatGPTIssue Date: 2023-05-22 LIMA: Less Is More for Alignment, Chunting Zhou+, N_A, arXiv23 Summary本研究では、65BパラメータのLLaMa言語モデルであるLIMAを訓練し、強化学習や人間の好みモデリングなしに、厳選された1,000のプロンプトとレスポンスのみで標準的な教師あり損失で微調整しました。LIMAは、幅広いクエリに対応する驚くべき強力なパフォーマンスを示し、トレーニングデータに現れなかった未知のタスクにも一般化する傾向があります。制御された人間の研究では、LIMAのレスポンスは、GPT-4、Bard、DaVinci003と比較して優れていることが示されました。これらの結果から、大規模言語モデルのほとんどの知識は事前トレーニング中に学習され、高品質の出力を生成するためには限られた指示調整データしか必要ないことが示唆されます。 CommentLLaMA65Bをたった1kのdata point（厳選された物）でRLHF無しでfinetuningすると、旅行プランの作成や、歴史改変の推測（？）幅広いタスクで高いパフォーマンスを示し、未知のタスクへの汎化能力も示した。最終的にGPT3,4,BARD,CLAUDEよりも人間が好む回答を返した。L ... #Pretraining#NLP#LanguageModelIssue Date: 2023-05-21 DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining, Sang Michael Xie+, N_A, arXiv23 Summary本論文では、言語モデルの性能に影響を与える事前学習データのドメインの混合比について、DoReMiという手法を提案する。DoReMiは、小さなプロキシモデルを使用してドメインの重みを生成し、再サンプリングして大きなモデルをトレーニングすることで、効率的にドメインの重みを見つけることができる。実験では、DoReMiはThe PileやGLaMデータセットで高い精度を発揮し、few-shot下流精度を6.5％改善することができる。 Comment事前学習する際の各ドメインのデータをどのような比率でmixtureするかの話。各ドメインごとに小さなproxy modelを訓練し、downstream taskの知識無しでドメインごとの重みを生成。データセットを生成されたドメインごとの重みに従いリサンプリングすることで、（1/30のプロキシモデル ... more","headline":"DataDistillationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DataDistillation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DataDistillation.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1029,32 +1029,32 @@ <h2 id="datadistillation">DataDistillation</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/PsychologicalScience.html" title="PsychologicalScienceに関する論文・技術記事メモの一覧">
-            PsychologicalScienceに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ContextWindow.html" title="ContextWindowに関する論文・技術記事メモの一覧">
+            ContextWindowに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RLHF.html" title="RLHFに関する論文・技術記事メモの一覧">
-            RLHFに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/RuleBased.html" title="RuleBasedに関する論文・技術記事メモの一覧">
+            RuleBasedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/GraphConvolutionalNetwork.html" title="GraphConvolutionalNetworkに関する論文・技術記事メモの一覧">
-            GraphConvolutionalNetworkに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Neural.html" title="Neuralに関する論文・技術記事メモの一覧">
+            Neuralに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TabularData.html" title="TabularDataに関する論文・技術記事メモの一覧">
-            TabularDataに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Optimizer.html" title="Optimizerに関する論文・技術記事メモの一覧">
+            Optimizerに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/DataDriven.html b/docs/articles/DataDriven.html
index f81229890..15a6c10db 100644
--- a/docs/articles/DataDriven.html
+++ b/docs/articles/DataDriven.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/DataDriven.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="DataDrivenに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"DataDriven #NaturalLanguageGeneration#NLP#ConceptToTextIssue Date: 2017-12-31 Aggregation via set partitioning for natural language generation, Barzilay+, HLT-NAACL06 #NaturalLanguageGeneration#NLP#ConceptToTextIssue Date: 2017-12-31 Collective content selection for concept-to-text generation, Barzilay+, HLT_EMNLP05","headline":"DataDrivenに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DataDriven.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DataDriven.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"DataDriven #NaturalLanguageGeneration#NLP#ConceptToTextIssue Date: 2017-12-31 Aggregation via set partitioning for natural language generation, Barzilay+, HLT-NAACL06 #NaturalLanguageGeneration#NLP#ConceptToTextIssue Date: 2017-12-31 Collective content selection for concept-to-text generation, Barzilay+, HLT_EMNLP05","headline":"DataDrivenに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DataDriven.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DataDriven.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1011,32 +1011,32 @@ <h2 id="datadriven">DataDriven</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ReinforcementLearning.html" title="ReinforcementLearningに関する論文・技術記事メモの一覧">
-            ReinforcementLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Article.html" title="Articleに関する論文・技術記事メモの一覧">
+            Articleに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ContextWindow.html" title="ContextWindowに関する論文・技術記事メモの一覧">
-            ContextWindowに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LLMAgent.html" title="LLMAgentに関する論文・技術記事メモの一覧">
+            LLMAgentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/AffectDetection.html" title="AffectDetectionに関する論文・技術記事メモの一覧">
-            AffectDetectionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InteractiveRecommenderSystems.html" title="InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧">
+            InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/StructuredData.html" title="StructuredDataに関する論文・技術記事メモの一覧">
-            StructuredDataに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NewsCitations.html" title="NewsCitationsに関する論文・技術記事メモの一覧">
+            NewsCitationsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/DataGeneration.html b/docs/articles/DataGeneration.html
index 45ec1f48a..fa5a3e33b 100644
--- a/docs/articles/DataGeneration.html
+++ b/docs/articles/DataGeneration.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/DataGeneration.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="DataGenerationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"DataGeneration #Pretraining#Pocket#NLP#LanguageModel#FinetuningIssue Date: 2023-10-28 Zephyr: Direct Distillation of LM Alignment, Lewis Tunstall+, N_A, arXiv23 Summary私たちは、小さな言語モデルを作成するために、教師モデルからの優先データを使用する手法を提案しています。この手法により、自然なプロンプトに対するモデルの応答が改善されます。提案手法を用いて学習されたZephyr-7Bモデルは、チャットベンチマークで最先端の性能を発揮し、人間の注釈を必要としません。詳細はGitHubで利用可能です。 Comment7BパラメータでLlaMa70Bと同等の性能を達成したZephyrの論文。dSFT:既存データからpromptをサンプリングし、user,assistantのmulti turnの対話をLLMでシミュレーションしてデータ生成しSFTAIF:既存データからpromstをサンプリングしBlog: htt ... #MachineLearning#NLP#LanguageModel#Transformer#DataAugmentation#FinetuningIssue Date: 2023-08-28 Prompt2Model: Generating Deployable Models from Natural Language Instructions, Vijay Viswanathan+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）を使用して、プロンプトを自然言語でタスクを説明し、特定のモデルを訓練する手法であるPrompt2Modelを提案しています。Prompt2Modelは、既存のデータセットと事前学習済みモデルの検索、LLMsを使用したデータセットの生成、および教師あり微調整のプロセスを通じて行われます。実験結果では、Prompt2Modelが強力なLLMを上回る性能を示し、モデルの信頼性の評価も可能であることが示されています。Prompt2Modelはオープンソースで利用可能です。 CommentDataset Generatorによって、アノテーションが存在しないデータについても擬似ラベル付きデータを生成することができ、かつそれを既存のラベル付きデータと組み合わせることによってさらに性能が向上することが報告されている。これができるのはとても素晴らしい。Dataset Generatorにつ ... #NLP#LanguageModelIssue Date: 2023-04-25 WizardLM: Empowering Large Language Models to Follow Complex Instructions, Xu+, Microsoft_Peking University, arXiv23 Commentinstruction trainingは大きな成功を収めているが、人間がそれらのデータを作成するのはコストがかかる。また、そもそも複雑なinstructionを人間が作成するのは苦労する。そこで、LLMに自動的に作成させる手法を提案している（これはself instructと一緒）。データを生成す ... more","headline":"DataGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DataGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DataGeneration.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"DataGeneration #Pretraining#Pocket#NLP#LanguageModel#FinetuningIssue Date: 2023-10-28 Zephyr: Direct Distillation of LM Alignment, Lewis Tunstall+, N_A, arXiv23 Summary私たちは、小さな言語モデルを作成するために、教師モデルからの優先データを使用する手法を提案しています。この手法により、自然なプロンプトに対するモデルの応答が改善されます。提案手法を用いて学習されたZephyr-7Bモデルは、チャットベンチマークで最先端の性能を発揮し、人間の注釈を必要としません。詳細はGitHubで利用可能です。 Comment7BパラメータでLlaMa70Bと同等の性能を達成したZephyrの論文。dSFT:既存データからpromptをサンプリングし、user,assistantのmulti turnの対話をLLMでシミュレーションしてデータ生成しSFTAIF:既存データからpromstをサンプリングしBlog: htt ... #MachineLearning#NLP#LanguageModel#Transformer#DataAugmentation#FinetuningIssue Date: 2023-08-28 Prompt2Model: Generating Deployable Models from Natural Language Instructions, Vijay Viswanathan+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）を使用して、プロンプトを自然言語でタスクを説明し、特定のモデルを訓練する手法であるPrompt2Modelを提案しています。Prompt2Modelは、既存のデータセットと事前学習済みモデルの検索、LLMsを使用したデータセットの生成、および教師あり微調整のプロセスを通じて行われます。実験結果では、Prompt2Modelが強力なLLMを上回る性能を示し、モデルの信頼性の評価も可能であることが示されています。Prompt2Modelはオープンソースで利用可能です。 CommentDataset Generatorによって、アノテーションが存在しないデータについても擬似ラベル付きデータを生成することができ、かつそれを既存のラベル付きデータと組み合わせることによってさらに性能が向上することが報告されている。これができるのはとても素晴らしい。Dataset Generatorにつ ... #NLP#LanguageModelIssue Date: 2023-04-25 WizardLM: Empowering Large Language Models to Follow Complex Instructions, Xu+, Microsoft_Peking University, arXiv23 Commentinstruction trainingは大きな成功を収めているが、人間がそれらのデータを作成するのはコストがかかる。また、そもそも複雑なinstructionを人間が作成するのは苦労する。そこで、LLMに自動的に作成させる手法を提案している（これはself instructと一緒）。データを生成す ... more","headline":"DataGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DataGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DataGeneration.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1027,32 +1027,32 @@ <h2 id="datageneration">DataGeneration</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/CTRPrediction.html" title="CTRPredictionに関する論文・技術記事メモの一覧">
-            CTRPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MachineLearning.html" title="MachineLearningに関する論文・技術記事メモの一覧">
+            MachineLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Infrastructure.html" title="Infrastructureに関する論文・技術記事メモの一覧">
-            Infrastructureに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TextToImage.html" title="TextToImageに関する論文・技術記事メモの一覧">
+            TextToImageに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/translation_required.html" title="translation_requiredに関する論文・技術記事メモの一覧">
-            translation_requiredに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TechnologyEnhancedLearning.html" title="TechnologyEnhancedLearningに関する論文・技術記事メモの一覧">
+            TechnologyEnhancedLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DomainAdaptation.html" title="DomainAdaptationに関する論文・技術記事メモの一覧">
-            DomainAdaptationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InstructionTuning.html" title="InstructionTuningに関する論文・技術記事メモの一覧">
+            InstructionTuningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/DataToText.html b/docs/articles/DataToText.html
index 90310319f..b7147d514 100644
--- a/docs/articles/DataToText.html
+++ b/docs/articles/DataToText.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/DataToText.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="DataToTextに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"DataToText #NaturalLanguageGeneration#Pocket#NLP#Prompting#NumericReasoningIssue Date: 2024-04-04 Prompting for Numerical Sequences: A Case Study on Market Comment Generation, Masayuki Kawarada+, N_A, arXiv24 SummaryLLMsは、構造化データに対するプロンプト生成に関する研究が進んでいるが、時系列数値データに関する詳細な調査が不足している。本研究では、株価の数値系列を入力として市場コメントを生成するタスクに焦点を当て、さまざまな入力表現を探究する。実験結果は、プログラミング言語に似たプロンプトがより良い結果をもたらすことを示しており、数値系列からテキストを生成する際の効果的なプロンプト作成について示唆を提供している。 CommentData-to-Text系のタスクでは、しばしば数値列がInputとなり、そこからテキストを生成するが、この際にどのようなフォーマットで数値列をPromptingするのが良いかを調査した研究。Pythonリストなどのプログラミング言語に似たプロンプトが高い性能を示し、自然言語やhtml, latex ... #Survey#NLP#LanguageModel#TabularDataIssue Date: 2024-03-05 Large Language Models（LLMs） on Tabular Data: Prediction, Generation, and Understanding -- A Survey, Xi Fang+, N_A, arXiv24 Summary最近の大規模言語モデリングの進展により、様々なタスクにおける応用が容易になっているが、包括的なレビューが不足している。この研究は、最近の進歩をまとめ、データセット、メトリクス、方法論を調査し、将来の研究方向に洞察を提供することを目的としている。また、関連するコードとデータセットの参照も提供される。 CommentTabular DataにおけるLLM関連のタスクや技術等のサーベイ ... #NaturalLanguageGeneration#NLP#MultitaskLearning#Zero/Few-shotIssue Date: 2023-07-18 Few-Shot Data-to-Text Generation via Unified Representation and Multi-Source Learning, ACL23 Summaryこの論文では、構造化データからテキストを生成する新しいアプローチを提案しています。提案手法は、さまざまな形式のデータを処理できる統一された表現を提供し、マルチタスクトレーニングやゼロショット学習などのシナリオでのパフォーマンスを向上させることを目指しています。実験結果は、提案手法が他の方法と比較して優れた性能を示していることを示しています。これは、データからテキスト生成フレームワークにおける重要な進歩です。 more","headline":"DataToTextに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DataToText.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DataToText.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"DataToText #NaturalLanguageGeneration#Pocket#NLP#Prompting#NumericReasoningIssue Date: 2024-04-04 Prompting for Numerical Sequences: A Case Study on Market Comment Generation, Masayuki Kawarada+, N_A, arXiv24 SummaryLLMsは、構造化データに対するプロンプト生成に関する研究が進んでいるが、時系列数値データに関する詳細な調査が不足している。本研究では、株価の数値系列を入力として市場コメントを生成するタスクに焦点を当て、さまざまな入力表現を探究する。実験結果は、プログラミング言語に似たプロンプトがより良い結果をもたらすことを示しており、数値系列からテキストを生成する際の効果的なプロンプト作成について示唆を提供している。 CommentData-to-Text系のタスクでは、しばしば数値列がInputとなり、そこからテキストを生成するが、この際にどのようなフォーマットで数値列をPromptingするのが良いかを調査した研究。Pythonリストなどのプログラミング言語に似たプロンプトが高い性能を示し、自然言語やhtml, latex ... #Survey#NLP#LanguageModel#TabularDataIssue Date: 2024-03-05 Large Language Models（LLMs） on Tabular Data: Prediction, Generation, and Understanding -- A Survey, Xi Fang+, N_A, arXiv24 Summary最近の大規模言語モデリングの進展により、様々なタスクにおける応用が容易になっているが、包括的なレビューが不足している。この研究は、最近の進歩をまとめ、データセット、メトリクス、方法論を調査し、将来の研究方向に洞察を提供することを目的としている。また、関連するコードとデータセットの参照も提供される。 CommentTabular DataにおけるLLM関連のタスクや技術等のサーベイ ... #NaturalLanguageGeneration#NLP#MultitaskLearning#Zero/Few-shotIssue Date: 2023-07-18 Few-Shot Data-to-Text Generation via Unified Representation and Multi-Source Learning, ACL23 Summaryこの論文では、構造化データからテキストを生成する新しいアプローチを提案しています。提案手法は、さまざまな形式のデータを処理できる統一された表現を提供し、マルチタスクトレーニングやゼロショット学習などのシナリオでのパフォーマンスを向上させることを目指しています。実験結果は、提案手法が他の方法と比較して優れた性能を示していることを示しています。これは、データからテキスト生成フレームワークにおける重要な進歩です。 more","headline":"DataToTextに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DataToText.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DataToText.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1145,32 +1145,32 @@ <h2 id="datatotext">DataToText</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Efficiency_SpeedUp.html" title="Efficiency/SpeedUpに関する論文・技術記事メモの一覧">
-            Efficiency/SpeedUpに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CommentGeneration.html" title="CommentGenerationに関する論文・技術記事メモの一覧">
+            CommentGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InteractivePersonalizedSummarization.html" title="InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧">
-            InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CVRPrediction.html" title="CVRPredictionに関する論文・技術記事メモの一覧">
+            CVRPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DropoutPrediction.html" title="DropoutPredictionに関する論文・技術記事メモの一覧">
-            DropoutPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MultitaskLearning.html" title="MultitaskLearningに関する論文・技術記事メモの一覧">
+            MultitaskLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ScorePrediction.html" title="ScorePredictionに関する論文・技術記事メモの一覧">
-            ScorePredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Attention.html" title="Attentionに関する論文・技術記事メモの一覧">
+            Attentionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Dataset.html b/docs/articles/Dataset.html
index ef3819ccc..8bc931e88 100644
--- a/docs/articles/Dataset.html
+++ b/docs/articles/Dataset.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Dataset.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Datasetに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Dataset #DocumentSummarization#NaturalLanguageGeneration#Pocket#NLP#LanguageModel#AnnotationIssue Date: 2024-05-15 Benchmarking Large Language Models for News Summarization, Tianyi Zhang+, N_A, arXiv23 SummaryLLMsの成功の理由を理解するために、異なる事前学習方法、プロンプト、およびモデルスケールにわたる10つのLLMsに対する人間の評価を行った。その結果、モデルサイズではなく、指示の調整がLLMのゼロショット要約能力の鍵であることがわかった。また、LLMsの要約は人間の執筆した要約と同等と判断された。 Commentニュース記事の高品質な要約を人間に作成してもらい、gpt-3.5を用いてLLM-basedな要約も生成 annotatorにそれぞれの要約の品質をスコアリングさせたデータセットを作成 ... #InformationRetrieval#Pocket#MulltiModalIssue Date: 2023-12-01 UniIR: Training and Benchmarking Universal Multimodal Information Retrievers, Cong Wei+, N_A, arXiv23 Summary従来の情報検索モデルは一様な形式を前提としているため、異なる情報検索の要求に対応できない。そこで、UniIRという統一された指示に基づくマルチモーダルリトリーバーを提案する。UniIRは異なるリトリーバルタスクを処理できるように設計され、10のマルチモーダルIRデータセットでトレーニングされる。実験結果はUniIRの汎化能力を示し、M-BEIRというマルチモーダルリトリーバルベンチマークも構築された。 Comment後で読む（画像は元ツイートより元ツイート: https://x.com/congwei1230/status/1730307767469068476?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Pocket#NLP#LanguageModel#QuestionAnsweringIssue Date: 2023-11-22 GPQA: A Graduate-Level Google-Proof Q&amp;A Benchmark, David Rein+, N_A, arXiv23 Summary私たちは、高品質で非常に困難な多肢選択問題からなるGPQAデータセットを提案します。このデータセットは、専門家でも高い正答率を達成できず、最先端のAIシステムでも困難であることが示されています。将来のAIシステムの開発において、スケーラブルな監督方法を開発する必要があります。これにより、スキルを持つ監督者がAIシステムから信頼性のある情報を得ることができるようになります。GPQAデータセットは、スケーラブルな監督実験を可能にし、人間の専門家がAIシステムから真実の情報を確実に得る方法を考案するのに役立つことが期待されています。 Comment該当領域のPh.D所有者でも74%、高いスキルを持つ非専門家（Googleへアクセスして良い環境）で34%しか正答できないQAデータセット。元ツイート: https://x.com/idavidrein/status/1727033002234909060?s=46&t=Y6UuIHB0Lv0Ip ... more","headline":"Datasetに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Dataset.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Dataset.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Dataset #DocumentSummarization#NaturalLanguageGeneration#Pocket#NLP#LanguageModel#AnnotationIssue Date: 2024-05-15 Benchmarking Large Language Models for News Summarization, Tianyi Zhang+, N_A, arXiv23 SummaryLLMsの成功の理由を理解するために、異なる事前学習方法、プロンプト、およびモデルスケールにわたる10つのLLMsに対する人間の評価を行った。その結果、モデルサイズではなく、指示の調整がLLMのゼロショット要約能力の鍵であることがわかった。また、LLMsの要約は人間の執筆した要約と同等と判断された。 Commentニュース記事の高品質な要約を人間に作成してもらい、gpt-3.5を用いてLLM-basedな要約も生成 annotatorにそれぞれの要約の品質をスコアリングさせたデータセットを作成 ... #InformationRetrieval#Pocket#MulltiModalIssue Date: 2023-12-01 UniIR: Training and Benchmarking Universal Multimodal Information Retrievers, Cong Wei+, N_A, arXiv23 Summary従来の情報検索モデルは一様な形式を前提としているため、異なる情報検索の要求に対応できない。そこで、UniIRという統一された指示に基づくマルチモーダルリトリーバーを提案する。UniIRは異なるリトリーバルタスクを処理できるように設計され、10のマルチモーダルIRデータセットでトレーニングされる。実験結果はUniIRの汎化能力を示し、M-BEIRというマルチモーダルリトリーバルベンチマークも構築された。 Comment後で読む（画像は元ツイートより元ツイート: https://x.com/congwei1230/status/1730307767469068476?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Pocket#NLP#LanguageModel#QuestionAnsweringIssue Date: 2023-11-22 GPQA: A Graduate-Level Google-Proof Q&amp;A Benchmark, David Rein+, N_A, arXiv23 Summary私たちは、高品質で非常に困難な多肢選択問題からなるGPQAデータセットを提案します。このデータセットは、専門家でも高い正答率を達成できず、最先端のAIシステムでも困難であることが示されています。将来のAIシステムの開発において、スケーラブルな監督方法を開発する必要があります。これにより、スキルを持つ監督者がAIシステムから信頼性のある情報を得ることができるようになります。GPQAデータセットは、スケーラブルな監督実験を可能にし、人間の専門家がAIシステムから真実の情報を確実に得る方法を考案するのに役立つことが期待されています。 Comment該当領域のPh.D所有者でも74%、高いスキルを持つ非専門家（Googleへアクセスして良い環境）で34%しか正答できないQAデータセット。元ツイート: https://x.com/idavidrein/status/1727033002234909060?s=46&t=Y6UuIHB0Lv0Ip ... more","headline":"Datasetに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Dataset.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Dataset.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1246,32 +1246,32 @@ <h2 id="dataset">Dataset</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/DropoutPrediction.html" title="DropoutPredictionに関する論文・技術記事メモの一覧">
-            DropoutPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LM-based.html" title="LM-basedに関する論文・技術記事メモの一覧">
+            LM-basedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/python.html" title="pythonに関する論文・技術記事メモの一覧">
-            pythonに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Dataset.html" title="Datasetに関する論文・技術記事メモの一覧">
+            Datasetに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Programming.html" title="Programmingに関する論文・技術記事メモの一覧">
-            Programmingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InformationExtraction.html" title="InformationExtractionに関する論文・技術記事メモの一覧">
+            InformationExtractionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataDistillation.html" title="DataDistillationに関する論文・技術記事メモの一覧">
-            DataDistillationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/python.html" title="pythonに関する論文・技術記事メモの一覧">
+            pythonに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/DesignPattern.html b/docs/articles/DesignPattern.html
index 298e8af20..d62308319 100644
--- a/docs/articles/DesignPattern.html
+++ b/docs/articles/DesignPattern.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/DesignPattern.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="DesignPatternに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"DesignPattern #Article#Mindset#ArticleIssue Date: 2023-04-26 More Design Patterns For Machine Learning Systems, 2023 CommentMLのデザインパターンが記述されている ...","headline":"DesignPatternに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DesignPattern.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DesignPattern.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"DesignPattern #Article#Mindset#ArticleIssue Date: 2023-04-26 More Design Patterns For Machine Learning Systems, 2023 CommentMLのデザインパターンが記述されている ...","headline":"DesignPatternに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DesignPattern.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DesignPattern.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1010,32 +1010,32 @@ <h2 id="designpattern">DesignPattern</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/FactorizationMachines.html" title="FactorizationMachinesに関する論文・技術記事メモの一覧">
-            FactorizationMachinesに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LanguageModel.html" title="LanguageModelに関する論文・技術記事メモの一覧">
+            LanguageModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningPath.html" title="LearningPathに関する論文・技術記事メモの一覧">
-            LearningPathに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/FactorizationMachines.html" title="FactorizationMachinesに関する論文・技術記事メモの一覧">
+            FactorizationMachinesに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Annotation.html" title="Annotationに関する論文・技術記事メモの一覧">
-            Annotationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Spoken%20Language%20Processing.html" title="Spoken Language Processingに関する論文・技術記事メモの一覧">
+            Spoken Language Processingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/SyntheticData.html" title="SyntheticDataに関する論文・技術記事メモの一覧">
-            SyntheticDataに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InductiveBias.html" title="InductiveBiasに関する論文・技術記事メモの一覧">
+            InductiveBiasに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/DialogueGeneration.html b/docs/articles/DialogueGeneration.html
index d7d819908..fda0565ca 100644
--- a/docs/articles/DialogueGeneration.html
+++ b/docs/articles/DialogueGeneration.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/DialogueGeneration.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="DialogueGenerationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"DialogueGeneration #NLP#LanguageModel#QuestionAnsweringIssue Date: 2023-04-28 q2d: Turning Questions into Dialogs to Teach Models How to Search, Bitton+, The Hebrew University of Jerusalem （w_ Google Research）, arXiv23 CommentLLMにquestionを与え、questionを解決するためのinformation seekingの対話ログを生成させる。このデータを用いて、dialogueからquestionを生成するモデルを訓練し、検索APIなどに渡せるようにした研究。全く対話のログがないドメインのデータに対しても、人間と ... #NaturalLanguageGeneration#Metrics#NLP#Evaluation#Reference-free#QA-based#FactualConsistencyIssue Date: 2023-08-13 Q2: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering, Honovich+, EMNLP21 Summary本研究では、ニューラルな知識に基づく対話生成モデルの信頼性と適用範囲の制限についての問題を解決するため、自動的な質問生成と質問応答を使用した事実的な整合性の自動評価尺度を提案します。この尺度は、自然言語推論を使用して回答スパンを比較することで、以前のトークンベースのマッチングよりも優れた評価を行います。また、新しいデータセットを作成し、事実的な整合性の手動アノテーションを行い、他の尺度とのメタ評価を行いました。結果として、提案手法が人間の判断と高い相関を示しました。 Comment（knowledge-grounded; 知識に基づいた）対話に対するFactual ConsistencyをReference-freeで評価できるQGQA手法。機械翻訳やAbstractive Summarizationの分野で研究が進んできたが、対話では 対話履歴、個人の意見、ユーザに対 ... #PersonalizedDocumentSummarization#DocumentSummarization#NaturalLanguageGeneration#Metrics#NLP#DataToText#ConceptToText#PersonalizedGenerationIssue Date: 2021-06-02 NUBIA, EvalNLGEval20 CommentTextGenerationに関するSoTAの性能指標。BLEU, ROUGE等と比較して、人間との相関が高い。 ![image](https://user-images.githubusercontent.com/12249301/120425437-299d5c00-c3a9-11eb-923意 ... more","headline":"DialogueGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DialogueGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DialogueGeneration.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"DialogueGeneration #NLP#LanguageModel#QuestionAnsweringIssue Date: 2023-04-28 q2d: Turning Questions into Dialogs to Teach Models How to Search, Bitton+, The Hebrew University of Jerusalem （w_ Google Research）, arXiv23 CommentLLMにquestionを与え、questionを解決するためのinformation seekingの対話ログを生成させる。このデータを用いて、dialogueからquestionを生成するモデルを訓練し、検索APIなどに渡せるようにした研究。全く対話のログがないドメインのデータに対しても、人間と ... #NaturalLanguageGeneration#Metrics#NLP#Evaluation#Reference-free#QA-based#FactualConsistencyIssue Date: 2023-08-13 Q2: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering, Honovich+, EMNLP21 Summary本研究では、ニューラルな知識に基づく対話生成モデルの信頼性と適用範囲の制限についての問題を解決するため、自動的な質問生成と質問応答を使用した事実的な整合性の自動評価尺度を提案します。この尺度は、自然言語推論を使用して回答スパンを比較することで、以前のトークンベースのマッチングよりも優れた評価を行います。また、新しいデータセットを作成し、事実的な整合性の手動アノテーションを行い、他の尺度とのメタ評価を行いました。結果として、提案手法が人間の判断と高い相関を示しました。 Comment（knowledge-grounded; 知識に基づいた）対話に対するFactual ConsistencyをReference-freeで評価できるQGQA手法。機械翻訳やAbstractive Summarizationの分野で研究が進んできたが、対話では 対話履歴、個人の意見、ユーザに対 ... #PersonalizedDocumentSummarization#DocumentSummarization#NaturalLanguageGeneration#Metrics#NLP#DataToText#ConceptToText#PersonalizedGenerationIssue Date: 2021-06-02 NUBIA, EvalNLGEval20 CommentTextGenerationに関するSoTAの性能指標。BLEU, ROUGE等と比較して、人間との相関が高い。 ![image](https://user-images.githubusercontent.com/12249301/120425437-299d5c00-c3a9-11eb-923意 ... more","headline":"DialogueGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DialogueGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DialogueGeneration.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1031,32 +1031,32 @@ <h2 id="dialoguegeneration">DialogueGeneration</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/SpokenLanguageGeneration.html" title="SpokenLanguageGenerationに関する論文・技術記事メモの一覧">
-            SpokenLanguageGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Word.html" title="Wordに関する論文・技術記事メモの一覧">
+            Wordに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/StudentPerformancePrediction.html" title="StudentPerformancePredictionに関する論文・技術記事メモの一覧">
-            StudentPerformancePredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/WebSearch.html" title="WebSearchに関する論文・技術記事メモの一覧">
+            WebSearchに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/CVRPrediction.html" title="CVRPredictionに関する論文・技術記事メモの一覧">
-            CVRPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/GraphBased.html" title="GraphBasedに関する論文・技術記事メモの一覧">
+            GraphBasedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Mathematics.html" title="Mathematicsに関する論文・技術記事メモの一覧">
-            Mathematicsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/QuestionAnswering.html" title="QuestionAnsweringに関する論文・技術記事メモの一覧">
+            QuestionAnsweringに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/DiffusionModel.html b/docs/articles/DiffusionModel.html
index 57973f680..1f9a0960d 100644
--- a/docs/articles/DiffusionModel.html
+++ b/docs/articles/DiffusionModel.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/DiffusionModel.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="DiffusionModelに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"DiffusionModel #ComputerVision#Pocket#PersonalizationIssue Date: 2023-07-22 FABRIC: Personalizing Diffusion Models with Iterative Feedback, Dimitri von Rütte+, N_A, arXiv23 Summary本研究では、拡散ベースのテキストから画像への変換モデルに人間のフィードバックを組み込む戦略を提案する。自己注意層を利用したトレーニングフリーなアプローチであるFABRICを提案し、さまざまな拡散モデルに適用可能であることを示す。また、包括的な評価方法を導入し、人間のフィードバックを統合した生成ビジュアルモデルのパフォーマンスを定量化するための堅牢なメカニズムを提供する。徹底的な分析により、反復的なフィードバックの複数のラウンドを通じて生成結果が改善されることを示す。これにより、個別化されたコンテンツ作成やカスタマイズなどの領域に応用が可能となる。 Commentupvote downvoteをフィードバックし、iterativeなmannerでDiffusionモデルの生成結果を改善できる手法。多くのDiffusion based Modelに対して適用可能デモ: https://huggingface.co/spaces/dvruette/fabric ... #ComputerVision#NaturalLanguageGeneration#NLP#MulltiModal#TextToImageIssue Date: 2023-07-15 Learning to Imagine: Visually-Augmented Natural Language Generation, ACL23 Summary本研究では、視覚情報を活用した自然言語生成のためのLIVEという手法を提案しています。LIVEは、事前学習済み言語モデルを使用して、テキストに基づいて場面を想像し、高品質な画像を合成する方法です。また、CLIPを使用してテキストの想像力を評価し、段落ごとに画像を生成します。さまざまな実験により、LIVEの有効性が示されています。コード、モデル、データは公開されています。 Comment&gt;まず、テキストに基づいて場面を想像します。入力テキストに基づいて高品質な画像を合成するために拡散モデルを使用します。次に、CLIPを使用して、テキストが想像力を喚起できるかを事後的に判断します。最後に、私たちの想像力は動的であり、段落全体に1つの画像を生成するのではなく、各文に対して合成を行います ... #ComputerVision#Pocket#NLP#Personalization#TextToImageIssue Date: 2023-06-16 ViCo: Detail-Preserving Visual Condition for Personalized Text-to-Image Generation, Shaozhe Hao+, N_A, arXiv23 Summary拡散モデルを用いたパーソナライズされた画像生成において、高速で軽量なプラグインメソッドであるViCoを提案。注目モジュールを導入し、注目ベースのオブジェクトマスクを使用することで、一般的な過学習の劣化を軽減。元の拡散モデルのパラメータを微調整せず、軽量なパラメータトレーニングだけで、最新のモデルと同等またはそれ以上の性能を発揮することができる。 more","headline":"DiffusionModelに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DiffusionModel.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DiffusionModel.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"DiffusionModel #ComputerVision#Pocket#PersonalizationIssue Date: 2023-07-22 FABRIC: Personalizing Diffusion Models with Iterative Feedback, Dimitri von Rütte+, N_A, arXiv23 Summary本研究では、拡散ベースのテキストから画像への変換モデルに人間のフィードバックを組み込む戦略を提案する。自己注意層を利用したトレーニングフリーなアプローチであるFABRICを提案し、さまざまな拡散モデルに適用可能であることを示す。また、包括的な評価方法を導入し、人間のフィードバックを統合した生成ビジュアルモデルのパフォーマンスを定量化するための堅牢なメカニズムを提供する。徹底的な分析により、反復的なフィードバックの複数のラウンドを通じて生成結果が改善されることを示す。これにより、個別化されたコンテンツ作成やカスタマイズなどの領域に応用が可能となる。 Commentupvote downvoteをフィードバックし、iterativeなmannerでDiffusionモデルの生成結果を改善できる手法。多くのDiffusion based Modelに対して適用可能デモ: https://huggingface.co/spaces/dvruette/fabric ... #ComputerVision#NaturalLanguageGeneration#NLP#MulltiModal#TextToImageIssue Date: 2023-07-15 Learning to Imagine: Visually-Augmented Natural Language Generation, ACL23 Summary本研究では、視覚情報を活用した自然言語生成のためのLIVEという手法を提案しています。LIVEは、事前学習済み言語モデルを使用して、テキストに基づいて場面を想像し、高品質な画像を合成する方法です。また、CLIPを使用してテキストの想像力を評価し、段落ごとに画像を生成します。さまざまな実験により、LIVEの有効性が示されています。コード、モデル、データは公開されています。 Comment&gt;まず、テキストに基づいて場面を想像します。入力テキストに基づいて高品質な画像を合成するために拡散モデルを使用します。次に、CLIPを使用して、テキストが想像力を喚起できるかを事後的に判断します。最後に、私たちの想像力は動的であり、段落全体に1つの画像を生成するのではなく、各文に対して合成を行います ... #ComputerVision#Pocket#NLP#Personalization#TextToImageIssue Date: 2023-06-16 ViCo: Detail-Preserving Visual Condition for Personalized Text-to-Image Generation, Shaozhe Hao+, N_A, arXiv23 Summary拡散モデルを用いたパーソナライズされた画像生成において、高速で軽量なプラグインメソッドであるViCoを提案。注目モジュールを導入し、注目ベースのオブジェクトマスクを使用することで、一般的な過学習の劣化を軽減。元の拡散モデルのパラメータを微調整せず、軽量なパラメータトレーニングだけで、最新のモデルと同等またはそれ以上の性能を発揮することができる。 more","headline":"DiffusionModelに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DiffusionModel.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DiffusionModel.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1029,32 +1029,32 @@ <h2 id="diffusionmodel">DiffusionModel</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/python.html" title="pythonに関する論文・技術記事メモの一覧">
-            pythonに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DialogueGeneration.html" title="DialogueGenerationに関する論文・技術記事メモの一覧">
+            DialogueGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NumericReasoning.html" title="NumericReasoningに関する論文・技術記事メモの一覧">
-            NumericReasoningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Online_Interactive.html" title="Online/Interactiveに関する論文・技術記事メモの一覧">
+            Online/Interactiveに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Argument.html" title="Argumentに関する論文・技術記事メモの一覧">
-            Argumentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/QuestionAnswering.html" title="QuestionAnsweringに関する論文・技術記事メモの一覧">
+            QuestionAnsweringに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Faithfulness.html" title="Faithfulnessに関する論文・技術記事メモの一覧">
-            Faithfulnessに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Evaluation.html" title="Evaluationに関する論文・技術記事メモの一覧">
+            Evaluationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Discourse.html b/docs/articles/Discourse.html
index b1e4ba1e7..1352c34dd 100644
--- a/docs/articles/Discourse.html
+++ b/docs/articles/Discourse.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Discourse.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Discourseに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Discourse #NLP#DatasetIssue Date: 2018-01-19 Characterizing Online Discussion Using Coarse Discourse Sequences, Zhang+, ICWSM17, （Reddit Coarse Discourse data） CommentRedditのDiscussion Forumに9種類のDiscourse Actsを付与したデータ。 データを作成する際は、以下の処理を適用： * Google Big Query dump のRedditデータ238Mスレッド * それにReply Filterをかけ87.5Mスレッド ...","headline":"Discourseに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Discourse.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Discourse.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Discourse #NLP#DatasetIssue Date: 2018-01-19 Characterizing Online Discussion Using Coarse Discourse Sequences, Zhang+, ICWSM17, （Reddit Coarse Discourse data） CommentRedditのDiscussion Forumに9種類のDiscourse Actsを付与したデータ。 データを作成する際は、以下の処理を適用： * Google Big Query dump のRedditデータ238Mスレッド * それにReply Filterをかけ87.5Mスレッド ...","headline":"Discourseに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Discourse.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Discourse.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1014,32 +1014,32 @@ <h2 id="discourse">Discourse</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Multi.html" title="Multiに関する論文・技術記事メモの一覧">
-            Multiに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Coherence.html" title="Coherenceに関する論文・技術記事メモの一覧">
+            Coherenceに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Dataset.html" title="Datasetに関する論文・技術記事メモの一覧">
-            Datasetに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/UserModeling.html" title="UserModelingに関する論文・技術記事メモの一覧">
+            UserModelingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PersonalizedHeadlineGeneration.html" title="PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧">
-            PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LayoutGeneration.html" title="LayoutGenerationに関する論文・技術記事メモの一覧">
+            LayoutGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/EducationalDataMining.html" title="EducationalDataMiningに関する論文・技術記事メモの一覧">
-            EducationalDataMiningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Single.html" title="Singleに関する論文・技術記事メモの一覧">
+            Singleに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Distillation.html b/docs/articles/Distillation.html
index d0192d115..f41f1571f 100644
--- a/docs/articles/Distillation.html
+++ b/docs/articles/Distillation.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Distillation.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Distillationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Distillation #NLP#LanguageModel#CoTIssue Date: 2023-07-18 Teaching Small Language Models to Reason, ACL23 Summary本研究では、大規模な言語モデルの推論能力を小さなモデルに転送するための知識蒸留を探求しました。具体的には、大きな教師モデルによって生成された出力を用いて学生モデルを微調整し、算術、常識、象徴的な推論のタスクでのパフォーマンスを向上させることを示しました。例えば、T5 XXLの正解率は、PaLM 540BとGPT-3 175Bで生成された出力を微調整することで、それぞれ8.11％から21.99％および18.42％に向上しました。 #NLP#CoTIssue Date: 2023-07-14 SCOTT: Self-Consistent Chain-of-Thought Distillation, ACL23 Summary本研究では、大規模な言語モデル（LM）から小さなCoTモデルを学習するための知識蒸留手法であるSCOTTを提案しています。SCOTTは、教師モデルからゴールドアンサーをサポートする根拠を引き出し、より信憑性のあるトークンを生成するように学習を促します。さらに、学生モデルはカウンターファクトリーニングの目的で教師が生成した根拠を使用して学習されます。実験結果は、提案手法がベースラインよりも忠実なモデルを導くことを示しています。また、根拠を尊重することで意思決定を改善することも可能です。 CommentCoTのパフォーマンス向上がパラメータ数が大きいモデルでないと発揮せれないことは元論文 #551 で考察されており、それをより小さいモデルに蒸留し発揮できるようにする、おもしろい ...","headline":"Distillationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Distillation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Distillation.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Distillation #NLP#LanguageModel#CoTIssue Date: 2023-07-18 Teaching Small Language Models to Reason, ACL23 Summary本研究では、大規模な言語モデルの推論能力を小さなモデルに転送するための知識蒸留を探求しました。具体的には、大きな教師モデルによって生成された出力を用いて学生モデルを微調整し、算術、常識、象徴的な推論のタスクでのパフォーマンスを向上させることを示しました。例えば、T5 XXLの正解率は、PaLM 540BとGPT-3 175Bで生成された出力を微調整することで、それぞれ8.11％から21.99％および18.42％に向上しました。 #NLP#CoTIssue Date: 2023-07-14 SCOTT: Self-Consistent Chain-of-Thought Distillation, ACL23 Summary本研究では、大規模な言語モデル（LM）から小さなCoTモデルを学習するための知識蒸留手法であるSCOTTを提案しています。SCOTTは、教師モデルからゴールドアンサーをサポートする根拠を引き出し、より信憑性のあるトークンを生成するように学習を促します。さらに、学生モデルはカウンターファクトリーニングの目的で教師が生成した根拠を使用して学習されます。実験結果は、提案手法がベースラインよりも忠実なモデルを導くことを示しています。また、根拠を尊重することで意思決定を改善することも可能です。 CommentCoTのパフォーマンス向上がパラメータ数が大きいモデルでないと発揮せれないことは元論文 #551 で考察されており、それをより小さいモデルに蒸留し発揮できるようにする、おもしろい ...","headline":"Distillationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Distillation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Distillation.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1014,32 +1014,32 @@ <h2 id="distillation">Distillation</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/DialogueGeneration.html" title="DialogueGenerationに関する論文・技術記事メモの一覧">
-            DialogueGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/WebSearch.html" title="WebSearchに関する論文・技術記事メモの一覧">
+            WebSearchに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/AWS.html" title="AWSに関する論文・技術記事メモの一覧">
-            AWSに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MatrixFactorization.html" title="MatrixFactorizationに関する論文・技術記事メモの一覧">
+            MatrixFactorizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/GrammaticalErrorCorrection.html" title="GrammaticalErrorCorrectionに関する論文・技術記事メモの一覧">
-            GrammaticalErrorCorrectionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PersonalizedDocumentSummarization.html" title="PersonalizedDocumentSummarizationに関する論文・技術記事メモの一覧">
+            PersonalizedDocumentSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/MatrixFactorization.html" title="MatrixFactorizationに関する論文・技術記事メモの一覧">
-            MatrixFactorizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Visual%20Words.html" title="Visual Wordsに関する論文・技術記事メモの一覧">
+            Visual Wordsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Document.html b/docs/articles/Document.html
index 58d5d8b53..46eee8d09 100644
--- a/docs/articles/Document.html
+++ b/docs/articles/Document.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Document.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Documentに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Document #Multi#DocumentSummarization#Pocket#NLP#VariationalAutoEncoderIssue Date: 2018-10-05 Salience Estimation via Variational Auto-Encoders for Multi-Document Summarization, Li+, AAAI17 #DocumentSummarization#Neural#Supervised#Pocket#NLPIssue Date: 2018-01-01 Coarse-to-Fine Attention Models for Document Summarization, Ling+ （with Rush）, ACL17 Workshop on New Frontiers in Summarization #Single#DocumentSummarization#Neural#Supervised#NLP#AbstractiveIssue Date: 2017-12-31 Get To The Point: Summarization with Pointer-Generator Networks, See+, ACL17 Comment解説スライド：https://www.slideshare.net/akihikowatanabe3110/get-to-the-point-summarization-with-pointergenerator-networks/1単語の生成と単語のコピーの両方を行えるハイブリッドなニューラル文書 ... more","headline":"Documentに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Document.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Document.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Document #Multi#DocumentSummarization#Pocket#NLP#VariationalAutoEncoderIssue Date: 2018-10-05 Salience Estimation via Variational Auto-Encoders for Multi-Document Summarization, Li+, AAAI17 #DocumentSummarization#Neural#Supervised#Pocket#NLPIssue Date: 2018-01-01 Coarse-to-Fine Attention Models for Document Summarization, Ling+ （with Rush）, ACL17 Workshop on New Frontiers in Summarization #Single#DocumentSummarization#Neural#Supervised#NLP#AbstractiveIssue Date: 2017-12-31 Get To The Point: Summarization with Pointer-Generator Networks, See+, ACL17 Comment解説スライド：https://www.slideshare.net/akihikowatanabe3110/get-to-the-point-summarization-with-pointergenerator-networks/1単語の生成と単語のコピーの両方を行えるハイブリッドなニューラル文書 ... more","headline":"Documentに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Document.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Document.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1148,32 +1148,32 @@ <h2 id="document">Document</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Zero_Few-shot.html" title="Zero/Few-shotに関する論文・技術記事メモの一覧">
-            Zero/Few-shotに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Personalization.html" title="Personalizationに関する論文・技術記事メモの一覧">
+            Personalizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ExperimentManagement.html" title="ExperimentManagementに関する論文・技術記事メモの一覧">
-            ExperimentManagementに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Visual%20Words.html" title="Visual Wordsに関する論文・技術記事メモの一覧">
+            Visual Wordsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/CommentGeneration.html" title="CommentGenerationに関する論文・技術記事メモの一覧">
-            CommentGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Comments.html" title="Commentsに関する論文・技術記事メモの一覧">
+            Commentsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/VariationalAutoEncoder.html" title="VariationalAutoEncoderに関する論文・技術記事メモの一覧">
-            VariationalAutoEncoderに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Article.html" title="Articleに関する論文・技術記事メモの一覧">
+            Articleに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/DocumentSummarization.html b/docs/articles/DocumentSummarization.html
index 1c1784f2d..123a99597 100644
--- a/docs/articles/DocumentSummarization.html
+++ b/docs/articles/DocumentSummarization.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/DocumentSummarization.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="DocumentSummarizationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"DocumentSummarization #NaturalLanguageGeneration#Pocket#NLP#Dataset#LanguageModel#AnnotationIssue Date: 2024-05-15 Benchmarking Large Language Models for News Summarization, Tianyi Zhang+, N_A, arXiv23 SummaryLLMsの成功の理由を理解するために、異なる事前学習方法、プロンプト、およびモデルスケールにわたる10つのLLMsに対する人間の評価を行った。その結果、モデルサイズではなく、指示の調整がLLMのゼロショット要約能力の鍵であることがわかった。また、LLMsの要約は人間の執筆した要約と同等と判断された。 Commentニュース記事の高品質な要約を人間に作成してもらい、gpt-3.5を用いてLLM-basedな要約も生成 annotatorにそれぞれの要約の品質をスコアリングさせたデータセットを作成 ... #NaturalLanguageGeneration#Pocket#NLP#LanguageModelIssue Date: 2023-09-17 From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting, Griffin Adams+, N_A, arXiv23 Summary要約は詳細でエンティティ中心的でありながら、理解しやすくすることが困難です。この課題を解決するために、私たちは「密度の連鎖」（CoD）プロンプトを使用して、GPT-4の要約を生成します。CoDによって生成された要約は抽象的であり、リードバイアスが少なく、人間に好まれます。また、情報量と読みやすさのトレードオフが存在することも示されました。CoD要約は無料で利用できます。 Comment論文中のprompt例。InformativeなEntityのCoverageを増やすようにイテレーションを回し、各Entityに関する情報（前ステップで不足している情報は補足しながら）を具体的に記述するように要約を生成する。人間が好むEntityのDensityにはある程度の閾値がある模様（でもこ ... #MachineTranslation#NaturalLanguageGeneration#Metrics#Pocket#NLP#Evaluation#LM-based#CoherenceIssue Date: 2023-08-13 DiscoScore: Evaluating Text Generation with BERT and Discourse Coherence, Wei Zhao+, N_A, EACL23 Summary本研究では、文章の一貫性を評価するための新しい指標であるDiscoScoreを紹介します。DiscoScoreはCentering理論に基づいており、BERTを使用して談話の一貫性をモデル化します。実験の結果、DiscoScoreは他の指標よりも人間の評価との相関が高く、システムレベルでの評価でも優れた結果を示しました。さらに、DiscoScoreの重要性とその優位性についても説明されています。 more","headline":"DocumentSummarizationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DocumentSummarization.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DocumentSummarization.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"DocumentSummarization #NaturalLanguageGeneration#Pocket#NLP#Dataset#LanguageModel#AnnotationIssue Date: 2024-05-15 Benchmarking Large Language Models for News Summarization, Tianyi Zhang+, N_A, arXiv23 SummaryLLMsの成功の理由を理解するために、異なる事前学習方法、プロンプト、およびモデルスケールにわたる10つのLLMsに対する人間の評価を行った。その結果、モデルサイズではなく、指示の調整がLLMのゼロショット要約能力の鍵であることがわかった。また、LLMsの要約は人間の執筆した要約と同等と判断された。 Commentニュース記事の高品質な要約を人間に作成してもらい、gpt-3.5を用いてLLM-basedな要約も生成 annotatorにそれぞれの要約の品質をスコアリングさせたデータセットを作成 ... #NaturalLanguageGeneration#Pocket#NLP#LanguageModelIssue Date: 2023-09-17 From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting, Griffin Adams+, N_A, arXiv23 Summary要約は詳細でエンティティ中心的でありながら、理解しやすくすることが困難です。この課題を解決するために、私たちは「密度の連鎖」（CoD）プロンプトを使用して、GPT-4の要約を生成します。CoDによって生成された要約は抽象的であり、リードバイアスが少なく、人間に好まれます。また、情報量と読みやすさのトレードオフが存在することも示されました。CoD要約は無料で利用できます。 Comment論文中のprompt例。InformativeなEntityのCoverageを増やすようにイテレーションを回し、各Entityに関する情報（前ステップで不足している情報は補足しながら）を具体的に記述するように要約を生成する。人間が好むEntityのDensityにはある程度の閾値がある模様（でもこ ... #MachineTranslation#NaturalLanguageGeneration#Metrics#Pocket#NLP#Evaluation#LM-based#CoherenceIssue Date: 2023-08-13 DiscoScore: Evaluating Text Generation with BERT and Discourse Coherence, Wei Zhao+, N_A, EACL23 Summary本研究では、文章の一貫性を評価するための新しい指標であるDiscoScoreを紹介します。DiscoScoreはCentering理論に基づいており、BERTを使用して談話の一貫性をモデル化します。実験の結果、DiscoScoreは他の指標よりも人間の評価との相関が高く、システムレベルでの評価でも優れた結果を示しました。さらに、DiscoScoreの重要性とその優位性についても説明されています。 more","headline":"DocumentSummarizationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DocumentSummarization.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DocumentSummarization.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -765,7 +765,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1592,32 +1592,32 @@ <h2 id="documentsummarization">DocumentSummarization</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/EssayScoring.html" title="EssayScoringに関する論文・技術記事メモの一覧">
-            EssayScoringに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NaturalLanguageGeneration.html" title="NaturalLanguageGenerationに関する論文・技術記事メモの一覧">
+            NaturalLanguageGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InteractivePersonalizedSummarization.html" title="InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧">
-            InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Mathematics.html" title="Mathematicsに関する論文・技術記事メモの一覧">
+            Mathematicsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ExplicitFeedback.html" title="ExplicitFeedbackに関する論文・技術記事メモの一覧">
-            ExplicitFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SearchEngine.html" title="SearchEngineに関する論文・技術記事メモの一覧">
+            SearchEngineに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Finetuning.html" title="Finetuningに関する論文・技術記事メモの一覧">
-            Finetuningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/In-ContextLearning.html" title="In-ContextLearningに関する論文・技術記事メモの一覧">
+            In-ContextLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/DomainAdaptation.html b/docs/articles/DomainAdaptation.html
index db741e293..0e7896028 100644
--- a/docs/articles/DomainAdaptation.html
+++ b/docs/articles/DomainAdaptation.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/DomainAdaptation.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="DomainAdaptationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"DomainAdaptation #MachineLearning#UserModelingIssue Date: 2017-12-31 Human Centered NLP with User-Factor Adaptation, Lynn+, EMNLP17 Comment#126 Frustratingly easy domain adaptationをPersonalization用に拡張している。 Frustratingly easy domain adaptationでは、domain adaptationを行うときに、discreteなクラスに分けてfea ... #Single#DocumentSummarization#Document#Supervised#NLP#ExtractiveIssue Date: 2018-01-01 Learning from Numerous Untailored Summaries, Kikuchi+, PRICAI16 CommentNew York Times Annotated Corpus（NYTAC）に含まれる大量の正解要約データを利用する方法を提案。 NYTACには650,000程度の人手で生成された参照要約が付与されているが、このデータを要約の訓練データとして活用した事例はまだ存在しないので、やりましたという話。 ... #MachineLearning#NLPIssue Date: 2017-12-31 Frustratingly easy domain adaptation, Daume, ACL07 Comment![image](https://user-images.githubusercontent.com/12249301/34462211-f3428130-ee81-11e7-8a06-36e66bd19b2f.png) domain adaptationをする際に、Source側のFeatu ... more","headline":"DomainAdaptationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DomainAdaptation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DomainAdaptation.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"DomainAdaptation #MachineLearning#UserModelingIssue Date: 2017-12-31 Human Centered NLP with User-Factor Adaptation, Lynn+, EMNLP17 Comment#126 Frustratingly easy domain adaptationをPersonalization用に拡張している。 Frustratingly easy domain adaptationでは、domain adaptationを行うときに、discreteなクラスに分けてfea ... #Single#DocumentSummarization#Document#Supervised#NLP#ExtractiveIssue Date: 2018-01-01 Learning from Numerous Untailored Summaries, Kikuchi+, PRICAI16 CommentNew York Times Annotated Corpus（NYTAC）に含まれる大量の正解要約データを利用する方法を提案。 NYTACには650,000程度の人手で生成された参照要約が付与されているが、このデータを要約の訓練データとして活用した事例はまだ存在しないので、やりましたという話。 ... #MachineLearning#NLPIssue Date: 2017-12-31 Frustratingly easy domain adaptation, Daume, ACL07 Comment![image](https://user-images.githubusercontent.com/12249301/34462211-f3428130-ee81-11e7-8a06-36e66bd19b2f.png) domain adaptationをする際に、Source側のFeatu ... more","headline":"DomainAdaptationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DomainAdaptation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DomainAdaptation.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1029,32 +1029,32 @@ <h2 id="domainadaptation">DomainAdaptation</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Finetuning.html" title="Finetuningに関する論文・技術記事メモの一覧">
-            Finetuningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/pretrained-LM.html" title="pretrained-LMに関する論文・技術記事メモの一覧">
+            pretrained-LMに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/AdaptiveLearning.html" title="AdaptiveLearningに関する論文・技術記事メモの一覧">
-            AdaptiveLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InformationRetrieval.html" title="InformationRetrievalに関する論文・技術記事メモの一覧">
+            InformationRetrievalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/KnowledgeGraph.html" title="KnowledgeGraphに関する論文・技術記事メモの一覧">
-            KnowledgeGraphに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DiffusionModel.html" title="DiffusionModelに関する論文・技術記事メモの一覧">
+            DiffusionModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PairWise.html" title="PairWiseに関する論文・技術記事メモの一覧">
-            PairWiseに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/A_B%20Testing.html" title="A/B Testingに関する論文・技術記事メモの一覧">
+            A/B Testingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/DropoutPrediction.html b/docs/articles/DropoutPrediction.html
index 19152f03b..1c2472743 100644
--- a/docs/articles/DropoutPrediction.html
+++ b/docs/articles/DropoutPrediction.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/DropoutPrediction.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="DropoutPredictionに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"DropoutPrediction #Neural#AdaptiveLearning#EducationalDataMining#LearningAnalyticsIssue Date: 2022-04-14 Deep Attentive Study Session Dropout Prediction in Mobile Learning Environment, Riiid AI Research, Lee+, arXiv21 Comment従来のdropout研究では、学校のドロップアウトやコースのドロップアウト、MOOCsなどでのドロップアウトが扱われてきたが、モバイル学習環境を考慮した研究はあまり行われてこなかった。モバイル学習環境では着信やソーシャルアプリなど、多くの外敵要因が存在するため、学習セッションのドロップアウトが頻繁に ... #AdaptiveLearning#EducationalDataMining#LearningAnalyticsIssue Date: 2021-10-29 Predicting MOOC Dropout over Weeks Using Machine Learning Methods, EMNLP14 Workshop, Marius Kloft CommentEMNLP&#39;14のWorkshop論文。引用数が120件とかなり多め。MOOCsのclickstreamデータから、numericalなfeatureを作成。SVMに食わせて学習し、Dropout Predictionを行なっている。 psychologyのMOOCコースからデータ収集。12週に渡 ...","headline":"DropoutPredictionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DropoutPrediction.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DropoutPrediction.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"DropoutPrediction #Neural#AdaptiveLearning#EducationalDataMining#LearningAnalyticsIssue Date: 2022-04-14 Deep Attentive Study Session Dropout Prediction in Mobile Learning Environment, Riiid AI Research, Lee+, arXiv21 Comment従来のdropout研究では、学校のドロップアウトやコースのドロップアウト、MOOCsなどでのドロップアウトが扱われてきたが、モバイル学習環境を考慮した研究はあまり行われてこなかった。モバイル学習環境では着信やソーシャルアプリなど、多くの外敵要因が存在するため、学習セッションのドロップアウトが頻繁に ... #AdaptiveLearning#EducationalDataMining#LearningAnalyticsIssue Date: 2021-10-29 Predicting MOOC Dropout over Weeks Using Machine Learning Methods, EMNLP14 Workshop, Marius Kloft CommentEMNLP&#39;14のWorkshop論文。引用数が120件とかなり多め。MOOCsのclickstreamデータから、numericalなfeatureを作成。SVMに食わせて学習し、Dropout Predictionを行なっている。 psychologyのMOOCコースからデータ収集。12週に渡 ...","headline":"DropoutPredictionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DropoutPrediction.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DropoutPrediction.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1015,32 +1015,32 @@ <h2 id="dropoutprediction">DropoutPrediction</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Training-Free.html" title="Training-Freeに関する論文・技術記事メモの一覧">
-            Training-Freeに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TextualInversion.html" title="TextualInversionに関する論文・技術記事メモの一覧">
+            TextualInversionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Interleaved.html" title="Interleavedに関する論文・技術記事メモの一覧">
-            Interleavedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/QuestionAnswering.html" title="QuestionAnsweringに関する論文・技術記事メモの一覧">
+            QuestionAnsweringに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Lambda.html" title="Lambdaに関する論文・技術記事メモの一覧">
-            Lambdaに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Poisoning.html" title="Poisoningに関する論文・技術記事メモの一覧">
+            Poisoningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ExperimentManagement.html" title="ExperimentManagementに関する論文・技術記事メモの一覧">
-            ExperimentManagementに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/FoundationModel.html" title="FoundationModelに関する論文・技術記事メモの一覧">
+            FoundationModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/DynamicNetworks.html b/docs/articles/DynamicNetworks.html
index ca7e7841a..14c25acbd 100644
--- a/docs/articles/DynamicNetworks.html
+++ b/docs/articles/DynamicNetworks.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/DynamicNetworks.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="DynamicNetworksに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"DynamicNetworks #Efficiency/SpeedUp#MachineLearning#NLPIssue Date: 2023-07-18 PAD-Net: An Efficient Framework for Dynamic Networks, ACL23 Summary本研究では、ダイナミックネットワークの一般的な問題点を解決するために、部分的にダイナミックなネットワーク（PAD-Net）を提案します。PAD-Netは、冗長なダイナミックパラメータを静的なパラメータに変換することで、展開コストを削減し、効率的なネットワークを実現します。実験結果では、PAD-Netが画像分類と言語理解のタスクで高い性能を示し、従来のダイナミックネットワークを上回ることを示しました。","headline":"DynamicNetworksに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DynamicNetworks.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DynamicNetworks.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"DynamicNetworks #Efficiency/SpeedUp#MachineLearning#NLPIssue Date: 2023-07-18 PAD-Net: An Efficient Framework for Dynamic Networks, ACL23 Summary本研究では、ダイナミックネットワークの一般的な問題点を解決するために、部分的にダイナミックなネットワーク（PAD-Net）を提案します。PAD-Netは、冗長なダイナミックパラメータを静的なパラメータに変換することで、展開コストを削減し、効率的なネットワークを実現します。実験結果では、PAD-Netが画像分類と言語理解のタスクで高い性能を示し、従来のダイナミックネットワークを上回ることを示しました。","headline":"DynamicNetworksに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/DynamicNetworks.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/DynamicNetworks.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1010,32 +1010,32 @@ <h2 id="dynamicnetworks">DynamicNetworks</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ContextAware.html" title="ContextAwareに関する論文・技術記事メモの一覧">
-            ContextAwareに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TransferLearning.html" title="TransferLearningに関する論文・技術記事メモの一覧">
+            TransferLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/StructuredData.html" title="StructuredDataに関する論文・技術記事メモの一覧">
-            StructuredDataに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/RuleBased.html" title="RuleBasedに関する論文・技術記事メモの一覧">
+            RuleBasedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InstructionTuning.html" title="InstructionTuningに関する論文・技術記事メモの一覧">
-            InstructionTuningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Embed.html" title="Embedに関する論文・技術記事メモの一覧">
+            Embedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Speech.html" title="Speechに関する論文・技術記事メモの一覧">
-            Speechに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LanguageModel.html" title="LanguageModelに関する論文・技術記事メモの一覧">
+            LanguageModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/ECS.html b/docs/articles/ECS.html
index d2c7beef9..df9e3f642 100644
--- a/docs/articles/ECS.html
+++ b/docs/articles/ECS.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/ECS.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="ECSに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"ECS #Article#AWS#InfrastructureIssue Date: 2023-04-16 ECS tips Commentキャパシティプロバイダーについて https://dev.classmethod.jp/articles/regrwoth-capacity-provider/Fargateをスポットで7割引で使うFargate Spotとは？ #reinvent https://dev.classmeth ...","headline":"ECSに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ECS.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ECS.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"ECS #Article#AWS#InfrastructureIssue Date: 2023-04-16 ECS tips Commentキャパシティプロバイダーについて https://dev.classmethod.jp/articles/regrwoth-capacity-provider/Fargateをスポットで7割引で使うFargate Spotとは？ #reinvent https://dev.classmeth ...","headline":"ECSに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ECS.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ECS.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1012,32 +1012,32 @@ <h2 id="ecs">ECS</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Online_Interactive.html" title="Online/Interactiveに関する論文・技術記事メモの一覧">
-            Online/Interactiveに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ReadingComprehension.html" title="ReadingComprehensionに関する論文・技術記事メモの一覧">
+            ReadingComprehensionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/AudioProcessing.html" title="AudioProcessingに関する論文・技術記事メモの一覧">
-            AudioProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DialogueGeneration.html" title="DialogueGenerationに関する論文・技術記事メモの一覧">
+            DialogueGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/IRT.html" title="IRTに関する論文・技術記事メモの一覧">
-            IRTに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Contents-based.html" title="Contents-basedに関する論文・技術記事メモの一覧">
+            Contents-basedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ContextWindow.html" title="ContextWindowに関する論文・技術記事メモの一覧">
-            ContextWindowに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ScorePrediction.html" title="ScorePredictionに関する論文・技術記事メモの一覧">
+            ScorePredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Education.html b/docs/articles/Education.html
index a0cf679b0..f43ff7675 100644
--- a/docs/articles/Education.html
+++ b/docs/articles/Education.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Education.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Educationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Education #NLP#EducationalDataMining#QuestionGenerationIssue Date: 2023-07-15 Covering Uncommon Ground: Gap-Focused Question Generation for Answer Assessment, ACL23 Summary本研究では、教育的な対話における情報のギャップに焦点を当て、自動的に質問を生成する問題に取り組んでいます。良い質問の要素を明確にし、それを満たすモデルを提案します。また、人間のアノテーターによる評価を行い、生成された質問の競争力を示します。 #NaturalLanguageGeneration#NLP#AdaptiveLearning#KnowledgeTracing#Personalization#QuestionGenerationIssue Date: 2023-07-14 Adaptive and Personalized Exercise Generation for Online Language Learning, ACL23 Summary本研究では、オンライン言語学習のための適応的な演習生成の新しいタスクを研究しました。学習履歴から学生の知識状態を推定し、その状態に基づいて個別化された演習文を生成するモデルを提案しました。実データを用いた実験結果から、学生の状態に応じた演習を生成できることを示しました。さらに、教育アプリケーションでの利用方法についても議論し、学習の効率化を促進できる可能性を示しました。 CommentKnowledge Tracingで推定された習熟度に基づいて、エクササイズを自動生成する研究。KTとNLGが組み合わさっており、非常におもしろい。 ... #LanguageModelIssue Date: 2023-07-11 Generative AI for Programming Education: Benchmarking ChatGPT, GPT-4, and Human Tutors, Tung Phung+, N_A, arXiv23 Summary生成AIと大規模言語モデルは、プログラミング教育の向上に大きな可能性を持っています。しかし、これまでの研究は限定的であり、包括的なプログラミング教育シナリオのための最先端モデルのベンチマークが不足しています。本研究では、ChatGPTとGPT-4の2つのモデルを評価し、人間のチューターとのパフォーマンスを比較しました。結果は、GPT-4がChatGPTを大幅に上回り、一部のシナリオでは人間のチューターに近づいていることを示しています。また、GPT-4の改善のための興味深い方向性も提案されています。 CommentGPT4とGPT3.5をプログラミング教育の文脈で評価したところ、GPT4AGPT3.5をoutperformし、人間のチューターに肉薄した。 ... more","headline":"Educationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Education.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Education.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Education #NLP#EducationalDataMining#QuestionGenerationIssue Date: 2023-07-15 Covering Uncommon Ground: Gap-Focused Question Generation for Answer Assessment, ACL23 Summary本研究では、教育的な対話における情報のギャップに焦点を当て、自動的に質問を生成する問題に取り組んでいます。良い質問の要素を明確にし、それを満たすモデルを提案します。また、人間のアノテーターによる評価を行い、生成された質問の競争力を示します。 #NaturalLanguageGeneration#NLP#AdaptiveLearning#KnowledgeTracing#Personalization#QuestionGenerationIssue Date: 2023-07-14 Adaptive and Personalized Exercise Generation for Online Language Learning, ACL23 Summary本研究では、オンライン言語学習のための適応的な演習生成の新しいタスクを研究しました。学習履歴から学生の知識状態を推定し、その状態に基づいて個別化された演習文を生成するモデルを提案しました。実データを用いた実験結果から、学生の状態に応じた演習を生成できることを示しました。さらに、教育アプリケーションでの利用方法についても議論し、学習の効率化を促進できる可能性を示しました。 CommentKnowledge Tracingで推定された習熟度に基づいて、エクササイズを自動生成する研究。KTとNLGが組み合わさっており、非常におもしろい。 ... #LanguageModelIssue Date: 2023-07-11 Generative AI for Programming Education: Benchmarking ChatGPT, GPT-4, and Human Tutors, Tung Phung+, N_A, arXiv23 Summary生成AIと大規模言語モデルは、プログラミング教育の向上に大きな可能性を持っています。しかし、これまでの研究は限定的であり、包括的なプログラミング教育シナリオのための最先端モデルのベンチマークが不足しています。本研究では、ChatGPTとGPT-4の2つのモデルを評価し、人間のチューターとのパフォーマンスを比較しました。結果は、GPT-4がChatGPTを大幅に上回り、一部のシナリオでは人間のチューターに近づいていることを示しています。また、GPT-4の改善のための興味深い方向性も提案されています。 CommentGPT4とGPT3.5をプログラミング教育の文脈で評価したところ、GPT4AGPT3.5をoutperformし、人間のチューターに肉薄した。 ... more","headline":"Educationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Education.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Education.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1062,32 +1062,32 @@ <h2 id="education">Education</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Comments.html" title="Commentsに関する論文・技術記事メモの一覧">
-            Commentsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/StructuredData.html" title="StructuredDataに関する論文・技術記事メモの一覧">
+            StructuredDataに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ExperimentManagement.html" title="ExperimentManagementに関する論文・技術記事メモの一覧">
-            ExperimentManagementに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Adapter_LoRA.html" title="Adapter/LoRAに関する論文・技術記事メモの一覧">
+            Adapter/LoRAに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Zero_Few-shot.html" title="Zero/Few-shotに関する論文・技術記事メモの一覧">
-            Zero/Few-shotに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Visual%20Words.html" title="Visual Wordsに関する論文・技術記事メモの一覧">
+            Visual Wordsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/QueryBiased.html" title="QueryBiasedに関する論文・技術記事メモの一覧">
-            QueryBiasedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ECS.html" title="ECSに関する論文・技術記事メモの一覧">
+            ECSに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/EducationalDataMining.html b/docs/articles/EducationalDataMining.html
index de97db59c..050adac85 100644
--- a/docs/articles/EducationalDataMining.html
+++ b/docs/articles/EducationalDataMining.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/EducationalDataMining.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="EducationalDataMiningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"EducationalDataMining #NLP#Education#QuestionGenerationIssue Date: 2023-07-15 Covering Uncommon Ground: Gap-Focused Question Generation for Answer Assessment, ACL23 Summary本研究では、教育的な対話における情報のギャップに焦点を当て、自動的に質問を生成する問題に取り組んでいます。良い質問の要素を明確にし、それを満たすモデルを提案します。また、人間のアノテーターによる評価を行い、生成された質問の競争力を示します。 #Neural#AdaptiveLearning#KnowledgeTracingIssue Date: 2022-08-26 Using Neural Network-Based Knowledge Tracing for a Learning System with Unreliable Skill Tags, Karumbaiah+, （w_ Ryan Baker）, EDM22 Comment超重要論文。しっかり読むべき# 一言で言うと KTを利用することを最初から念頭に置いていなかったシステムでは、問題に対して事後的にスキルをマッピングする作業が生じてしまい、これは非常に困難なことが多い。論文中で使用したアメリカの商用の数学のblended learningのシステムのデータでは、途中 ... #Survey#Pocket#AdaptiveLearning#KnowledgeTracingIssue Date: 2022-08-02 Knowledge Tracing: A Survey, ABDELRAHMAN+, Australian National University, arXiv22 more","headline":"EducationalDataMiningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/EducationalDataMining.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/EducationalDataMining.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"EducationalDataMining #NLP#Education#QuestionGenerationIssue Date: 2023-07-15 Covering Uncommon Ground: Gap-Focused Question Generation for Answer Assessment, ACL23 Summary本研究では、教育的な対話における情報のギャップに焦点を当て、自動的に質問を生成する問題に取り組んでいます。良い質問の要素を明確にし、それを満たすモデルを提案します。また、人間のアノテーターによる評価を行い、生成された質問の競争力を示します。 #Neural#AdaptiveLearning#KnowledgeTracingIssue Date: 2022-08-26 Using Neural Network-Based Knowledge Tracing for a Learning System with Unreliable Skill Tags, Karumbaiah+, （w_ Ryan Baker）, EDM22 Comment超重要論文。しっかり読むべき# 一言で言うと KTを利用することを最初から念頭に置いていなかったシステムでは、問題に対して事後的にスキルをマッピングする作業が生じてしまい、これは非常に困難なことが多い。論文中で使用したアメリカの商用の数学のblended learningのシステムのデータでは、途中 ... #Survey#Pocket#AdaptiveLearning#KnowledgeTracingIssue Date: 2022-08-02 Knowledge Tracing: A Survey, ABDELRAHMAN+, Australian National University, arXiv22 more","headline":"EducationalDataMiningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/EducationalDataMining.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/EducationalDataMining.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1210,32 +1210,32 @@ <h2 id="educationaldatamining">EducationalDataMining</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/StudentPerformancePrediction.html" title="StudentPerformancePredictionに関する論文・技術記事メモの一覧">
-            StudentPerformancePredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Neural.html" title="Neuralに関する論文・技術記事メモの一覧">
+            Neuralに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/KnowledgeGraph.html" title="KnowledgeGraphに関する論文・技術記事メモの一覧">
-            KnowledgeGraphに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PPO.html" title="PPOに関する論文・技術記事メモの一覧">
+            PPOに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Composition.html" title="Compositionに関する論文・技術記事メモの一覧">
-            Compositionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Ensemble.html" title="Ensembleに関する論文・技術記事メモの一覧">
+            Ensembleに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ScorePrediction.html" title="ScorePredictionに関する論文・技術記事メモの一覧">
-            ScorePredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/python.html" title="pythonに関する論文・技術記事メモの一覧">
+            pythonに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Efficiency_SpeedUp.html b/docs/articles/Efficiency_SpeedUp.html
index 3ca071d4e..a80d8c783 100644
--- a/docs/articles/Efficiency_SpeedUp.html
+++ b/docs/articles/Efficiency_SpeedUp.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Efficiency_SpeedUp.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Efficiency/SpeedUpに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Efficiency/SpeedUp #Pocket#NLP#LanguageModel#OpenLLMIssue Date: 2024-04-23 Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone, Marah Abdin+, N_A, arXiv24 Summaryphi-3-miniは38億パラメータの言語モデルであり、3.3兆トークンで訓練されています。Mixtral 8x7BやGPT-3.5などの大規模モデルに匹敵する総合的なパフォーマンスを持ちながら、スマートフォンにデプロイ可能なサイズです。このモデルは、厳密にフィルタリングされたWebデータと合成データで構成されており、堅牢性、安全性、およびチャット形式に適合しています。また、phi-3-smallとphi-3-mediumというより大規模なモデルも紹介されています。 Comment#1039 の次の次（Phi2.0についてはメモってなかった）。スマホにデプロイできるレベルのサイズで、GPT3.5Turbo程度の性能を実現したらしいLlama2と同じブロックを利用しているため、アーキテクチャはLlama2と共通。 ... #Pocket#NLP#LanguageModel#PruningIssue Date: 2024-04-22 The Unreasonable Ineffectiveness of the Deeper Layers, Andrey Gromov+, N_A, arXiv24 Summary一般的なオープンウェイトの事前学習されたLLMのレイヤー剪定戦略を研究し、異なる質問応答ベンチマークでのパフォーマンスの低下を最小限に抑えることを示しました。レイヤーの最大半分を削除することで、最適なブロックを特定し、微調整して損傷を修復します。PEFT手法を使用し、実験を単一のA100 GPUで実行可能にします。これにより、計算リソースを削減し、推論のメモリとレイテンシを改善できることが示唆されます。また、LLMがレイヤーの削除に対して堅牢であることは、浅いレイヤーが知識を格納する上で重要な役割を果たしている可能性を示唆しています。 Comment下記ツイートによると、学習済みLLMから、コサイン類似度で入出力間の類似度が高い層を除いてもタスクの精度が落ちず、特に深い層を2-4割削除しても精度が落ちないとのこと。参考:https://x.com/hillbig/status/1773110076502368642?s=46&t=Y6UuI ... #Pocket#NLP#LanguageModel#TransformerIssue Date: 2024-04-07 Mixture-of-Depths: Dynamically allocating compute in transformer-based language models, David Raposo+, N_A, arXiv24 SummaryTransformerベースの言語モデルは、入力シーケンス全体に均等にFLOPsを分散させる代わりに、特定の位置にFLOPsを動的に割り当てることを学習できることを示す。モデルの深さにわたって割り当てを最適化するために、異なるレイヤーで計算を動的に割り当てる。この手法は、トークンの数を制限することで合計計算予算を強制し、トークンはtop-kルーティングメカニズムを使用して決定される。この方法により、FLOPsを均等に消費しつつ、計算の支出が予測可能であり、動的かつコンテキストに敏感である。このようにトレーニングされたモデルは、計算を動的に割り当てることを学習し、効率的に行うことができる。 Comment参考: https://x.com/theseamouse/status/1775782800362242157?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... more","headline":"Efficiency/SpeedUpに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Efficiency_SpeedUp.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Efficiency_SpeedUp.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Efficiency/SpeedUp #Pocket#NLP#LanguageModel#OpenLLMIssue Date: 2024-04-23 Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone, Marah Abdin+, N_A, arXiv24 Summaryphi-3-miniは38億パラメータの言語モデルであり、3.3兆トークンで訓練されています。Mixtral 8x7BやGPT-3.5などの大規模モデルに匹敵する総合的なパフォーマンスを持ちながら、スマートフォンにデプロイ可能なサイズです。このモデルは、厳密にフィルタリングされたWebデータと合成データで構成されており、堅牢性、安全性、およびチャット形式に適合しています。また、phi-3-smallとphi-3-mediumというより大規模なモデルも紹介されています。 Comment#1039 の次の次（Phi2.0についてはメモってなかった）。スマホにデプロイできるレベルのサイズで、GPT3.5Turbo程度の性能を実現したらしいLlama2と同じブロックを利用しているため、アーキテクチャはLlama2と共通。 ... #Pocket#NLP#LanguageModel#PruningIssue Date: 2024-04-22 The Unreasonable Ineffectiveness of the Deeper Layers, Andrey Gromov+, N_A, arXiv24 Summary一般的なオープンウェイトの事前学習されたLLMのレイヤー剪定戦略を研究し、異なる質問応答ベンチマークでのパフォーマンスの低下を最小限に抑えることを示しました。レイヤーの最大半分を削除することで、最適なブロックを特定し、微調整して損傷を修復します。PEFT手法を使用し、実験を単一のA100 GPUで実行可能にします。これにより、計算リソースを削減し、推論のメモリとレイテンシを改善できることが示唆されます。また、LLMがレイヤーの削除に対して堅牢であることは、浅いレイヤーが知識を格納する上で重要な役割を果たしている可能性を示唆しています。 Comment下記ツイートによると、学習済みLLMから、コサイン類似度で入出力間の類似度が高い層を除いてもタスクの精度が落ちず、特に深い層を2-4割削除しても精度が落ちないとのこと。参考:https://x.com/hillbig/status/1773110076502368642?s=46&t=Y6UuI ... #Pocket#NLP#LanguageModel#TransformerIssue Date: 2024-04-07 Mixture-of-Depths: Dynamically allocating compute in transformer-based language models, David Raposo+, N_A, arXiv24 SummaryTransformerベースの言語モデルは、入力シーケンス全体に均等にFLOPsを分散させる代わりに、特定の位置にFLOPsを動的に割り当てることを学習できることを示す。モデルの深さにわたって割り当てを最適化するために、異なるレイヤーで計算を動的に割り当てる。この手法は、トークンの数を制限することで合計計算予算を強制し、トークンはtop-kルーティングメカニズムを使用して決定される。この方法により、FLOPsを均等に消費しつつ、計算の支出が予測可能であり、動的かつコンテキストに敏感である。このようにトレーニングされたモデルは、計算を動的に割り当てることを学習し、効率的に行うことができる。 Comment参考: https://x.com/theseamouse/status/1775782800362242157?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... more","headline":"Efficiency/SpeedUpに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Efficiency_SpeedUp.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Efficiency_SpeedUp.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -765,7 +765,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1152,32 +1152,32 @@ <h2 id="efficiencyspeedup">Efficiency/SpeedUp</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Dataset.html" title="Datasetに関する論文・技術記事メモの一覧">
-            Datasetに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/KnowledgeGraph.html" title="KnowledgeGraphに関する論文・技術記事メモの一覧">
+            KnowledgeGraphに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Snippets.html" title="Snippetsに関する論文・技術記事メモの一覧">
-            Snippetsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LearningAnalytics.html" title="LearningAnalyticsに関する論文・技術記事メモの一覧">
+            LearningAnalyticsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Conversation.html" title="Conversationに関する論文・技術記事メモの一覧">
-            Conversationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NewsRecommendation.html" title="NewsRecommendationに関する論文・技術記事メモの一覧">
+            NewsRecommendationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Interleaved.html" title="Interleavedに関する論文・技術記事メモの一覧">
-            Interleavedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AdaptiveLearning.html" title="AdaptiveLearningに関する論文・技術記事メモの一覧">
+            AdaptiveLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Embed.html b/docs/articles/Embed.html
index 693438e5f..d63502011 100644
--- a/docs/articles/Embed.html
+++ b/docs/articles/Embed.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Embed.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Embedに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Embed #Sentence#Pocket#NLP#LanguageModel#ContrastiveLearningIssue Date: 2023-07-27 SimCSE: Simple Contrastive Learning of Sentence Embeddings, Tianyu Gao+, N_A, EMNLP21 Summaryこの論文では、SimCSEという対比学習フレームワークを提案しています。このフレームワークは、文の埋め込み技術を進化させることができます。教師なしアプローチでは、入力文をノイズとして扱い、自己を対比的に予測します。教師ありアプローチでは、自然言語推論データセットから注釈付きのペアを使用して対比学習を行います。SimCSEは、意味的テキスト類似性タスクで評価され、以前の手法と比較して改善を実現しました。対比学習は、事前学習された埋め込みの空間を均一に正則化し、教師信号が利用可能な場合には正のペアをよりよく整列させることが示されました。 Comment#462 よりも性能良く、unsupervisedでも学習できる。STSタスクのベースラインにだいたい入ってる# 手法概要 Contrastive Learningを活用して、unsupervised/supervisedに学習を実施する。 Unsupervised SimCSEでは、あるsente ... #Neural#NLP#RepresentationLearningIssue Date: 2022-06-08 Deep contextualized word representations, Peters+, Allen Institute for Artificial intelligence, NAACL18 CommentELMo論文。通常のword embeddingでは一つの単語につき一つの意味しか持たせられなかったが、文脈に応じて異なる意味を表現できるようなEmbeddingを実現し（同じ単語でも文脈に応じて意味が変わったりするので。たとえばrightは文脈に応じて右なのか、正しいなのか、権利なのか意味が変わs ... #Pocket#NLP#UserModelingIssue Date: 2018-01-01 Multi-View Unsupervised User Feature Embedding for Social Media-based Substance Use Prediction, Ding+, EMNLP17 more","headline":"Embedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Embed.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Embed.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Embed #Sentence#Pocket#NLP#LanguageModel#ContrastiveLearningIssue Date: 2023-07-27 SimCSE: Simple Contrastive Learning of Sentence Embeddings, Tianyu Gao+, N_A, EMNLP21 Summaryこの論文では、SimCSEという対比学習フレームワークを提案しています。このフレームワークは、文の埋め込み技術を進化させることができます。教師なしアプローチでは、入力文をノイズとして扱い、自己を対比的に予測します。教師ありアプローチでは、自然言語推論データセットから注釈付きのペアを使用して対比学習を行います。SimCSEは、意味的テキスト類似性タスクで評価され、以前の手法と比較して改善を実現しました。対比学習は、事前学習された埋め込みの空間を均一に正則化し、教師信号が利用可能な場合には正のペアをよりよく整列させることが示されました。 Comment#462 よりも性能良く、unsupervisedでも学習できる。STSタスクのベースラインにだいたい入ってる# 手法概要 Contrastive Learningを活用して、unsupervised/supervisedに学習を実施する。 Unsupervised SimCSEでは、あるsente ... #Neural#NLP#RepresentationLearningIssue Date: 2022-06-08 Deep contextualized word representations, Peters+, Allen Institute for Artificial intelligence, NAACL18 CommentELMo論文。通常のword embeddingでは一つの単語につき一つの意味しか持たせられなかったが、文脈に応じて異なる意味を表現できるようなEmbeddingを実現し（同じ単語でも文脈に応じて意味が変わったりするので。たとえばrightは文脈に応じて右なのか、正しいなのか、権利なのか意味が変わs ... #Pocket#NLP#UserModelingIssue Date: 2018-01-01 Multi-View Unsupervised User Feature Embedding for Social Media-based Substance Use Prediction, Ding+, EMNLP17 more","headline":"Embedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Embed.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Embed.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1076,32 +1076,32 @@ <h2 id="embed">Embed</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/AutomaticPromptEngineering.html" title="AutomaticPromptEngineeringに関する論文・技術記事メモの一覧">
-            AutomaticPromptEngineeringに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Evaluation.html" title="Evaluationに関する論文・技術記事メモの一覧">
+            Evaluationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Session.html" title="Sessionに関する論文・技術記事メモの一覧">
-            Sessionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/review.html" title="reviewに関する論文・技術記事メモの一覧">
+            reviewに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/VariationalAutoEncoder.html" title="VariationalAutoEncoderに関する論文・技術記事メモの一覧">
-            VariationalAutoEncoderに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/WebSearch.html" title="WebSearchに関する論文・技術記事メモの一覧">
+            WebSearchに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Reference-based.html" title="Reference-basedに関する論文・技術記事メモの一覧">
-            Reference-basedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/FoundationModel.html" title="FoundationModelに関する論文・技術記事メモの一覧">
+            FoundationModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Ensemble.html b/docs/articles/Ensemble.html
index b0133cda0..01a327d87 100644
--- a/docs/articles/Ensemble.html
+++ b/docs/articles/Ensemble.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Ensemble.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Ensembleに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Ensemble #NLP#LanguageModelIssue Date: 2023-07-15 Multi-CLS BERT: An Efficient Alternative to Traditional Ensembling, ACL23 Summary本研究では、BERTモデルのアンサンブル手法であるMulti-CLS BERTを提案します。Multi-CLS BERTは、複数のCLSトークンを使用して多様性を促進し、単一のモデルを微調整するだけでアンサンブル効果を得ることができます。実験結果では、Multi-CLS BERTがGLUEとSuperGLUEのタスクで全体的な精度と信頼度の推定を向上させることが示されました。また、通常のBERTアンサンブルとほぼ同等の性能を持ちながら、計算量とメモリ使用量が約4倍少なくなっていることも示されました。 #Efficiency/SpeedUp#NLP#TransferLearningIssue Date: 2023-07-14 Parameter-efficient Weight Ensembling Facilitates Task-level Knowledge Transfer, ACL23 Summary最近の研究では、大規模な事前学習済み言語モデルを特定のタスクに効果的に適応させることができることが示されています。本研究では、軽量なパラメータセットを使用してタスク間で知識を転送する方法を探求し、その有効性を検証しました。実験結果は、提案手法がベースラインに比べて5％〜8％の改善を示し、タスクレベルの知識転送を大幅に促進できることを示しています。","headline":"Ensembleに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Ensemble.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Ensemble.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Ensemble #NLP#LanguageModelIssue Date: 2023-07-15 Multi-CLS BERT: An Efficient Alternative to Traditional Ensembling, ACL23 Summary本研究では、BERTモデルのアンサンブル手法であるMulti-CLS BERTを提案します。Multi-CLS BERTは、複数のCLSトークンを使用して多様性を促進し、単一のモデルを微調整するだけでアンサンブル効果を得ることができます。実験結果では、Multi-CLS BERTがGLUEとSuperGLUEのタスクで全体的な精度と信頼度の推定を向上させることが示されました。また、通常のBERTアンサンブルとほぼ同等の性能を持ちながら、計算量とメモリ使用量が約4倍少なくなっていることも示されました。 #Efficiency/SpeedUp#NLP#TransferLearningIssue Date: 2023-07-14 Parameter-efficient Weight Ensembling Facilitates Task-level Knowledge Transfer, ACL23 Summary最近の研究では、大規模な事前学習済み言語モデルを特定のタスクに効果的に適応させることができることが示されています。本研究では、軽量なパラメータセットを使用してタスク間で知識を転送する方法を探求し、その有効性を検証しました。実験結果は、提案手法がベースラインに比べて5％〜8％の改善を示し、タスクレベルの知識転送を大幅に促進できることを示しています。","headline":"Ensembleに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Ensemble.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Ensemble.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1013,32 +1013,32 @@ <h2 id="ensemble">Ensemble</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/TextToImage.html" title="TextToImageに関する論文・技術記事メモの一覧">
-            TextToImageに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SearchEngine.html" title="SearchEngineに関する論文・技術記事メモの一覧">
+            SearchEngineに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/SentimentAnalysis.html" title="SentimentAnalysisに関する論文・技術記事メモの一覧">
-            SentimentAnalysisに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ImageSegmentation.html" title="ImageSegmentationに関する論文・技術記事メモの一覧">
+            ImageSegmentationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/WebSearch.html" title="WebSearchに関する論文・技術記事メモの一覧">
-            WebSearchに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InformationRetrieval.html" title="InformationRetrievalに関する論文・技術記事メモの一覧">
+            InformationRetrievalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/FactualConsistency.html" title="FactualConsistencyに関する論文・技術記事メモの一覧">
-            FactualConsistencyに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Snippets.html" title="Snippetsに関する論文・技術記事メモの一覧">
+            Snippetsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/EssayScoring.html b/docs/articles/EssayScoring.html
index e19880cae..74037d718 100644
--- a/docs/articles/EssayScoring.html
+++ b/docs/articles/EssayScoring.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/EssayScoring.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="EssayScoringに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"EssayScoring #General#NLP#RepresentationLearningIssue Date: 2023-07-18 Improving Domain Generalization for Prompt-Aware Essay Scoring via Disentangled Representation Learning, ACL23 Summary自動エッセイスコアリング（AES）は、エッセイを評価するためのモデルですが、既存のモデルは特定のプロンプトにしか適用できず、新しいプロンプトに対してはうまく汎化できません。この研究では、プロンプトに依存しない特徴とプロンプト固有の特徴を抽出するためのニューラルAESモデルを提案し、表現の汎化を改善するための分離表現学習フレームワークを提案しています。ASAPとTOEFL11のデータセットでの実験結果は、提案手法の有効性を示しています。 #NLP#LanguageModel#Education#ChatGPTIssue Date: 2023-04-28 AI, write an essay for me: A large-scale comparison of human-written versus ChatGPT-generated essays, Herbold+, University of Passau, arXiv23 CommentChatGPTは人間が書いたエッセイよりも高品質なエッセイが書けることを示した。 また、AIモデルの文体は、人間が書いたエッセイとは異なる言語的特徴を示している。たとえば、談話や認識マーカーが少ないが、名詞化が多く、語彙の多様性が高いという特徴がある、とのこと。 ![image](https ... #Article#NLP#LanguageModel#EducationIssue Date: 2023-04-01 Exploring the Potential of Using an AI Language Model for Automated Essay Scoring, Mizumoto+, Research Methods in Applied Linguistics‘23 Comment著者によるポスト: https://twitter.com/mizumotoatsushi/status/1641754298496471040?s=46&t=TIr1-wDC_j5MPU3TvCVWMg著者によるブログ: https://mizumot.com/lablog/archives/18 ...","headline":"EssayScoringに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/EssayScoring.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/EssayScoring.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"EssayScoring #General#NLP#RepresentationLearningIssue Date: 2023-07-18 Improving Domain Generalization for Prompt-Aware Essay Scoring via Disentangled Representation Learning, ACL23 Summary自動エッセイスコアリング（AES）は、エッセイを評価するためのモデルですが、既存のモデルは特定のプロンプトにしか適用できず、新しいプロンプトに対してはうまく汎化できません。この研究では、プロンプトに依存しない特徴とプロンプト固有の特徴を抽出するためのニューラルAESモデルを提案し、表現の汎化を改善するための分離表現学習フレームワークを提案しています。ASAPとTOEFL11のデータセットでの実験結果は、提案手法の有効性を示しています。 #NLP#LanguageModel#Education#ChatGPTIssue Date: 2023-04-28 AI, write an essay for me: A large-scale comparison of human-written versus ChatGPT-generated essays, Herbold+, University of Passau, arXiv23 CommentChatGPTは人間が書いたエッセイよりも高品質なエッセイが書けることを示した。 また、AIモデルの文体は、人間が書いたエッセイとは異なる言語的特徴を示している。たとえば、談話や認識マーカーが少ないが、名詞化が多く、語彙の多様性が高いという特徴がある、とのこと。 ![image](https ... #Article#NLP#LanguageModel#EducationIssue Date: 2023-04-01 Exploring the Potential of Using an AI Language Model for Automated Essay Scoring, Mizumoto+, Research Methods in Applied Linguistics‘23 Comment著者によるポスト: https://twitter.com/mizumotoatsushi/status/1641754298496471040?s=46&t=TIr1-wDC_j5MPU3TvCVWMg著者によるブログ: https://mizumot.com/lablog/archives/18 ...","headline":"EssayScoringに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/EssayScoring.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/EssayScoring.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1020,32 +1020,32 @@ <h2 id="essayscoring">EssayScoring</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Article.html" title="Articleに関する論文・技術記事メモの一覧">
-            Articleに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Annotation.html" title="Annotationに関する論文・技術記事メモの一覧">
+            Annotationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RecommenderSystems.html" title="RecommenderSystemsに関する論文・技術記事メモの一覧">
-            RecommenderSystemsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Explanation.html" title="Explanationに関する論文・技術記事メモの一覧">
+            Explanationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DocumentSummarization.html" title="DocumentSummarizationに関する論文・技術記事メモの一覧">
-            DocumentSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Analysis.html" title="Analysisに関する論文・技術記事メモの一覧">
+            Analysisに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InformationRetrieval.html" title="InformationRetrievalに関する論文・技術記事メモの一覧">
-            InformationRetrievalに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Pretraining.html" title="Pretrainingに関する論文・技術記事メモの一覧">
+            Pretrainingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Evaluation.html b/docs/articles/Evaluation.html
index 9250f0aaf..7b92ee32b 100644
--- a/docs/articles/Evaluation.html
+++ b/docs/articles/Evaluation.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Evaluation.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Evaluationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Evaluation #Survey#Pocket#Spoken Language Processing#FoundationModel#SpeechIssue Date: 2024-04-21 A Large-Scale Evaluation of Speech Foundation Models, Shu-wen Yang+, N_A, arXiv24 Summary基盤モデルパラダイムは、共有基盤モデルを使用して最先端のパフォーマンスを達成し、下流特有のモデリングやデータ注釈を最小限に抑えることを目指す。このアプローチは、自然言語処理（NLP）の分野で成功しているが、音声処理分野では類似したセットアップが不足している。本研究では、音声処理ユニバーサルパフォーマンスベンチマーク（SUPERB）を設立し、音声に対する基盤モデルパラダイムの効果を調査する。凍結された基盤モデルに続いて、タスク専用の軽量な予測ヘッドを使用して、SUPERB内の音声処理タスクに取り組むための統一されたマルチタスキングフレームワークを提案する。結果は、基盤モデルパラダイムが音声に有望であり、提案されたマルチタスキングフレームワークが効果的であることを示し、最も優れた基盤モデルがほとんどのSUPERBタスクで競争力のある汎化性能を持つことを示している。 CommentSpeech関連のFoundation Modelの評価結果が載っているらしい。図は下記ツイートより引用参考:https://x.com/unilightwf/status/1781659340065345766?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Survey#NaturalLanguageGeneration#Pocket#NLP#LLM-as-a-JudgeIssue Date: 2024-01-24 Leveraging Large Language Models for NLG Evaluation: A Survey, Zhen Li+, N_A, arXiv24 Summary本研究は、大規模言語モデル（LLMs）を使用した自然言語生成（NLG）の評価についての包括的な概要を提供します。既存の評価指標を整理し、LLMベースの手法を比較するためのフレームワークを提案します。さらに、未解決の課題についても議論し、より公正で高度なNLG評価技術を提唱します。 Comment重要 ... #Pocket#NLP#LanguageModel#LLM-as-a-JudgeIssue Date: 2024-01-25 G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment, Yang Liu+, N_A, EMNLP23 Summary従来の参照ベースの評価指標では、自然言語生成システムの品質を正確に測定することが難しい。最近の研究では、大規模言語モデル（LLMs）を使用した参照ベースの評価指標が提案されているが、まだ人間との一致度が低い。本研究では、G-Evalという大規模言語モデルを使用した品質評価フレームワークを提案し、要約と対話生成のタスクで実験を行った。G-Evalは従来の手法を大幅に上回る結果を示し、LLMベースの評価器の潜在的な問題についても分析している。コードはGitHubで公開されている。 Comment伝統的なNLGの性能指標が、人間の判断との相関が低いことを示した研究# 手法概要 CoTを利用して、生成されたテキストの品質を評価する手法を提案している。 タスクのIntroductionと、評価のCriteriaをプロンプトに仕込むだけで、自動的にLLMに評価ステップに関するCoTを生成させ、最終 ... more","headline":"Evaluationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Evaluation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Evaluation.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Evaluation #Survey#Pocket#Spoken Language Processing#FoundationModel#SpeechIssue Date: 2024-04-21 A Large-Scale Evaluation of Speech Foundation Models, Shu-wen Yang+, N_A, arXiv24 Summary基盤モデルパラダイムは、共有基盤モデルを使用して最先端のパフォーマンスを達成し、下流特有のモデリングやデータ注釈を最小限に抑えることを目指す。このアプローチは、自然言語処理（NLP）の分野で成功しているが、音声処理分野では類似したセットアップが不足している。本研究では、音声処理ユニバーサルパフォーマンスベンチマーク（SUPERB）を設立し、音声に対する基盤モデルパラダイムの効果を調査する。凍結された基盤モデルに続いて、タスク専用の軽量な予測ヘッドを使用して、SUPERB内の音声処理タスクに取り組むための統一されたマルチタスキングフレームワークを提案する。結果は、基盤モデルパラダイムが音声に有望であり、提案されたマルチタスキングフレームワークが効果的であることを示し、最も優れた基盤モデルがほとんどのSUPERBタスクで競争力のある汎化性能を持つことを示している。 CommentSpeech関連のFoundation Modelの評価結果が載っているらしい。図は下記ツイートより引用参考:https://x.com/unilightwf/status/1781659340065345766?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Survey#NaturalLanguageGeneration#Pocket#NLP#LLM-as-a-JudgeIssue Date: 2024-01-24 Leveraging Large Language Models for NLG Evaluation: A Survey, Zhen Li+, N_A, arXiv24 Summary本研究は、大規模言語モデル（LLMs）を使用した自然言語生成（NLG）の評価についての包括的な概要を提供します。既存の評価指標を整理し、LLMベースの手法を比較するためのフレームワークを提案します。さらに、未解決の課題についても議論し、より公正で高度なNLG評価技術を提唱します。 Comment重要 ... #Pocket#NLP#LanguageModel#LLM-as-a-JudgeIssue Date: 2024-01-25 G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment, Yang Liu+, N_A, EMNLP23 Summary従来の参照ベースの評価指標では、自然言語生成システムの品質を正確に測定することが難しい。最近の研究では、大規模言語モデル（LLMs）を使用した参照ベースの評価指標が提案されているが、まだ人間との一致度が低い。本研究では、G-Evalという大規模言語モデルを使用した品質評価フレームワークを提案し、要約と対話生成のタスクで実験を行った。G-Evalは従来の手法を大幅に上回る結果を示し、LLMベースの評価器の潜在的な問題についても分析している。コードはGitHubで公開されている。 Comment伝統的なNLGの性能指標が、人間の判断との相関が低いことを示した研究# 手法概要 CoTを利用して、生成されたテキストの品質を評価する手法を提案している。 タスクのIntroductionと、評価のCriteriaをプロンプトに仕込むだけで、自動的にLLMに評価ステップに関するCoTを生成させ、最終 ... more","headline":"Evaluationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Evaluation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Evaluation.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1386,32 +1386,32 @@ <h2 id="evaluation">Evaluation</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Temporal.html" title="Temporalに関する論文・技術記事メモの一覧">
-            Temporalに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InductiveBias.html" title="InductiveBiasに関する論文・技術記事メモの一覧">
+            InductiveBiasに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/QueryBiased.html" title="QueryBiasedに関する論文・技術記事メモの一覧">
-            QueryBiasedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Others.html" title="Othersに関する論文・技術記事メモの一覧">
+            Othersに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/MLOps.html" title="MLOpsに関する論文・技術記事メモの一覧">
-            MLOpsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Evaluation.html" title="Evaluationに関する論文・技術記事メモの一覧">
+            Evaluationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Lambda.html" title="Lambdaに関する論文・技術記事メモの一覧">
-            Lambdaに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LearningPath.html" title="LearningPathに関する論文・技術記事メモの一覧">
+            LearningPathに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/ExperimentManagement.html b/docs/articles/ExperimentManagement.html
index e28610ff7..6c14663fa 100644
--- a/docs/articles/ExperimentManagement.html
+++ b/docs/articles/ExperimentManagement.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/ExperimentManagement.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="ExperimentManagementに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"ExperimentManagement #Article#ArticleIssue Date: 2024-07-09 Deepでポン用実験管理ツール（サービス）の比較2021 Comment[TensorBoard](https://www.tensorflow.org/tensorboard/) [MLflow](https://mlflow.org/) [Neptune.ai](https://neptune.ai/) [Weights &amp; Biases](https://w ... #Article#ArticleIssue Date: 2024-07-09 5行でカッコいい可視化を「WandB」入門","headline":"ExperimentManagementに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ExperimentManagement.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ExperimentManagement.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"ExperimentManagement #Article#ArticleIssue Date: 2024-07-09 Deepでポン用実験管理ツール（サービス）の比較2021 Comment[TensorBoard](https://www.tensorflow.org/tensorboard/) [MLflow](https://mlflow.org/) [Neptune.ai](https://neptune.ai/) [Weights &amp; Biases](https://w ... #Article#ArticleIssue Date: 2024-07-09 5行でカッコいい可視化を「WandB」入門","headline":"ExperimentManagementに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ExperimentManagement.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ExperimentManagement.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1015,32 +1015,32 @@ <h2 id="experimentmanagement">ExperimentManagement</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Navigation.html" title="Navigationに関する論文・技術記事メモの一覧">
-            Navigationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Metrics.html" title="Metricsに関する論文・技術記事メモの一覧">
+            Metricsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PositionalEncoding.html" title="PositionalEncodingに関する論文・技術記事メモの一覧">
-            PositionalEncodingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AutomaticPromptEngineering.html" title="AutomaticPromptEngineeringに関する論文・技術記事メモの一覧">
+            AutomaticPromptEngineeringに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Pruning.html" title="Pruningに関する論文・技術記事メモの一覧">
-            Pruningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Speech.html" title="Speechに関する論文・技術記事メモの一覧">
+            Speechに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/EssayScoring.html" title="EssayScoringに関する論文・技術記事メモの一覧">
-            EssayScoringに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Mathematics.html" title="Mathematicsに関する論文・技術記事メモの一覧">
+            Mathematicsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Explanation.html b/docs/articles/Explanation.html
index 84e4e1d6d..eac5df008 100644
--- a/docs/articles/Explanation.html
+++ b/docs/articles/Explanation.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Explanation.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Explanationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Explanation #RecommenderSystems#Personalization#reviewIssue Date: 2023-07-18 Explainable Recommendation with Personalized Review Retrieval and Aspect Learning, ACL23 Summary説明可能な推薦において、テキスト生成の精度向上とユーザーの好みの捉え方の改善を目指し、ERRAモデルを提案。ERRAは追加情報の検索とアスペクト学習を組み合わせることで、より正確で情報量の多い説明を生成することができる。さらに、ユーザーの関心の高いアスペクトを選択することで、関連性の高い詳細なユーザー表現をモデル化し、説明をより説得力のあるものにする。実験結果は、ERRAモデルが最先端のベースラインを上回ることを示している。 #NaturalLanguageGeneration#NLP#Evaluation#FaithfulnessIssue Date: 2023-07-18 Faithfulness Tests for Natural Language Explanations, ACL23 Summary本研究では、ニューラルモデルの説明の忠実性を評価するための2つのテストを提案しています。1つ目は、カウンターファクチュアルな予測につながる理由を挿入するためのカウンターファクチュアル入力エディタを提案し、2つ目は生成された説明から入力を再構築し、同じ予測につながる頻度をチェックするテストです。これらのテストは、忠実な説明の開発において基本的なツールとなります。 #RecommenderSystems#SurveyIssue Date: 2018-01-01 A Survey of Explanations in Recommender Systems, Tintarev+, ICDEW07 more","headline":"Explanationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Explanation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Explanation.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Explanation #RecommenderSystems#Personalization#reviewIssue Date: 2023-07-18 Explainable Recommendation with Personalized Review Retrieval and Aspect Learning, ACL23 Summary説明可能な推薦において、テキスト生成の精度向上とユーザーの好みの捉え方の改善を目指し、ERRAモデルを提案。ERRAは追加情報の検索とアスペクト学習を組み合わせることで、より正確で情報量の多い説明を生成することができる。さらに、ユーザーの関心の高いアスペクトを選択することで、関連性の高い詳細なユーザー表現をモデル化し、説明をより説得力のあるものにする。実験結果は、ERRAモデルが最先端のベースラインを上回ることを示している。 #NaturalLanguageGeneration#NLP#Evaluation#FaithfulnessIssue Date: 2023-07-18 Faithfulness Tests for Natural Language Explanations, ACL23 Summary本研究では、ニューラルモデルの説明の忠実性を評価するための2つのテストを提案しています。1つ目は、カウンターファクチュアルな予測につながる理由を挿入するためのカウンターファクチュアル入力エディタを提案し、2つ目は生成された説明から入力を再構築し、同じ予測につながる頻度をチェックするテストです。これらのテストは、忠実な説明の開発において基本的なツールとなります。 #RecommenderSystems#SurveyIssue Date: 2018-01-01 A Survey of Explanations in Recommender Systems, Tintarev+, ICDEW07 more","headline":"Explanationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Explanation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Explanation.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1030,32 +1030,32 @@ <h2 id="explanation">Explanation</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/TabularData.html" title="TabularDataに関する論文・技術記事メモの一覧">
-            TabularDataに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/translation_required.html" title="translation_requiredに関する論文・技術記事メモの一覧">
+            translation_requiredに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Pocket.html" title="Pocketに関する論文・技術記事メモの一覧">
-            Pocketに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LabelBias.html" title="LabelBiasに関する論文・技術記事メモの一覧">
+            LabelBiasに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/SentimentAnalysis.html" title="SentimentAnalysisに関する論文・技術記事メモの一覧">
-            SentimentAnalysisに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Transformer.html" title="Transformerに関する論文・技術記事メモの一覧">
+            Transformerに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TheoryOfMind.html" title="TheoryOfMindに関する論文・技術記事メモの一覧">
-            TheoryOfMindに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Efficiency_SpeedUp.html" title="Efficiency/SpeedUpに関する論文・技術記事メモの一覧">
+            Efficiency/SpeedUpに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/ExplicitFeedback.html b/docs/articles/ExplicitFeedback.html
index 43a9abd03..bee84a1e8 100644
--- a/docs/articles/ExplicitFeedback.html
+++ b/docs/articles/ExplicitFeedback.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/ExplicitFeedback.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="ExplicitFeedbackに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"ExplicitFeedback #Article#Survey#InformationRetrieval#RelevanceFeedbackIssue Date: 2018-01-01 A survey on the use of relevance feedback for information access systems., Ruthven+, The Knowledge Engineering Review, 2003","headline":"ExplicitFeedbackに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ExplicitFeedback.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ExplicitFeedback.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"ExplicitFeedback #Article#Survey#InformationRetrieval#RelevanceFeedbackIssue Date: 2018-01-01 A survey on the use of relevance feedback for information access systems., Ruthven+, The Knowledge Engineering Review, 2003","headline":"ExplicitFeedbackに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ExplicitFeedback.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ExplicitFeedback.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1009,32 +1009,32 @@ <h2 id="explicitfeedback">ExplicitFeedback</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/NaturalLanguageUnderstanding.html" title="NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧">
-            NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PersonalizedDocumentSummarization.html" title="PersonalizedDocumentSummarizationに関する論文・技術記事メモの一覧">
+            PersonalizedDocumentSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/StructuredData.html" title="StructuredDataに関する論文・技術記事メモの一覧">
-            StructuredDataに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Spoken%20Language%20Processing.html" title="Spoken Language Processingに関する論文・技術記事メモの一覧">
+            Spoken Language Processingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PersonalizedHeadlineGeneration.html" title="PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧">
-            PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PointWise.html" title="PointWiseに関する論文・技術記事メモの一覧">
+            PointWiseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Multi.html" title="Multiに関する論文・技術記事メモの一覧">
-            Multiに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ItemBased.html" title="ItemBasedに関する論文・技術記事メモの一覧">
+            ItemBasedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Extractive.html b/docs/articles/Extractive.html
index a099e3c0d..2dd4bb7a8 100644
--- a/docs/articles/Extractive.html
+++ b/docs/articles/Extractive.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Extractive.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Extractiveに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Extractive #DocumentSummarization#NaturalLanguageGeneration#NLP#AbstractiveIssue Date: 2023-07-18 Abstractive Summarizers are Excellent Extractive Summarizers, ACL23 Summary本研究では、抽出型要約と要約型要約の相乗効果を探求し、シーケンス・トゥ・シーケンス・アーキテクチャを使用した3つの新しい推論アルゴリズムを提案しています。これにより、要約型システムが抽出型システムを超えることができることを示しました。また、要約型システムは抽出型のオラクル要約にさらされることなく、両方の要約を単一のモデルで生成できることも示しました。これは、抽出型ラベルの必要性に疑問を投げかけるものであり、ハイブリッドモデルの有望な研究方向を示しています。 #DocumentSummarization#NaturalLanguageGeneration#NLP#FaithfulnessIssue Date: 2023-07-18 Extractive is not Faithful: An Investigation of Broad Unfaithfulness Problems in Extractive Summarization, ACL23 Summary本研究では、抽出的な要約の不正確さの問題について議論し、それを5つのタイプに分類します。さらに、新しい尺度であるExtEvalを提案し、不正確な要約を検出するために使用することを示します。この研究は、抽出的な要約の不正確さに対する認識を高め、将来の研究に役立つことを目指しています。 CommentExtractive SummarizatinoのFaithfulnessに関する研究。 &gt;抽出的な要約は抽象的な要約の一般的な不正確さの問題にはあまり影響を受けにくいですが、それは抽出的な要約が正確であることを意味するのでしょうか？結論はノーです。 &gt;本研究では、抽出的な要約に現れる広範な不正 ... #DocumentSummarization#Neural#NLPIssue Date: 2023-08-28 Text Summarization with Pretrained Encoders, Liu+ （with Lapata）, EMNLP-IJCNLP19 Summary本研究では、最新の事前学習言語モデルであるBERTを使用して、テキスト要約のための一般的なフレームワークを提案します。抽出型モデルでは、新しいエンコーダを導入し、文の表現を取得します。抽象的な要約については、エンコーダとデコーダの最適化手法を異ならせることで不一致を緩和します。さらに、2段階のファインチューニングアプローチによって要約の品質を向上させました。実験結果は、提案手法が最先端の結果を達成していることを示しています。 CommentBERTSUMEXT論文通常のBERTの構造と比較して、文ごとの先頭に[CLS]トークンを挿入し、かつSegment Embeddingsを文ごとに交互に変更することで、文のrepresentationを取得できるようにする。 その後、encodingされたsentenceの[CLS]トークンに対応 ... more","headline":"Extractiveに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Extractive.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Extractive.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Extractive #DocumentSummarization#NaturalLanguageGeneration#NLP#AbstractiveIssue Date: 2023-07-18 Abstractive Summarizers are Excellent Extractive Summarizers, ACL23 Summary本研究では、抽出型要約と要約型要約の相乗効果を探求し、シーケンス・トゥ・シーケンス・アーキテクチャを使用した3つの新しい推論アルゴリズムを提案しています。これにより、要約型システムが抽出型システムを超えることができることを示しました。また、要約型システムは抽出型のオラクル要約にさらされることなく、両方の要約を単一のモデルで生成できることも示しました。これは、抽出型ラベルの必要性に疑問を投げかけるものであり、ハイブリッドモデルの有望な研究方向を示しています。 #DocumentSummarization#NaturalLanguageGeneration#NLP#FaithfulnessIssue Date: 2023-07-18 Extractive is not Faithful: An Investigation of Broad Unfaithfulness Problems in Extractive Summarization, ACL23 Summary本研究では、抽出的な要約の不正確さの問題について議論し、それを5つのタイプに分類します。さらに、新しい尺度であるExtEvalを提案し、不正確な要約を検出するために使用することを示します。この研究は、抽出的な要約の不正確さに対する認識を高め、将来の研究に役立つことを目指しています。 CommentExtractive SummarizatinoのFaithfulnessに関する研究。 &gt;抽出的な要約は抽象的な要約の一般的な不正確さの問題にはあまり影響を受けにくいですが、それは抽出的な要約が正確であることを意味するのでしょうか？結論はノーです。 &gt;本研究では、抽出的な要約に現れる広範な不正 ... #DocumentSummarization#Neural#NLPIssue Date: 2023-08-28 Text Summarization with Pretrained Encoders, Liu+ （with Lapata）, EMNLP-IJCNLP19 Summary本研究では、最新の事前学習言語モデルであるBERTを使用して、テキスト要約のための一般的なフレームワークを提案します。抽出型モデルでは、新しいエンコーダを導入し、文の表現を取得します。抽象的な要約については、エンコーダとデコーダの最適化手法を異ならせることで不一致を緩和します。さらに、2段階のファインチューニングアプローチによって要約の品質を向上させました。実験結果は、提案手法が最先端の結果を達成していることを示しています。 CommentBERTSUMEXT論文通常のBERTの構造と比較して、文ごとの先頭に[CLS]トークンを挿入し、かつSegment Embeddingsを文ごとに交互に変更することで、文のrepresentationを取得できるようにする。 その後、encodingされたsentenceの[CLS]トークンに対応 ... more","headline":"Extractiveに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Extractive.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Extractive.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1100,32 +1100,32 @@ <h2 id="extractive">Extractive</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Pruning.html" title="Pruningに関する論文・技術記事メモの一覧">
-            Pruningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Reasoning.html" title="Reasoningに関する論文・技術記事メモの一覧">
+            Reasoningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RetrievalAugmentedGeneration.html" title="RetrievalAugmentedGenerationに関する論文・技術記事メモの一覧">
-            RetrievalAugmentedGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/RelevanceJudgment.html" title="RelevanceJudgmentに関する論文・技術記事メモの一覧">
+            RelevanceJudgmentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Planning.html" title="Planningに関する論文・技術記事メモの一覧">
-            Planningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Analysis.html" title="Analysisに関する論文・技術記事メモの一覧">
+            Analysisに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/OpenLLM.html" title="OpenLLMに関する論文・技術記事メモの一覧">
-            OpenLLMに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/EssayScoring.html" title="EssayScoringに関する論文・技術記事メモの一覧">
+            EssayScoringに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/FactorizationMachines.html b/docs/articles/FactorizationMachines.html
index 897ec82ba..79aee2b5b 100644
--- a/docs/articles/FactorizationMachines.html
+++ b/docs/articles/FactorizationMachines.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/FactorizationMachines.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="FactorizationMachinesに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"FactorizationMachines #RecommenderSystems#Neural#CTRPredictionIssue Date: 2020-08-29 Field Weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising, Pan+, WWW18 CommentCTR予測でbest-performingなモデルと言われているField Aware Factorization Machines(FFM)では、パラメータ数がフィールド数×特徴数のorderになってしまうため非常に多くなってしまうが、これをよりメモリを効果的に利用できる手法を提案。FFMとは性能 ... #RecommenderSystems#Neural#PocketIssue Date: 2018-12-22 xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems, KDD18 CommentGunosyの関さんによるxDeepFMの解説： https://data.gunosy.io/entry/deep-factorization-machines-2018 DeepFMの発展についても詳細に述べられていて、とても参考になる。 ... #RecommenderSystemsIssue Date: 2018-01-02 Factorization Machines with libFM, Steffen Rendle, TIST12 CommentFactorization Machinesの著者実装。 FMやるならまずはこれ。 ... more","headline":"FactorizationMachinesに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/FactorizationMachines.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/FactorizationMachines.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"FactorizationMachines #RecommenderSystems#Neural#CTRPredictionIssue Date: 2020-08-29 Field Weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising, Pan+, WWW18 CommentCTR予測でbest-performingなモデルと言われているField Aware Factorization Machines(FFM)では、パラメータ数がフィールド数×特徴数のorderになってしまうため非常に多くなってしまうが、これをよりメモリを効果的に利用できる手法を提案。FFMとは性能 ... #RecommenderSystems#Neural#PocketIssue Date: 2018-12-22 xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems, KDD18 CommentGunosyの関さんによるxDeepFMの解説： https://data.gunosy.io/entry/deep-factorization-machines-2018 DeepFMの発展についても詳細に述べられていて、とても参考になる。 ... #RecommenderSystemsIssue Date: 2018-01-02 Factorization Machines with libFM, Steffen Rendle, TIST12 CommentFactorization Machinesの著者実装。 FMやるならまずはこれ。 ... more","headline":"FactorizationMachinesに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/FactorizationMachines.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/FactorizationMachines.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1059,32 +1059,32 @@ <h2 id="factorizationmachines">FactorizationMachines</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataToText.html" title="DataToTextに関する論文・技術記事メモの一覧">
-            DataToTextに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AWS.html" title="AWSに関する論文・技術記事メモの一覧">
+            AWSに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LLMAgent.html" title="LLMAgentに関する論文・技術記事メモの一覧">
-            LLMAgentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Document.html" title="Documentに関する論文・技術記事メモの一覧">
+            Documentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TextualInversion.html" title="TextualInversionに関する論文・技術記事メモの一覧">
-            TextualInversionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AutomaticPromptEngineering.html" title="AutomaticPromptEngineeringに関する論文・技術記事メモの一覧">
+            AutomaticPromptEngineeringに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/OnlineEvaluation.html" title="OnlineEvaluationに関する論文・技術記事メモの一覧">
-            OnlineEvaluationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Personalization.html" title="Personalizationに関する論文・技術記事メモの一覧">
+            Personalizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/FactualConsistency.html b/docs/articles/FactualConsistency.html
index fc3717f74..eefd76e53 100644
--- a/docs/articles/FactualConsistency.html
+++ b/docs/articles/FactualConsistency.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/FactualConsistency.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="FactualConsistencyに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"FactualConsistency #Pocket#NLP#LanguageModel#FinetuningIssue Date: 2023-11-15 Fine-tuning Language Models for Factuality, Katherine Tian+, N_A, arXiv23 Summary本研究では、大規模な言語モデル（LLMs）を使用して、より事実に基づいた生成を実現するためのファインチューニングを行います。具体的には、外部の知識ベースや信頼スコアとの一貫性を測定し、選好最適化アルゴリズムを使用してモデルを調整します。実験結果では、事実エラー率の削減が観察されました。 #Pocket#NLP#LanguageModel#Evaluation#RetrievalAugmentedGenerationIssue Date: 2023-11-05 The Perils &amp; Promises of Fact-checking with Large Language Models, Dorian Quelle+, N_A, arXiv23 Summary自律型の事実チェックにおいて、大規模言語モデル（LLMs）を使用することが重要である。LLMsは真実と虚偽を見分ける役割を果たし、その出力を検証する能力がある。本研究では、LLMエージェントを使用して事実チェックを行い、推論を説明し、関連する情報源を引用する能力を評価した。結果は、文脈情報を備えたLLMsの能力の向上を示しているが、正確性には一貫性がないことに注意が必要である。今後の研究では、成功と失敗の要因をより深く理解する必要がある。 Commentgpt3とgpt4でFactCheckして傾向を分析しました、という研究。promptにstatementとgoogleで補完したcontextを含め、出力フォーマットを指定することでFactCheckする。promptingする際の言語や、statementの事実性の度合い（半分true, 全て斜 ... #NLP#LanguageModel#RetrievalAugmentedGenerationIssue Date: 2023-10-29 Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection, Akari Asai+, N_A, arXiv23 Summary大規模言語モデル（LLMs）は、事実に基づかない回答を生成することがあります。そこで、自己反省的な検索増強生成（Self-RAG）という新しいフレームワークを提案します。このフレームワークは、検索と自己反省を通じてLLMの品質と事実性を向上させます。実験結果は、Self-RAGが最先端のLLMsおよび検索増強モデルを大幅に上回ることを示しています。 CommentRAGをする際の言語モデルの回答の質とfactual consistencyを改善せるためのフレームワーク。reflection tokenと呼ばれる特殊トークンを導入し、言語モデルが生成の過程で必要に応じて情報をretrieveし、自身で生成内容を批評するように学習する。単語ごとに生成するのでは ... more","headline":"FactualConsistencyに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/FactualConsistency.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/FactualConsistency.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"FactualConsistency #Pocket#NLP#LanguageModel#FinetuningIssue Date: 2023-11-15 Fine-tuning Language Models for Factuality, Katherine Tian+, N_A, arXiv23 Summary本研究では、大規模な言語モデル（LLMs）を使用して、より事実に基づいた生成を実現するためのファインチューニングを行います。具体的には、外部の知識ベースや信頼スコアとの一貫性を測定し、選好最適化アルゴリズムを使用してモデルを調整します。実験結果では、事実エラー率の削減が観察されました。 #Pocket#NLP#LanguageModel#Evaluation#RetrievalAugmentedGenerationIssue Date: 2023-11-05 The Perils &amp; Promises of Fact-checking with Large Language Models, Dorian Quelle+, N_A, arXiv23 Summary自律型の事実チェックにおいて、大規模言語モデル（LLMs）を使用することが重要である。LLMsは真実と虚偽を見分ける役割を果たし、その出力を検証する能力がある。本研究では、LLMエージェントを使用して事実チェックを行い、推論を説明し、関連する情報源を引用する能力を評価した。結果は、文脈情報を備えたLLMsの能力の向上を示しているが、正確性には一貫性がないことに注意が必要である。今後の研究では、成功と失敗の要因をより深く理解する必要がある。 Commentgpt3とgpt4でFactCheckして傾向を分析しました、という研究。promptにstatementとgoogleで補完したcontextを含め、出力フォーマットを指定することでFactCheckする。promptingする際の言語や、statementの事実性の度合い（半分true, 全て斜 ... #NLP#LanguageModel#RetrievalAugmentedGenerationIssue Date: 2023-10-29 Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection, Akari Asai+, N_A, arXiv23 Summary大規模言語モデル（LLMs）は、事実に基づかない回答を生成することがあります。そこで、自己反省的な検索増強生成（Self-RAG）という新しいフレームワークを提案します。このフレームワークは、検索と自己反省を通じてLLMの品質と事実性を向上させます。実験結果は、Self-RAGが最先端のLLMsおよび検索増強モデルを大幅に上回ることを示しています。 CommentRAGをする際の言語モデルの回答の質とfactual consistencyを改善せるためのフレームワーク。reflection tokenと呼ばれる特殊トークンを導入し、言語モデルが生成の過程で必要に応じて情報をretrieveし、自身で生成内容を批評するように学習する。単語ごとに生成するのでは ... more","headline":"FactualConsistencyに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/FactualConsistency.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/FactualConsistency.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1069,32 +1069,32 @@ <h2 id="factualconsistency">FactualConsistency</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Discourse.html" title="Discourseに関する論文・技術記事メモの一覧">
-            Discourseに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/IRT.html" title="IRTに関する論文・技術記事メモの一覧">
+            IRTに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Annotation.html" title="Annotationに関する論文・技術記事メモの一覧">
-            Annotationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Training-Free.html" title="Training-Freeに関する論文・技術記事メモの一覧">
+            Training-Freeに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Regularization.html" title="Regularizationに関する論文・技術記事メモの一覧">
-            Regularizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Discourse.html" title="Discourseに関する論文・技術記事メモの一覧">
+            Discourseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ConceptToText.html" title="ConceptToTextに関する論文・技術記事メモの一覧">
-            ConceptToTextに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Self-SupervisedLearning.html" title="Self-SupervisedLearningに関する論文・技術記事メモの一覧">
+            Self-SupervisedLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Faithfulness.html b/docs/articles/Faithfulness.html
index 7286b3c3a..47a3561fa 100644
--- a/docs/articles/Faithfulness.html
+++ b/docs/articles/Faithfulness.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Faithfulness.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Faithfulnessに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Faithfulness #NaturalLanguageGeneration#NLP#Explanation#EvaluationIssue Date: 2023-07-18 Faithfulness Tests for Natural Language Explanations, ACL23 Summary本研究では、ニューラルモデルの説明の忠実性を評価するための2つのテストを提案しています。1つ目は、カウンターファクチュアルな予測につながる理由を挿入するためのカウンターファクチュアル入力エディタを提案し、2つ目は生成された説明から入力を再構築し、同じ予測につながる頻度をチェックするテストです。これらのテストは、忠実な説明の開発において基本的なツールとなります。 #DocumentSummarization#NaturalLanguageGeneration#NLP#ExtractiveIssue Date: 2023-07-18 Extractive is not Faithful: An Investigation of Broad Unfaithfulness Problems in Extractive Summarization, ACL23 Summary本研究では、抽出的な要約の不正確さの問題について議論し、それを5つのタイプに分類します。さらに、新しい尺度であるExtEvalを提案し、不正確な要約を検出するために使用することを示します。この研究は、抽出的な要約の不正確さに対する認識を高め、将来の研究に役立つことを目指しています。 CommentExtractive SummarizatinoのFaithfulnessに関する研究。 &gt;抽出的な要約は抽象的な要約の一般的な不正確さの問題にはあまり影響を受けにくいですが、それは抽出的な要約が正確であることを意味するのでしょうか？結論はノーです。 &gt;本研究では、抽出的な要約に現れる広範な不正 ... #Article#NLP#LanguageModel#CoT#PromptingIssue Date: 2023-07-23 Measuring Faithfulness in Chain-of-Thought Reasoning, Anthropic, 2023 Summary大規模言語モデル（LLMs）は、Chain-of-Thought（CoT）推論を生成することで質問に答える性能を向上させるが、その推論が実際の推論を忠実に表しているかは不明である。本研究では、CoT推論の忠実さを調査し、CoTに介入することでモデルの予測がどのように変化するかを調べる。結果は、モデルのサイズやタスクによってCoTの忠実さが異なることを示唆している。","headline":"Faithfulnessに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Faithfulness.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Faithfulness.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Faithfulness #NaturalLanguageGeneration#NLP#Explanation#EvaluationIssue Date: 2023-07-18 Faithfulness Tests for Natural Language Explanations, ACL23 Summary本研究では、ニューラルモデルの説明の忠実性を評価するための2つのテストを提案しています。1つ目は、カウンターファクチュアルな予測につながる理由を挿入するためのカウンターファクチュアル入力エディタを提案し、2つ目は生成された説明から入力を再構築し、同じ予測につながる頻度をチェックするテストです。これらのテストは、忠実な説明の開発において基本的なツールとなります。 #DocumentSummarization#NaturalLanguageGeneration#NLP#ExtractiveIssue Date: 2023-07-18 Extractive is not Faithful: An Investigation of Broad Unfaithfulness Problems in Extractive Summarization, ACL23 Summary本研究では、抽出的な要約の不正確さの問題について議論し、それを5つのタイプに分類します。さらに、新しい尺度であるExtEvalを提案し、不正確な要約を検出するために使用することを示します。この研究は、抽出的な要約の不正確さに対する認識を高め、将来の研究に役立つことを目指しています。 CommentExtractive SummarizatinoのFaithfulnessに関する研究。 &gt;抽出的な要約は抽象的な要約の一般的な不正確さの問題にはあまり影響を受けにくいですが、それは抽出的な要約が正確であることを意味するのでしょうか？結論はノーです。 &gt;本研究では、抽出的な要約に現れる広範な不正 ... #Article#NLP#LanguageModel#CoT#PromptingIssue Date: 2023-07-23 Measuring Faithfulness in Chain-of-Thought Reasoning, Anthropic, 2023 Summary大規模言語モデル（LLMs）は、Chain-of-Thought（CoT）推論を生成することで質問に答える性能を向上させるが、その推論が実際の推論を忠実に表しているかは不明である。本研究では、CoT推論の忠実さを調査し、CoTに介入することでモデルの予測がどのように変化するかを調べる。結果は、モデルのサイズやタスクによってCoTの忠実さが異なることを示唆している。","headline":"Faithfulnessに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Faithfulness.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Faithfulness.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1019,32 +1019,32 @@ <h2 id="faithfulness">Faithfulness</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ExperimentManagement.html" title="ExperimentManagementに関する論文・技術記事メモの一覧">
-            ExperimentManagementに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Embed.html" title="Embedに関する論文・技術記事メモの一覧">
+            Embedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Hallucination.html" title="Hallucinationに関する論文・技術記事メモの一覧">
-            Hallucinationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/GrammaticalErrorCorrection.html" title="GrammaticalErrorCorrectionに関する論文・技術記事メモの一覧">
+            GrammaticalErrorCorrectionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InstructionGeneration.html" title="InstructionGenerationに関する論文・技術記事メモの一覧">
-            InstructionGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TimeSeriesDataProcessing.html" title="TimeSeriesDataProcessingに関する論文・技術記事メモの一覧">
+            TimeSeriesDataProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Pruning.html" title="Pruningに関する論文・技術記事メモの一覧">
-            Pruningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Mindset.html" title="Mindsetに関する論文・技術記事メモの一覧">
+            Mindsetに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Financial.html b/docs/articles/Financial.html
index c3c68d58f..dd4a2d630 100644
--- a/docs/articles/Financial.html
+++ b/docs/articles/Financial.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Financial.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Financialに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Financial #Neural#TimeSeriesDataProcessing#MachineLearningIssue Date: 2017-12-31 Recurrent neural network and a hybrid model for prediction of stock returns, Akhter+, Expert Systems with Applications14 CommentStock returnのpredictionタスクに対してNNを適用。 AR-MRNNモデルをRNNに適用、高い性能を示している。 moving referenceをsubtractした値をinput-outputに用いることで、normalizationやdetrending等の前処理が不 ... #Neural#TimeSeriesDataProcessing#MachineLearningIssue Date: 2017-12-31 Prediction-based portfolio optimization model using neural networks, Freitas+, Neurocomputing09 CommentStock returnのpredictionタスクに対してNNを適用。 NNのinput-outputとして、生のreturn値を用いるのではなく、ある時刻におけるreturnをsubtractした値(moving reference)を用いる、AR-MRNNモデルを提案。 ...","headline":"Financialに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Financial.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Financial.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Financial #Neural#TimeSeriesDataProcessing#MachineLearningIssue Date: 2017-12-31 Recurrent neural network and a hybrid model for prediction of stock returns, Akhter+, Expert Systems with Applications14 CommentStock returnのpredictionタスクに対してNNを適用。 AR-MRNNモデルをRNNに適用、高い性能を示している。 moving referenceをsubtractした値をinput-outputに用いることで、normalizationやdetrending等の前処理が不 ... #Neural#TimeSeriesDataProcessing#MachineLearningIssue Date: 2017-12-31 Prediction-based portfolio optimization model using neural networks, Freitas+, Neurocomputing09 CommentStock returnのpredictionタスクに対してNNを適用。 NNのinput-outputとして、生のreturn値を用いるのではなく、ある時刻におけるreturnをsubtractした値(moving reference)を用いる、AR-MRNNモデルを提案。 ...","headline":"Financialに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Financial.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Financial.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1017,32 +1017,32 @@ <h2 id="financial">Financial</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/LLMAgent.html" title="LLMAgentに関する論文・技術記事メモの一覧">
-            LLMAgentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Conversation.html" title="Conversationに関する論文・技術記事メモの一覧">
+            Conversationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TimeSeriesDataProcessing.html" title="TimeSeriesDataProcessingに関する論文・技術記事メモの一覧">
-            TimeSeriesDataProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AudioProcessing.html" title="AudioProcessingに関する論文・技術記事メモの一覧">
+            AudioProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/AutoML.html" title="AutoMLに関する論文・技術記事メモの一覧">
-            AutoMLに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ExperimentManagement.html" title="ExperimentManagementに関する論文・技術記事メモの一覧">
+            ExperimentManagementに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/AutomaticPromptEngineering.html" title="AutomaticPromptEngineeringに関する論文・技術記事メモの一覧">
-            AutomaticPromptEngineeringに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Education.html" title="Educationに関する論文・技術記事メモの一覧">
+            Educationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Finetuning.html b/docs/articles/Finetuning.html
index a3e196b86..17f42836d 100644
--- a/docs/articles/Finetuning.html
+++ b/docs/articles/Finetuning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Finetuning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Finetuningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Finetuning #InformationRetrieval#Pocket#NLP#LanguageModel#RetrievalAugmentedGenerationIssue Date: 2024-04-07 RAFT: Adapting Language Model to Domain Specific RAG, Tianjun Zhang+, N_A, arXiv24 Summary大規模なテキストデータのLLMsを事前学習し、新しい知識を追加するためのRetrieval Augmented FineTuning（RAFT）を提案。RAFTは、質問に回答するのに役立つ関連文書から正しいシーケンスを引用し、chain-of-thoughtスタイルの応答を通じて推論能力を向上させる。RAFTはPubMed、HotpotQA、Gorillaデータセットでモデルのパフォーマンスを向上させ、事前学習済みLLMsをドメイン固有のRAGに向けて改善する。 CommentQuestion, instruction, coxtext, cot style answerの4つを用いてSFTをする模様画像は下記ツイートより引用https://x.com/cwolferesearch/status/1770912695765660139?s=46&t=Y6UuIHB0 ... #Efficiency/SpeedUp#MachineLearning#Adapter/LoRAIssue Date: 2024-01-17 VeRA: Vector-based Random Matrix Adaptation, Dawid J. Kopiczko+, N_A, arXiv23 Summary本研究では、大規模な言語モデルのfine-tuningにおいて、訓練可能なパラメータの数を削減するための新しい手法であるベクトルベースのランダム行列適応（VeRA）を提案する。VeRAは、共有される低ランク行列と小さなスケーリングベクトルを使用することで、同じ性能を維持しながらパラメータ数を削減する。GLUEやE2Eのベンチマーク、画像分類タスクでの効果を示し、言語モデルのインストラクションチューニングにも応用できることを示す。 #Pocket#NLP#LanguageModel#FactualConsistencyIssue Date: 2023-11-15 Fine-tuning Language Models for Factuality, Katherine Tian+, N_A, arXiv23 Summary本研究では、大規模な言語モデル（LLMs）を使用して、より事実に基づいた生成を実現するためのファインチューニングを行います。具体的には、外部の知識ベースや信頼スコアとの一貫性を測定し、選好最適化アルゴリズムを使用してモデルを調整します。実験結果では、事実エラー率の削減が観察されました。 more","headline":"Finetuningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Finetuning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Finetuning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Finetuning #InformationRetrieval#Pocket#NLP#LanguageModel#RetrievalAugmentedGenerationIssue Date: 2024-04-07 RAFT: Adapting Language Model to Domain Specific RAG, Tianjun Zhang+, N_A, arXiv24 Summary大規模なテキストデータのLLMsを事前学習し、新しい知識を追加するためのRetrieval Augmented FineTuning（RAFT）を提案。RAFTは、質問に回答するのに役立つ関連文書から正しいシーケンスを引用し、chain-of-thoughtスタイルの応答を通じて推論能力を向上させる。RAFTはPubMed、HotpotQA、Gorillaデータセットでモデルのパフォーマンスを向上させ、事前学習済みLLMsをドメイン固有のRAGに向けて改善する。 CommentQuestion, instruction, coxtext, cot style answerの4つを用いてSFTをする模様画像は下記ツイートより引用https://x.com/cwolferesearch/status/1770912695765660139?s=46&t=Y6UuIHB0 ... #Efficiency/SpeedUp#MachineLearning#Adapter/LoRAIssue Date: 2024-01-17 VeRA: Vector-based Random Matrix Adaptation, Dawid J. Kopiczko+, N_A, arXiv23 Summary本研究では、大規模な言語モデルのfine-tuningにおいて、訓練可能なパラメータの数を削減するための新しい手法であるベクトルベースのランダム行列適応（VeRA）を提案する。VeRAは、共有される低ランク行列と小さなスケーリングベクトルを使用することで、同じ性能を維持しながらパラメータ数を削減する。GLUEやE2Eのベンチマーク、画像分類タスクでの効果を示し、言語モデルのインストラクションチューニングにも応用できることを示す。 #Pocket#NLP#LanguageModel#FactualConsistencyIssue Date: 2023-11-15 Fine-tuning Language Models for Factuality, Katherine Tian+, N_A, arXiv23 Summary本研究では、大規模な言語モデル（LLMs）を使用して、より事実に基づいた生成を実現するためのファインチューニングを行います。具体的には、外部の知識ベースや信頼スコアとの一貫性を測定し、選好最適化アルゴリズムを使用してモデルを調整します。実験結果では、事実エラー率の削減が観察されました。 more","headline":"Finetuningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Finetuning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Finetuning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1084,32 +1084,32 @@ <h2 id="finetuning">Finetuning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Planning.html" title="Planningに関する論文・技術記事メモの一覧">
-            Planningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LearningToRank.html" title="LearningToRankに関する論文・技術記事メモの一覧">
+            LearningToRankに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/OnlineEvaluation.html" title="OnlineEvaluationに関する論文・技術記事メモの一覧">
-            OnlineEvaluationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Transformer.html" title="Transformerに関する論文・技術記事メモの一覧">
+            Transformerに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/OpenLLM.html" title="OpenLLMに関する論文・技術記事メモの一覧">
-            OpenLLMに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ComputerVision.html" title="ComputerVisionに関する論文・技術記事メモの一覧">
+            ComputerVisionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningToRank.html" title="LearningToRankに関する論文・技術記事メモの一覧">
-            LearningToRankに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DesignPattern.html" title="DesignPatternに関する論文・技術記事メモの一覧">
+            DesignPatternに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/FoundationModel.html b/docs/articles/FoundationModel.html
index 7b3e9e8d5..fd8b9371d 100644
--- a/docs/articles/FoundationModel.html
+++ b/docs/articles/FoundationModel.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/FoundationModel.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="FoundationModelに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"FoundationModel #Survey#Pocket#Spoken Language Processing#Evaluation#SpeechIssue Date: 2024-04-21 A Large-Scale Evaluation of Speech Foundation Models, Shu-wen Yang+, N_A, arXiv24 Summary基盤モデルパラダイムは、共有基盤モデルを使用して最先端のパフォーマンスを達成し、下流特有のモデリングやデータ注釈を最小限に抑えることを目指す。このアプローチは、自然言語処理（NLP）の分野で成功しているが、音声処理分野では類似したセットアップが不足している。本研究では、音声処理ユニバーサルパフォーマンスベンチマーク（SUPERB）を設立し、音声に対する基盤モデルパラダイムの効果を調査する。凍結された基盤モデルに続いて、タスク専用の軽量な予測ヘッドを使用して、SUPERB内の音声処理タスクに取り組むための統一されたマルチタスキングフレームワークを提案する。結果は、基盤モデルパラダイムが音声に有望であり、提案されたマルチタスキングフレームワークが効果的であることを示し、最も優れた基盤モデルがほとんどのSUPERBタスクで競争力のある汎化性能を持つことを示している。 CommentSpeech関連のFoundation Modelの評価結果が載っているらしい。図は下記ツイートより引用参考:https://x.com/unilightwf/status/1781659340065345766?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #ComputerVision#Pocket#NLP#MultitaskLearning#MulltiModalIssue Date: 2023-11-13 Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks, Bin Xiao+, N_A, arXiv23 SummaryFlorence-2は、ビジョン基盤モデルであり、さまざまなビジョンタスクに対応するための統一されたプロンプトベースの表現を持っています。このモデルは、テキストプロンプトを受け取り、キャプショニング、オブジェクト検出、グラウンディング、セグメンテーションなどのタスクを実行し、テキスト形式で結果を生成します。また、FLD-5Bという大規模な注釈付きデータセットも開発されました。Florence-2は、多目的かつ包括的なビジョンタスクを実行するためにシーケンスツーシーケンス構造を採用しており、前例のないゼロショットおよびファインチューニングの能力を持つ強力なモデルです。 CommentVison Foundation Model。Spatialな階層構造や、Semanticを捉えられるように訓練。Image/Prompt Encoderでエンコードされ、outputはtext + location informationとなる。 ... #Pretraining#Pocket#NLP#LanguageModel#MathematicsIssue Date: 2023-10-29 Llemma: An Open Language Model For Mathematics, Zhangir Azerbayev+, N_A, arXiv23 Summary私たちは、数学のための大規模な言語モデルであるLlemmaを提案します。Llemmaは、Proof-Pile-2と呼ばれるデータセットを用いて事前学習され、MATHベンチマークで他のモデルを上回る性能を示しました。さらに、Llemmaは追加のfine-tuningなしでツールの使用や形式的な定理証明が可能です。アーティファクトも公開されています。 CommentCodeLLaMAを200B tokenの数学テキスト（proof-pile-2データ;論文、数学を含むウェブテキスト、数学のコードが含まれるデータ）で継続的に事前学習することでfoundation modelを構築約半分のパラメータ数で数学に関する性能でGoogleのMinervaと同等の性元ツイ ... more","headline":"FoundationModelに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/FoundationModel.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/FoundationModel.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"FoundationModel #Survey#Pocket#Spoken Language Processing#Evaluation#SpeechIssue Date: 2024-04-21 A Large-Scale Evaluation of Speech Foundation Models, Shu-wen Yang+, N_A, arXiv24 Summary基盤モデルパラダイムは、共有基盤モデルを使用して最先端のパフォーマンスを達成し、下流特有のモデリングやデータ注釈を最小限に抑えることを目指す。このアプローチは、自然言語処理（NLP）の分野で成功しているが、音声処理分野では類似したセットアップが不足している。本研究では、音声処理ユニバーサルパフォーマンスベンチマーク（SUPERB）を設立し、音声に対する基盤モデルパラダイムの効果を調査する。凍結された基盤モデルに続いて、タスク専用の軽量な予測ヘッドを使用して、SUPERB内の音声処理タスクに取り組むための統一されたマルチタスキングフレームワークを提案する。結果は、基盤モデルパラダイムが音声に有望であり、提案されたマルチタスキングフレームワークが効果的であることを示し、最も優れた基盤モデルがほとんどのSUPERBタスクで競争力のある汎化性能を持つことを示している。 CommentSpeech関連のFoundation Modelの評価結果が載っているらしい。図は下記ツイートより引用参考:https://x.com/unilightwf/status/1781659340065345766?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #ComputerVision#Pocket#NLP#MultitaskLearning#MulltiModalIssue Date: 2023-11-13 Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks, Bin Xiao+, N_A, arXiv23 SummaryFlorence-2は、ビジョン基盤モデルであり、さまざまなビジョンタスクに対応するための統一されたプロンプトベースの表現を持っています。このモデルは、テキストプロンプトを受け取り、キャプショニング、オブジェクト検出、グラウンディング、セグメンテーションなどのタスクを実行し、テキスト形式で結果を生成します。また、FLD-5Bという大規模な注釈付きデータセットも開発されました。Florence-2は、多目的かつ包括的なビジョンタスクを実行するためにシーケンスツーシーケンス構造を採用しており、前例のないゼロショットおよびファインチューニングの能力を持つ強力なモデルです。 CommentVison Foundation Model。Spatialな階層構造や、Semanticを捉えられるように訓練。Image/Prompt Encoderでエンコードされ、outputはtext + location informationとなる。 ... #Pretraining#Pocket#NLP#LanguageModel#MathematicsIssue Date: 2023-10-29 Llemma: An Open Language Model For Mathematics, Zhangir Azerbayev+, N_A, arXiv23 Summary私たちは、数学のための大規模な言語モデルであるLlemmaを提案します。Llemmaは、Proof-Pile-2と呼ばれるデータセットを用いて事前学習され、MATHベンチマークで他のモデルを上回る性能を示しました。さらに、Llemmaは追加のfine-tuningなしでツールの使用や形式的な定理証明が可能です。アーティファクトも公開されています。 CommentCodeLLaMAを200B tokenの数学テキスト（proof-pile-2データ;論文、数学を含むウェブテキスト、数学のコードが含まれるデータ）で継続的に事前学習することでfoundation modelを構築約半分のパラメータ数で数学に関する性能でGoogleのMinervaと同等の性元ツイ ... more","headline":"FoundationModelに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/FoundationModel.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/FoundationModel.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1058,32 +1058,32 @@ <h2 id="foundationmodel">FoundationModel</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataAugmentation.html" title="DataAugmentationに関する論文・技術記事メモの一覧">
-            DataAugmentationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DropoutPrediction.html" title="DropoutPredictionに関する論文・技術記事メモの一覧">
+            DropoutPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InteractiveRecommenderSystems.html" title="InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧">
-            InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PerformanceTesting.html" title="PerformanceTestingに関する論文・技術記事メモの一覧">
+            PerformanceTestingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Infrastructure.html" title="Infrastructureに関する論文・技術記事メモの一覧">
-            Infrastructureに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AutomaticPromptEngineering.html" title="AutomaticPromptEngineeringに関する論文・技術記事メモの一覧">
+            AutomaticPromptEngineeringに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/EducationalDataMining.html" title="EducationalDataMiningに関する論文・技術記事メモの一覧">
-            EducationalDataMiningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataDistillation.html" title="DataDistillationに関する論文・技術記事メモの一覧">
+            DataDistillationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/General.html b/docs/articles/General.html
index 4db4a8665..e81e5971f 100644
--- a/docs/articles/General.html
+++ b/docs/articles/General.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/General.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Generalに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"General #Pocket#NLP#LanguageModel#AlignmentIssue Date: 2023-09-30 RAIN: Your Language Models Can Align Themselves without Finetuning, Yuhui Li+, N_A, arXiv23 Summary本研究では、追加のデータなしで凍結された大規模言語モデル（LLMs）を整列させる方法を探求しました。自己評価と巻き戻しメカニズムを統合することで、LLMsは自己ブースティングを通じて人間の好みと一致する応答を生成することができることを発見しました。RAINという新しい推論手法を導入し、追加のデータやパラメータの更新を必要とせずにAIの安全性を確保します。実験結果は、RAINの効果を示しており、LLaMA 30Bデータセットでは無害率を向上させ、Vicuna 33Bデータセットでは攻撃成功率を減少させることができました。 Commentトークンのsetで構成されるtree上を探索し、出力が無害とself-evaluationされるまで、巻き戻しと前方生成を繰り返し、有害なトークンsetの重みを動的に減らすことでalignmentを実現する。モデルの追加のfinetuning等は不要。self-evaluationでは下記のようなp ... #NLP#RepresentationLearning#EssayScoringIssue Date: 2023-07-18 Improving Domain Generalization for Prompt-Aware Essay Scoring via Disentangled Representation Learning, ACL23 Summary自動エッセイスコアリング（AES）は、エッセイを評価するためのモデルですが、既存のモデルは特定のプロンプトにしか適用できず、新しいプロンプトに対してはうまく汎化できません。この研究では、プロンプトに依存しない特徴とプロンプト固有の特徴を抽出するためのニューラルAESモデルを提案し、表現の汎化を改善するための分離表現学習フレームワークを提案しています。ASAPとTOEFL11のデータセットでの実験結果は、提案手法の有効性を示しています。 #NLP#LanguageModel#In-ContextLearning#CompositionIssue Date: 2023-07-13 How Do In-Context Examples Affect Compositional Generalization?, ACL23 Summary本研究では、組成的な一般化を調査するためのテストスイートであるCoFeを提案し、インコンテキスト学習の組成的な一般化について研究しました。インコンテキストの例の選択が組成的な一般化のパフォーマンスに影響を与えることを発見し、類似性、多様性、複雑さの要素を研究しました。さらに、架空の単語に対する組成的な一般化は一般的な単語に比べて弱いことが観察されました。インコンテキストの例が言語構造をカバーすることが重要であることも示されました。 more","headline":"Generalに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/General.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/General.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"General #Pocket#NLP#LanguageModel#AlignmentIssue Date: 2023-09-30 RAIN: Your Language Models Can Align Themselves without Finetuning, Yuhui Li+, N_A, arXiv23 Summary本研究では、追加のデータなしで凍結された大規模言語モデル（LLMs）を整列させる方法を探求しました。自己評価と巻き戻しメカニズムを統合することで、LLMsは自己ブースティングを通じて人間の好みと一致する応答を生成することができることを発見しました。RAINという新しい推論手法を導入し、追加のデータやパラメータの更新を必要とせずにAIの安全性を確保します。実験結果は、RAINの効果を示しており、LLaMA 30Bデータセットでは無害率を向上させ、Vicuna 33Bデータセットでは攻撃成功率を減少させることができました。 Commentトークンのsetで構成されるtree上を探索し、出力が無害とself-evaluationされるまで、巻き戻しと前方生成を繰り返し、有害なトークンsetの重みを動的に減らすことでalignmentを実現する。モデルの追加のfinetuning等は不要。self-evaluationでは下記のようなp ... #NLP#RepresentationLearning#EssayScoringIssue Date: 2023-07-18 Improving Domain Generalization for Prompt-Aware Essay Scoring via Disentangled Representation Learning, ACL23 Summary自動エッセイスコアリング（AES）は、エッセイを評価するためのモデルですが、既存のモデルは特定のプロンプトにしか適用できず、新しいプロンプトに対してはうまく汎化できません。この研究では、プロンプトに依存しない特徴とプロンプト固有の特徴を抽出するためのニューラルAESモデルを提案し、表現の汎化を改善するための分離表現学習フレームワークを提案しています。ASAPとTOEFL11のデータセットでの実験結果は、提案手法の有効性を示しています。 #NLP#LanguageModel#In-ContextLearning#CompositionIssue Date: 2023-07-13 How Do In-Context Examples Affect Compositional Generalization?, ACL23 Summary本研究では、組成的な一般化を調査するためのテストスイートであるCoFeを提案し、インコンテキスト学習の組成的な一般化について研究しました。インコンテキストの例の選択が組成的な一般化のパフォーマンスに影響を与えることを発見し、類似性、多様性、複雑さの要素を研究しました。さらに、架空の単語に対する組成的な一般化は一般的な単語に比べて弱いことが観察されました。インコンテキストの例が言語構造をカバーすることが重要であることも示されました。 more","headline":"Generalに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/General.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/General.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1029,32 +1029,32 @@ <h2 id="general">General</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ContextWindow.html" title="ContextWindowに関する論文・技術記事メモの一覧">
-            ContextWindowに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/RelevanceJudgment.html" title="RelevanceJudgmentに関する論文・技術記事メモの一覧">
+            RelevanceJudgmentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/CollaborativeFiltering.html" title="CollaborativeFilteringに関する論文・技術記事メモの一覧">
-            CollaborativeFilteringに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Conversation.html" title="Conversationに関する論文・技術記事メモの一覧">
+            Conversationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/QueryBiased.html" title="QueryBiasedに関する論文・技術記事メモの一覧">
-            QueryBiasedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Prompting.html" title="Promptingに関する論文・技術記事メモの一覧">
+            Promptingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Novelty.html" title="Noveltyに関する論文・技術記事メモの一覧">
-            Noveltyに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Speech.html" title="Speechに関する論文・技術記事メモの一覧">
+            Speechに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/GenerativeAI.html b/docs/articles/GenerativeAI.html
index f3f3be12b..c21305786 100644
--- a/docs/articles/GenerativeAI.html
+++ b/docs/articles/GenerativeAI.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/GenerativeAI.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="GenerativeAIに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"GenerativeAI #RecommenderSystems#Survey#PocketIssue Date: 2024-04-02 A Review of Modern Recommender Systems Using Generative Models （Gen-RecSys）, Yashar Deldjoo+, N_A, arXiv24 Summary従来のレコメンドシステムは、ユーザー-アイテムの評価履歴を主要なデータソースとして使用してきたが、最近では生成モデルを活用して、テキストや画像など豊富なデータを含めた新しい推薦タスクに取り組んでいる。この研究では、生成モデル（Gen-RecSys）を用いたレコメンドシステムの進歩に焦点を当て、相互作用駆動型生成モデルや大規模言語モデル（LLM）を用いた生成型推薦、画像や動画コンテンツの処理と生成のためのマルチモーダルモデルなどについて調査している。未解決の課題や必要なパラダイムについても議論している。 #ComputerVision#Pocket#NLP#MulltiModalIssue Date: 2023-12-01 SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction, Xinyuan Chen+, N_A, arXiv23 Summary本研究では、ビデオ生成において連続した長いビデオを生成するためのジェネレーティブなトランジションと予測に焦点を当てたモデルSEINEを提案する。SEINEはテキストの説明に基づいてトランジションを生成し、一貫性と視覚的品質を確保した長いビデオを生成する。さらに、提案手法は他のタスクにも拡張可能であり、徹底的な実験によりその有効性が検証されている。 Commenthttps://huggingface.co/spaces/Vchitect/SEINE 画像 + テキストpromptで、動画を生成するデモ ... #Article#ComputerVision#NLP#MulltiModalIssue Date: 2023-12-01 LaVie: Text-to-Video generation, demo Commentデモのデフォルトで試してみたら、3秒ほどのprompt通りの動画が生成された。FF14の赤魔導士に変えたら、それっぽいの出てきた ... more","headline":"GenerativeAIに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/GenerativeAI.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/GenerativeAI.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"GenerativeAI #RecommenderSystems#Survey#PocketIssue Date: 2024-04-02 A Review of Modern Recommender Systems Using Generative Models （Gen-RecSys）, Yashar Deldjoo+, N_A, arXiv24 Summary従来のレコメンドシステムは、ユーザー-アイテムの評価履歴を主要なデータソースとして使用してきたが、最近では生成モデルを活用して、テキストや画像など豊富なデータを含めた新しい推薦タスクに取り組んでいる。この研究では、生成モデル（Gen-RecSys）を用いたレコメンドシステムの進歩に焦点を当て、相互作用駆動型生成モデルや大規模言語モデル（LLM）を用いた生成型推薦、画像や動画コンテンツの処理と生成のためのマルチモーダルモデルなどについて調査している。未解決の課題や必要なパラダイムについても議論している。 #ComputerVision#Pocket#NLP#MulltiModalIssue Date: 2023-12-01 SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction, Xinyuan Chen+, N_A, arXiv23 Summary本研究では、ビデオ生成において連続した長いビデオを生成するためのジェネレーティブなトランジションと予測に焦点を当てたモデルSEINEを提案する。SEINEはテキストの説明に基づいてトランジションを生成し、一貫性と視覚的品質を確保した長いビデオを生成する。さらに、提案手法は他のタスクにも拡張可能であり、徹底的な実験によりその有効性が検証されている。 Commenthttps://huggingface.co/spaces/Vchitect/SEINE 画像 + テキストpromptで、動画を生成するデモ ... #Article#ComputerVision#NLP#MulltiModalIssue Date: 2023-12-01 LaVie: Text-to-Video generation, demo Commentデモのデフォルトで試してみたら、3秒ほどのprompt通りの動画が生成された。FF14の赤魔導士に変えたら、それっぽいの出てきた ... more","headline":"GenerativeAIに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/GenerativeAI.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/GenerativeAI.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1039,32 +1039,32 @@ <h2 id="generativeai">GenerativeAI</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Sentence.html" title="Sentenceに関する論文・技術記事メモの一覧">
-            Sentenceに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Tutorial.html" title="Tutorialに関する論文・技術記事メモの一覧">
+            Tutorialに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LabelBias.html" title="LabelBiasに関する論文・技術記事メモの一覧">
-            LabelBiasに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Reference-free.html" title="Reference-freeに関する論文・技術記事メモの一覧">
+            Reference-freeに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/SingleFramework.html" title="SingleFrameworkに関する論文・技術記事メモの一覧">
-            SingleFrameworkに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Reference-based.html" title="Reference-basedに関する論文・技術記事メモの一覧">
+            Reference-basedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Comments.html" title="Commentsに関する論文・技術記事メモの一覧">
-            Commentsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InteractiveRecommenderSystems.html" title="InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧">
+            InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/GenerativeAdversarialNetwork.html b/docs/articles/GenerativeAdversarialNetwork.html
index 3b5d37c01..5eb2f5563 100644
--- a/docs/articles/GenerativeAdversarialNetwork.html
+++ b/docs/articles/GenerativeAdversarialNetwork.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/GenerativeAdversarialNetwork.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="GenerativeAdversarialNetworkに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"GenerativeAdversarialNetwork #Neural#Pocket#NLPIssue Date: 2018-02-04 Adversarial Ranking for Language Generation, Lin+, NIPS17 #Neural#Tutorial#PocketIssue Date: 2017-12-28 Generative Adversarial Networks: An Overview, Dumoulin+, IEEE-SPM17 #Neural#TutorialIssue Date: 2018-02-06 Generative Adversarial Networks （GANS）, NIPS16 CommentGoodfellow氏によるGANチュートリアル ...","headline":"GenerativeAdversarialNetworkに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/GenerativeAdversarialNetwork.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/GenerativeAdversarialNetwork.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"GenerativeAdversarialNetwork #Neural#Pocket#NLPIssue Date: 2018-02-04 Adversarial Ranking for Language Generation, Lin+, NIPS17 #Neural#Tutorial#PocketIssue Date: 2017-12-28 Generative Adversarial Networks: An Overview, Dumoulin+, IEEE-SPM17 #Neural#TutorialIssue Date: 2018-02-06 Generative Adversarial Networks （GANS）, NIPS16 CommentGoodfellow氏によるGANチュートリアル ...","headline":"GenerativeAdversarialNetworkに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/GenerativeAdversarialNetwork.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/GenerativeAdversarialNetwork.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1014,32 +1014,32 @@ <h2 id="generativeadversarialnetwork">GenerativeAdversarialNetwork</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Reference-based.html" title="Reference-basedに関する論文・技術記事メモの一覧">
-            Reference-basedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataAugmentation.html" title="DataAugmentationに関する論文・技術記事メモの一覧">
+            DataAugmentationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Session.html" title="Sessionに関する論文・技術記事メモの一覧">
-            Sessionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Personalization.html" title="Personalizationに関する論文・技術記事メモの一覧">
+            Personalizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TheoryOfMind.html" title="TheoryOfMindに関する論文・技術記事メモの一覧">
-            TheoryOfMindに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Grokking.html" title="Grokkingに関する論文・技術記事メモの一覧">
+            Grokkingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/BeamSearch.html" title="BeamSearchに関する論文・技術記事メモの一覧">
-            BeamSearchに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PointWise.html" title="PointWiseに関する論文・技術記事メモの一覧">
+            PointWiseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/GrammaticalErrorCorrection.html b/docs/articles/GrammaticalErrorCorrection.html
index 9c9daf6b1..94b63ed2a 100644
--- a/docs/articles/GrammaticalErrorCorrection.html
+++ b/docs/articles/GrammaticalErrorCorrection.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/GrammaticalErrorCorrection.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="GrammaticalErrorCorrectionに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"GrammaticalErrorCorrection #NLP#DatasetIssue Date: 2023-07-18 Enhancing Grammatical Error Correction Systems with Explanations, ACL23 Summary文法エラー修正システムの性能向上のために、エビデンスワードと文法エラータイプが注釈付けされた大規模なデータセットであるEXPECTを紹介する。このデータセットを使用して、説明可能なGECシステムのベースラインと分析を提案し、人間の評価によってその有用性を確認する。","headline":"GrammaticalErrorCorrectionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/GrammaticalErrorCorrection.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/GrammaticalErrorCorrection.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"GrammaticalErrorCorrection #NLP#DatasetIssue Date: 2023-07-18 Enhancing Grammatical Error Correction Systems with Explanations, ACL23 Summary文法エラー修正システムの性能向上のために、エビデンスワードと文法エラータイプが注釈付けされた大規模なデータセットであるEXPECTを紹介する。このデータセットを使用して、説明可能なGECシステムのベースラインと分析を提案し、人間の評価によってその有用性を確認する。","headline":"GrammaticalErrorCorrectionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/GrammaticalErrorCorrection.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/GrammaticalErrorCorrection.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1010,32 +1010,32 @@ <h2 id="grammaticalerrorcorrection">GrammaticalErrorCorrection</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/PsychologicalScience.html" title="PsychologicalScienceに関する論文・技術記事メモの一覧">
-            PsychologicalScienceに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Faithfulness.html" title="Faithfulnessに関する論文・技術記事メモの一覧">
+            Faithfulnessに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/translation_required.html" title="translation_requiredに関する論文・技術記事メモの一覧">
-            translation_requiredに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PersonalizedGeneration.html" title="PersonalizedGenerationに関する論文・技術記事メモの一覧">
+            PersonalizedGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Planning.html" title="Planningに関する論文・技術記事メモの一覧">
-            Planningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/BeamSearch.html" title="BeamSearchに関する論文・技術記事メモの一覧">
+            BeamSearchに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/AutomaticPromptEngineering.html" title="AutomaticPromptEngineeringに関する論文・技術記事メモの一覧">
-            AutomaticPromptEngineeringに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LearningStyle.html" title="LearningStyleに関する論文・技術記事メモの一覧">
+            LearningStyleに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/GraphBased.html b/docs/articles/GraphBased.html
index a9f0282e6..67d194891 100644
--- a/docs/articles/GraphBased.html
+++ b/docs/articles/GraphBased.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/GraphBased.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="GraphBasedに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"GraphBased #Pocket#NLP#Prompting#AutomaticPromptEngineeringIssue Date: 2023-10-09 Graph Neural Prompting with Large Language Models, Yijun Tian+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）を知識グラフと組み合わせるための新しい手法であるGraph Neural Prompting（GNP）を提案しています。GNPは、標準的なグラフニューラルネットワークエンコーダやクロスモダリティプーリングモジュールなどの要素から構成されており、異なるLLMのサイズや設定において、常識的な推論タスクやバイオメディカル推論タスクで優れた性能を示すことが実験によって示されました。 Comment以下elvis氏のツイートの意訳事前学習されたLLMがKGから有益な知識を学習することを支援する手法を提案。元ツイート: https://arxiv.org/abs/2309.15427しっかり論文を読んでいないが、freezeしたLLMがあった時に、KGから求めたGraph Neural Prom ... #RecommenderSystems#CollaborativeFiltering#PocketIssue Date: 2023-04-26 Graph Collaborative Signals Denoising and Augmentation for Recommendation, Ziwei Fan+, N_A, SIGIR23 Summaryグラフ協調フィルタリング（GCF）は、推薦システムで人気のある技術ですが、相互作用が豊富なユーザーやアイテムにはノイズがあり、相互作用が不十分なユーザーやアイテムには不十分です。また、ユーザー-ユーザーおよびアイテム-アイテムの相関を無視しているため、有益な隣接ノードの範囲が制限される可能性があります。本研究では、ユーザー-ユーザーおよびアイテム-アイテムの相関を組み込んだ新しいグラフの隣接行列と、適切に設計されたユーザー-アイテムの相互作用行列を提案します。実験では、改善された隣接ノードと低密度を持つ強化されたユーザー-アイテムの相互作用行列が、グラフベースの推薦において重要な利点をもたらすことを示しています。また、ユーザー-ユーザーおよびアイテム-アイテムの相関を含めることで、相互作用が豊富なユーザーや不十分なユーザーに対する推薦が改善されることも示しています。 Commentグラフ協調フィルタリングを改善グラフ協調フィルタリング （下記ツイッターより引用） user-item間の関係だけでなく、user-user間とitem-item間の情報を組み込むことで精度向上を達成した論文とのこと。 https://twitter.com/nogawanogawa/status ... #Neural#Survey#NLPIssue Date: 2023-04-25 Graph Neural Networks for Text Classification: A Survey, Wang+, arXiv23 more","headline":"GraphBasedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/GraphBased.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/GraphBased.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"GraphBased #Pocket#NLP#Prompting#AutomaticPromptEngineeringIssue Date: 2023-10-09 Graph Neural Prompting with Large Language Models, Yijun Tian+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）を知識グラフと組み合わせるための新しい手法であるGraph Neural Prompting（GNP）を提案しています。GNPは、標準的なグラフニューラルネットワークエンコーダやクロスモダリティプーリングモジュールなどの要素から構成されており、異なるLLMのサイズや設定において、常識的な推論タスクやバイオメディカル推論タスクで優れた性能を示すことが実験によって示されました。 Comment以下elvis氏のツイートの意訳事前学習されたLLMがKGから有益な知識を学習することを支援する手法を提案。元ツイート: https://arxiv.org/abs/2309.15427しっかり論文を読んでいないが、freezeしたLLMがあった時に、KGから求めたGraph Neural Prom ... #RecommenderSystems#CollaborativeFiltering#PocketIssue Date: 2023-04-26 Graph Collaborative Signals Denoising and Augmentation for Recommendation, Ziwei Fan+, N_A, SIGIR23 Summaryグラフ協調フィルタリング（GCF）は、推薦システムで人気のある技術ですが、相互作用が豊富なユーザーやアイテムにはノイズがあり、相互作用が不十分なユーザーやアイテムには不十分です。また、ユーザー-ユーザーおよびアイテム-アイテムの相関を無視しているため、有益な隣接ノードの範囲が制限される可能性があります。本研究では、ユーザー-ユーザーおよびアイテム-アイテムの相関を組み込んだ新しいグラフの隣接行列と、適切に設計されたユーザー-アイテムの相互作用行列を提案します。実験では、改善された隣接ノードと低密度を持つ強化されたユーザー-アイテムの相互作用行列が、グラフベースの推薦において重要な利点をもたらすことを示しています。また、ユーザー-ユーザーおよびアイテム-アイテムの相関を含めることで、相互作用が豊富なユーザーや不十分なユーザーに対する推薦が改善されることも示しています。 Commentグラフ協調フィルタリングを改善グラフ協調フィルタリング （下記ツイッターより引用） user-item間の関係だけでなく、user-user間とitem-item間の情報を組み込むことで精度向上を達成した論文とのこと。 https://twitter.com/nogawanogawa/status ... #Neural#Survey#NLPIssue Date: 2023-04-25 Graph Neural Networks for Text Classification: A Survey, Wang+, arXiv23 more","headline":"GraphBasedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/GraphBased.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/GraphBased.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1069,32 +1069,32 @@ <h2 id="graphbased">GraphBased</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Document.html" title="Documentに関する論文・技術記事メモの一覧">
-            Documentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Efficiency_SpeedUp.html" title="Efficiency/SpeedUpに関する論文・技術記事メモの一覧">
+            Efficiency/SpeedUpに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NewsRecommendation.html" title="NewsRecommendationに関する論文・技術記事メモの一覧">
-            NewsRecommendationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Coherence.html" title="Coherenceに関する論文・技術記事メモの一覧">
+            Coherenceに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LLM-as-a-Judge.html" title="LLM-as-a-Judgeに関する論文・技術記事メモの一覧">
-            LLM-as-a-Judgeに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Single.html" title="Singleに関する論文・技術記事メモの一覧">
+            Singleに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/project_template.html" title="project_templateに関する論文・技術記事メモの一覧">
-            project_templateに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/KnowledgeTracing.html" title="KnowledgeTracingに関する論文・技術記事メモの一覧">
+            KnowledgeTracingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/GraphConvolutionalNetwork.html b/docs/articles/GraphConvolutionalNetwork.html
index 85ed62b60..a6067eee3 100644
--- a/docs/articles/GraphConvolutionalNetwork.html
+++ b/docs/articles/GraphConvolutionalNetwork.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/GraphConvolutionalNetwork.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="GraphConvolutionalNetworkに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"GraphConvolutionalNetwork #Neural#Education#EducationalDataMining#KnowledgeTracingIssue Date: 2021-07-08 GRAPH-BASED KNOWLEDGE TRACING: MODELING STUDENT PROFICIENCY USING GRAPH NEURAL NETWORK, Nakagawa+, Tokyo University, WI19 Commentgraph neural networkでKnoelwdge Tracingした論文。各conceptのproficiencyの可視化までしっかりやってそう。 ... #RecommenderSystems#Neural#GraphBased#PocketIssue Date: 2019-05-31 Graph Convolutional Neural Networks for Web-Scale Recommender Systems, Ying+, KDD18 #Neural#MachineLearning#GraphBased#PocketIssue Date: 2019-05-31 Modeling Relational Data with Graph Convolutional Networks, Michael Schlichtkrull+, N_A, arXiv17 Summary知識グラフは不完全な情報を含んでいるため、関係グラフ畳み込みネットワーク（R-GCNs）を使用して知識ベース補完タスクを行う。R-GCNsは、高度な多関係データに対処するために開発されたニューラルネットワークであり、エンティティ分類とリンク予測の両方で効果的であることを示している。さらに、エンコーダーモデルを使用してリンク予測の改善を行い、大幅な性能向上が見られた。 more","headline":"GraphConvolutionalNetworkに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/GraphConvolutionalNetwork.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/GraphConvolutionalNetwork.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"GraphConvolutionalNetwork #Neural#Education#EducationalDataMining#KnowledgeTracingIssue Date: 2021-07-08 GRAPH-BASED KNOWLEDGE TRACING: MODELING STUDENT PROFICIENCY USING GRAPH NEURAL NETWORK, Nakagawa+, Tokyo University, WI19 Commentgraph neural networkでKnoelwdge Tracingした論文。各conceptのproficiencyの可視化までしっかりやってそう。 ... #RecommenderSystems#Neural#GraphBased#PocketIssue Date: 2019-05-31 Graph Convolutional Neural Networks for Web-Scale Recommender Systems, Ying+, KDD18 #Neural#MachineLearning#GraphBased#PocketIssue Date: 2019-05-31 Modeling Relational Data with Graph Convolutional Networks, Michael Schlichtkrull+, N_A, arXiv17 Summary知識グラフは不完全な情報を含んでいるため、関係グラフ畳み込みネットワーク（R-GCNs）を使用して知識ベース補完タスクを行う。R-GCNsは、高度な多関係データに対処するために開発されたニューラルネットワークであり、エンティティ分類とリンク予測の両方で効果的であることを示している。さらに、エンコーダーモデルを使用してリンク予測の改善を行い、大幅な性能向上が見られた。 more","headline":"GraphConvolutionalNetworkに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/GraphConvolutionalNetwork.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/GraphConvolutionalNetwork.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1029,32 +1029,32 @@ <h2 id="graphconvolutionalnetwork">GraphConvolutionalNetwork</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Interleaved.html" title="Interleavedに関する論文・技術記事メモの一覧">
-            Interleavedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/GraphConvolutionalNetwork.html" title="GraphConvolutionalNetworkに関する論文・技術記事メモの一覧">
+            GraphConvolutionalNetworkに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/MachineTranslation.html" title="MachineTranslationに関する論文・技術記事メモの一覧">
-            MachineTranslationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NaturalLanguageUnderstanding.html" title="NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧">
+            NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LongSequence.html" title="LongSequenceに関する論文・技術記事メモの一覧">
-            LongSequenceに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/KnowledgeTracing.html" title="KnowledgeTracingに関する論文・技術記事メモの一覧">
+            KnowledgeTracingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Pocket.html" title="Pocketに関する論文・技術記事メモの一覧">
-            Pocketに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TextToImage.html" title="TextToImageに関する論文・技術記事メモの一覧">
+            TextToImageに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Grokking.html b/docs/articles/Grokking.html
index 1671d91c7..bffa7e875 100644
--- a/docs/articles/Grokking.html
+++ b/docs/articles/Grokking.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Grokking.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Grokkingに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Grokking #Neural#MachineLearning#PocketIssue Date: 2023-09-30 Explaining grokking through circuit efficiency, Vikrant Varma+, N_A, arXiv23 Summaryグロッキングとは、完璧なトレーニング精度を持つネットワークでも一般化が悪い現象のことである。この現象は、タスクが一般化する解と記憶する解の両方を許容する場合に起こると考えられている。一般化する解は学習が遅く、効率的であり、同じパラメータノルムでより大きなロジットを生成する。一方、記憶回路はトレーニングデータセットが大きくなるにつれて非効率になるが、一般化回路はそうではないと仮説が立てられている。これは、記憶と一般化が同じくらい効率的な臨界データセットサイズが存在することを示唆している。さらに、グロッキングに関して4つの新しい予測が立てられ、それらが確認され、説明が支持される重要な証拠が提供されている。また、グロッキング以外の2つの新しい現象も示されており、それはアングロッキングとセミグロッキングである。アングロッキングは完璧なテスト精度から低いテスト精度に逆戻りする現象であり、セミグロッキングは完璧なテスト精度ではなく部分的なテスト精度への遅れた一般化を示す現象である。 CommentGrokkingがいつ、なぜ発生するかを説明する理論を示した研究。理由としては、最初はmemorizationを学習していくのだが、ある時点から一般化回路であるGenに切り替わる。これが切り替わる理由としては、memorizationよりも、genの方がlossが小さくなるから、とのこと。これはよG ...","headline":"Grokkingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Grokking.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Grokking.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Grokking #Neural#MachineLearning#PocketIssue Date: 2023-09-30 Explaining grokking through circuit efficiency, Vikrant Varma+, N_A, arXiv23 Summaryグロッキングとは、完璧なトレーニング精度を持つネットワークでも一般化が悪い現象のことである。この現象は、タスクが一般化する解と記憶する解の両方を許容する場合に起こると考えられている。一般化する解は学習が遅く、効率的であり、同じパラメータノルムでより大きなロジットを生成する。一方、記憶回路はトレーニングデータセットが大きくなるにつれて非効率になるが、一般化回路はそうではないと仮説が立てられている。これは、記憶と一般化が同じくらい効率的な臨界データセットサイズが存在することを示唆している。さらに、グロッキングに関して4つの新しい予測が立てられ、それらが確認され、説明が支持される重要な証拠が提供されている。また、グロッキング以外の2つの新しい現象も示されており、それはアングロッキングとセミグロッキングである。アングロッキングは完璧なテスト精度から低いテスト精度に逆戻りする現象であり、セミグロッキングは完璧なテスト精度ではなく部分的なテスト精度への遅れた一般化を示す現象である。 CommentGrokkingがいつ、なぜ発生するかを説明する理論を示した研究。理由としては、最初はmemorizationを学習していくのだが、ある時点から一般化回路であるGenに切り替わる。これが切り替わる理由としては、memorizationよりも、genの方がlossが小さくなるから、とのこと。これはよG ...","headline":"Grokkingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Grokking.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Grokking.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1011,32 +1011,32 @@ <h2 id="grokking">Grokking</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ImplicitFeedback.html" title="ImplicitFeedbackに関する論文・技術記事メモの一覧">
-            ImplicitFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SearchEngine.html" title="SearchEngineに関する論文・技術記事メモの一覧">
+            SearchEngineに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/MachineTranslation.html" title="MachineTranslationに関する論文・技術記事メモの一覧">
-            MachineTranslationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NaturalLanguageGeneration.html" title="NaturalLanguageGenerationに関する論文・技術記事メモの一覧">
+            NaturalLanguageGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Self-SupervisedLearning.html" title="Self-SupervisedLearningに関する論文・技術記事メモの一覧">
-            Self-SupervisedLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PsychologicalScience.html" title="PsychologicalScienceに関する論文・技術記事メモの一覧">
+            PsychologicalScienceに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RepresentationLearning.html" title="RepresentationLearningに関する論文・技術記事メモの一覧">
-            RepresentationLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MulltiModal.html" title="MulltiModalに関する論文・技術記事メモの一覧">
+            MulltiModalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Hallucination.html b/docs/articles/Hallucination.html
index 74419b835..d33f95b6e 100644
--- a/docs/articles/Hallucination.html
+++ b/docs/articles/Hallucination.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Hallucination.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Hallucinationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Hallucination #Survey#Pocket#NLP#LanguageModelIssue Date: 2024-01-24 A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models, S. M Towhidul Islam Tonmoy+, N_A, arXiv24 Summary要約：本論文では、大規模言語モデル（LLMs）における幻覚の問題について調査し、その軽減策について紹介しています。LLMsは強力な言語生成能力を持っていますが、根拠のない情報を生成する傾向があります。この問題を解決するために、Retrieval Augmented Generation、Knowledge Retrieval、CoNLI、CoVeなどの技術が開発されています。さらに、データセットの利用やフィードバックメカニズムなどのパラメータに基づいてこれらの方法を分類し、幻覚の問題に取り組むためのアプローチを提案しています。また、これらの技術に関連する課題や制約についても分析し、将来の研究に向けた基盤を提供しています。 #Survey#Pocket#NLP#LanguageModelIssue Date: 2023-11-10 A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions, Lei Huang+, N_A, arXiv23 SummaryLLMsの出現はNLPにおける重要な進歩をもたらしているが、幻覚を生じることがあり、その信頼性に懸念がある。本調査では、LLMの幻覚に関する最近の進展について包括的に概説し、幻覚の要因や検出手法、軽減アプローチについて紹介する。また、現在の制約や将来の研究方向についても分析する。 CommentHallucinationを現象ごとに分類したSurveyとして #1048 もあるSurveyの内容。必要に応じて参照すべし。 ... #Survey#Pocket#NLP#LanguageModelIssue Date: 2023-09-30 A Survey of Hallucination in Large Foundation Models, Vipula Rawte+, N_A, arXiv23 Summary本研究では、大規模ファウンデーションモデル（LFMs）におけるホールシネーションの問題に焦点を当て、その現象を分類し、評価基準を確立するとともに、既存の戦略を検討し、今後の研究の方向性についても議論しています。 CommentHallucinationを現象ごとに分類し、Hallucinationの程度の評価をする指標や、Hallucinationを軽減するための既存手法についてまとめられているらしい。 ... more","headline":"Hallucinationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Hallucination.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Hallucination.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Hallucination #Survey#Pocket#NLP#LanguageModelIssue Date: 2024-01-24 A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models, S. M Towhidul Islam Tonmoy+, N_A, arXiv24 Summary要約：本論文では、大規模言語モデル（LLMs）における幻覚の問題について調査し、その軽減策について紹介しています。LLMsは強力な言語生成能力を持っていますが、根拠のない情報を生成する傾向があります。この問題を解決するために、Retrieval Augmented Generation、Knowledge Retrieval、CoNLI、CoVeなどの技術が開発されています。さらに、データセットの利用やフィードバックメカニズムなどのパラメータに基づいてこれらの方法を分類し、幻覚の問題に取り組むためのアプローチを提案しています。また、これらの技術に関連する課題や制約についても分析し、将来の研究に向けた基盤を提供しています。 #Survey#Pocket#NLP#LanguageModelIssue Date: 2023-11-10 A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions, Lei Huang+, N_A, arXiv23 SummaryLLMsの出現はNLPにおける重要な進歩をもたらしているが、幻覚を生じることがあり、その信頼性に懸念がある。本調査では、LLMの幻覚に関する最近の進展について包括的に概説し、幻覚の要因や検出手法、軽減アプローチについて紹介する。また、現在の制約や将来の研究方向についても分析する。 CommentHallucinationを現象ごとに分類したSurveyとして #1048 もあるSurveyの内容。必要に応じて参照すべし。 ... #Survey#Pocket#NLP#LanguageModelIssue Date: 2023-09-30 A Survey of Hallucination in Large Foundation Models, Vipula Rawte+, N_A, arXiv23 Summary本研究では、大規模ファウンデーションモデル（LFMs）におけるホールシネーションの問題に焦点を当て、その現象を分類し、評価基準を確立するとともに、既存の戦略を検討し、今後の研究の方向性についても議論しています。 CommentHallucinationを現象ごとに分類し、Hallucinationの程度の評価をする指標や、Hallucinationを軽減するための既存手法についてまとめられているらしい。 ... more","headline":"Hallucinationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Hallucination.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Hallucination.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -765,7 +765,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1052,32 +1052,32 @@ <h2 id="hallucination">Hallucination</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/TransferLearning.html" title="TransferLearningに関する論文・技術記事メモの一覧">
-            TransferLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Training-Free.html" title="Training-Freeに関する論文・技術記事メモの一覧">
+            Training-Freeに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DropoutPrediction.html" title="DropoutPredictionに関する論文・技術記事メモの一覧">
-            DropoutPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/post-pretraining.html" title="post-pretrainingに関する論文・技術記事メモの一覧">
+            post-pretrainingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Sentence.html" title="Sentenceに関する論文・技術記事メモの一覧">
-            Sentenceに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LM-based.html" title="LM-basedに関する論文・技術記事メモの一覧">
+            LM-basedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/EducationalDataMining.html" title="EducationalDataMiningに関する論文・技術記事メモの一覧">
-            EducationalDataMiningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Out-of-DistributionDetection.html" title="Out-of-DistributionDetectionに関する論文・技術記事メモの一覧">
+            Out-of-DistributionDetectionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/HumanComputerInteraction.html b/docs/articles/HumanComputerInteraction.html
index fda7facf8..02aa7050d 100644
--- a/docs/articles/HumanComputerInteraction.html
+++ b/docs/articles/HumanComputerInteraction.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/HumanComputerInteraction.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="HumanComputerInteractionに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"HumanComputerInteraction #Article#PersonalizationIssue Date: 2023-04-28 When does web-based personalization really work? The distinction between actual personalization and perceived personalization, Li Cong, Computers in human behavior, 2016 Commentpersonalizedされたメッセージに対するユーザーの認識は、メッセージの以前のpersonalize processに必ずしも依存するのではなく、受信したコンテンツが受信者の期待にどの程度一致しているかに依存することを明らかにした研究 ... #Article#PersonalizationIssue Date: 2023-04-28 Understanding the impact of web personalization on user information processing and decision outcomes, Tam+, MIS quarterly, 2006 Commentコンテンツのrelevancy, 自己言及的なコミュニケーション（名前を呼ぶ等）が、オンラインにおけるユーザの注意や認知プロセス、および意思決定に影響を与えることを示している。特に、これらが、パーソナライズされたコンテンツを受け入れ、意思決定を支援することにつながることを示している（らしい）。 か ... #Article#Classic#ContextAwareIssue Date: 2018-12-22 A Conceptual Framework and a Toolkit for Supporting the Rapid Prototyping of Context-Aware Applications, Dey+, HUMAN-COMPUTER INTERACTION, 2001, Volume 16, pp. 97–166 Comment論文中のcontextに関する定義がしばしば引用される： &quot;any information that can be used to characterize the situation of an entity. An entity is a person, place, or object ...","headline":"HumanComputerInteractionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/HumanComputerInteraction.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/HumanComputerInteraction.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"HumanComputerInteraction #Article#PersonalizationIssue Date: 2023-04-28 When does web-based personalization really work? The distinction between actual personalization and perceived personalization, Li Cong, Computers in human behavior, 2016 Commentpersonalizedされたメッセージに対するユーザーの認識は、メッセージの以前のpersonalize processに必ずしも依存するのではなく、受信したコンテンツが受信者の期待にどの程度一致しているかに依存することを明らかにした研究 ... #Article#PersonalizationIssue Date: 2023-04-28 Understanding the impact of web personalization on user information processing and decision outcomes, Tam+, MIS quarterly, 2006 Commentコンテンツのrelevancy, 自己言及的なコミュニケーション（名前を呼ぶ等）が、オンラインにおけるユーザの注意や認知プロセス、および意思決定に影響を与えることを示している。特に、これらが、パーソナライズされたコンテンツを受け入れ、意思決定を支援することにつながることを示している（らしい）。 か ... #Article#Classic#ContextAwareIssue Date: 2018-12-22 A Conceptual Framework and a Toolkit for Supporting the Rapid Prototyping of Context-Aware Applications, Dey+, HUMAN-COMPUTER INTERACTION, 2001, Volume 16, pp. 97–166 Comment論文中のcontextに関する定義がしばしば引用される： &quot;any information that can be used to characterize the situation of an entity. An entity is a person, place, or object ...","headline":"HumanComputerInteractionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/HumanComputerInteraction.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/HumanComputerInteraction.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1019,32 +1019,32 @@ <h2 id="humancomputerinteraction">HumanComputerInteraction</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Analysis.html" title="Analysisに関する論文・技術記事メモの一覧">
-            Analysisに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Others.html" title="Othersに関する論文・技術記事メモの一覧">
+            Othersに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LanguageModel.html" title="LanguageModelに関する論文・技術記事メモの一覧">
-            LanguageModelに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Optimizer.html" title="Optimizerに関する論文・技術記事メモの一覧">
+            Optimizerに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DynamicNetworks.html" title="DynamicNetworksに関する論文・技術記事メモの一覧">
-            DynamicNetworksに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Planning.html" title="Planningに関する論文・技術記事メモの一覧">
+            Planningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataGeneration.html" title="DataGenerationに関する論文・技術記事メモの一覧">
-            DataGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SyntheticData.html" title="SyntheticDataに関する論文・技術記事メモの一覧">
+            SyntheticDataに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/ILP.html b/docs/articles/ILP.html
index 6cb79ad05..2c65d0b04 100644
--- a/docs/articles/ILP.html
+++ b/docs/articles/ILP.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/ILP.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="ILPに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"ILP #PersonalizedDocumentSummarization#InteractivePersonalizedSummarization#NLPIssue Date: 2017-12-28 Joint Optimization of User-desired Content in Multi-document Summaries by Learning from User Feedback, P.V.S+, ACL17, 34 Comment# 一言で言うと ユーザとインタラクションしながら重要なコンセプトを決め、そのコンセプトが含まれるようにILPな手法で要約を生成するPDS手法。Interactive Personalized Summarizationと似ている（似ているが引用していない、引用した方がよいのでは）。 # 手 ... #Multi#DocumentSummarization#Document#NLP#ExtractiveIssue Date: 2018-01-17 A study of global inference algorithms in multi-document summarization, Ryan McDonald, ECIR07 Comment文書要約をナップサック問題として定式化し、厳密解（動的計画法、ILP Formulation）、近似解(Greedy)を求める手法を提案。 ... #Article#DocumentSummarization#NLP#UpdateIssue Date: 2017-12-28 Improving Update Summarization via Supervised ILP and Sentence Reranking, Li et al. NAACL’15 Comment・update summarizationをILPで定式化．基本的なMDSのILPのterm weightingにsalienceの要素に加えてnoveltyの要素を加える．term weightingにはbigramを用いる．bigram使うとよくなることがupdate summarization ...","headline":"ILPに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ILP.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ILP.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"ILP #PersonalizedDocumentSummarization#InteractivePersonalizedSummarization#NLPIssue Date: 2017-12-28 Joint Optimization of User-desired Content in Multi-document Summaries by Learning from User Feedback, P.V.S+, ACL17, 34 Comment# 一言で言うと ユーザとインタラクションしながら重要なコンセプトを決め、そのコンセプトが含まれるようにILPな手法で要約を生成するPDS手法。Interactive Personalized Summarizationと似ている（似ているが引用していない、引用した方がよいのでは）。 # 手 ... #Multi#DocumentSummarization#Document#NLP#ExtractiveIssue Date: 2018-01-17 A study of global inference algorithms in multi-document summarization, Ryan McDonald, ECIR07 Comment文書要約をナップサック問題として定式化し、厳密解（動的計画法、ILP Formulation）、近似解(Greedy)を求める手法を提案。 ... #Article#DocumentSummarization#NLP#UpdateIssue Date: 2017-12-28 Improving Update Summarization via Supervised ILP and Sentence Reranking, Li et al. NAACL’15 Comment・update summarizationをILPで定式化．基本的なMDSのILPのterm weightingにsalienceの要素に加えてnoveltyの要素を加える．term weightingにはbigramを用いる．bigram使うとよくなることがupdate summarization ...","headline":"ILPに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ILP.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ILP.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1019,32 +1019,32 @@ <h2 id="ilp">ILP</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Explanation.html" title="Explanationに関する論文・技術記事メモの一覧">
-            Explanationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SyntheticData.html" title="SyntheticDataに関する論文・技術記事メモの一覧">
+            SyntheticDataに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Assessment.html" title="Assessmentに関する論文・技術記事メモの一覧">
-            Assessmentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/GenerativeAdversarialNetwork.html" title="GenerativeAdversarialNetworkに関する論文・技術記事メモの一覧">
+            GenerativeAdversarialNetworkに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NLP.html" title="NLPに関する論文・技術記事メモの一覧">
-            NLPに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Classic.html" title="Classicに関する論文・技術記事メモの一覧">
+            Classicに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ContextWindow.html" title="ContextWindowに関する論文・技術記事メモの一覧">
-            ContextWindowに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LLM-as-a-Judge.html" title="LLM-as-a-Judgeに関する論文・技術記事メモの一覧">
+            LLM-as-a-Judgeに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/IRT.html b/docs/articles/IRT.html
index e96995945..a7e6f1459 100644
--- a/docs/articles/IRT.html
+++ b/docs/articles/IRT.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/IRT.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="IRTに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"IRT #Education#AssessmentIssue Date: 2022-11-25 Machine Learning–Driven Language Assessment, LaFlair+, TACL20","headline":"IRTに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/IRT.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/IRT.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"IRT #Education#AssessmentIssue Date: 2022-11-25 Machine Learning–Driven Language Assessment, LaFlair+, TACL20","headline":"IRTに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/IRT.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/IRT.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1009,32 +1009,32 @@ <h2 id="irt">IRT</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Discourse.html" title="Discourseに関する論文・技術記事メモの一覧">
-            Discourseに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataToText.html" title="DataToTextに関する論文・技術記事メモの一覧">
+            DataToTextに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/HumanComputerInteraction.html" title="HumanComputerInteractionに関する論文・技術記事メモの一覧">
-            HumanComputerInteractionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NewsCitations.html" title="NewsCitationsに関する論文・技術記事メモの一覧">
+            NewsCitationsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/MLOps.html" title="MLOpsに関する論文・技術記事メモの一覧">
-            MLOpsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/RuleBased.html" title="RuleBasedに関する論文・技術記事メモの一覧">
+            RuleBasedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Neural.html" title="Neuralに関する論文・技術記事メモの一覧">
-            Neuralに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CodeGeneration.html" title="CodeGenerationに関する論文・技術記事メモの一覧">
+            CodeGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/ImageCaptioning.html b/docs/articles/ImageCaptioning.html
index 1c57e9521..434856fe7 100644
--- a/docs/articles/ImageCaptioning.html
+++ b/docs/articles/ImageCaptioning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/ImageCaptioning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="ImageCaptioningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"ImageCaptioning #NLP#HallucinationIssue Date: 2023-08-16 Object hallucination in image captioning, Rohbach+, EMNLP18 Summary現代の画像キャプションモデルは、オブジェクトの幻覚を生じる傾向がある。本研究では、新しい画像関連性の評価指標を提案し、モデルのアーキテクチャや学習目標が幻覚にどのように寄与するかを評価する。さらに、言語の先入観によるエラーが幻覚を引き起こすことも示された。 #DocumentSummarization#ComputerVision#NaturalLanguageGeneration#Pocket#NLP#Evaluation#Reference-basedIssue Date: 2023-05-10 CIDEr: Consensus-based Image Description Evaluation, Ramakrishna Vedantam+, N_A, CVPR15 Summary画像を文章で自動的に説明することは、長年の課題である。本研究では、人間の合意を利用した画像説明の評価のための新しいパラダイムを提案し、新しい自動評価指標と2つの新しいデータセットを含む。提案手法は、人間の判断をより正確に捉えることができ、5つの最先端の画像説明手法を評価し、将来の比較のためのベンチマークを提供する。CIDEr-Dは、MS COCO評価サーバーの一部として利用可能であり、システマティックな評価とベンチマークを可能にする。 #Article#Survey#ComputerVision#NaturalLanguageGeneration#NLP#LanguageModel#DiffusionModelIssue Date: 2023-11-02 Zero-shot Learning網羅的サーベイ: CLIPが切り開いたVision &amp; Languageの新しい世界 Commentこれはすごいまとめ…。まだ途中までしか読めていない。CLIPからスタートしてCLIPを引用している論文から重要なものを概要付きでまとめている。 ... more","headline":"ImageCaptioningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ImageCaptioning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ImageCaptioning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"ImageCaptioning #NLP#HallucinationIssue Date: 2023-08-16 Object hallucination in image captioning, Rohbach+, EMNLP18 Summary現代の画像キャプションモデルは、オブジェクトの幻覚を生じる傾向がある。本研究では、新しい画像関連性の評価指標を提案し、モデルのアーキテクチャや学習目標が幻覚にどのように寄与するかを評価する。さらに、言語の先入観によるエラーが幻覚を引き起こすことも示された。 #DocumentSummarization#ComputerVision#NaturalLanguageGeneration#Pocket#NLP#Evaluation#Reference-basedIssue Date: 2023-05-10 CIDEr: Consensus-based Image Description Evaluation, Ramakrishna Vedantam+, N_A, CVPR15 Summary画像を文章で自動的に説明することは、長年の課題である。本研究では、人間の合意を利用した画像説明の評価のための新しいパラダイムを提案し、新しい自動評価指標と2つの新しいデータセットを含む。提案手法は、人間の判断をより正確に捉えることができ、5つの最先端の画像説明手法を評価し、将来の比較のためのベンチマークを提供する。CIDEr-Dは、MS COCO評価サーバーの一部として利用可能であり、システマティックな評価とベンチマークを可能にする。 #Article#Survey#ComputerVision#NaturalLanguageGeneration#NLP#LanguageModel#DiffusionModelIssue Date: 2023-11-02 Zero-shot Learning網羅的サーベイ: CLIPが切り開いたVision &amp; Languageの新しい世界 Commentこれはすごいまとめ…。まだ途中までしか読めていない。CLIPからスタートしてCLIPを引用している論文から重要なものを概要付きでまとめている。 ... more","headline":"ImageCaptioningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ImageCaptioning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ImageCaptioning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1024,32 +1024,32 @@ <h2 id="imagecaptioning">ImageCaptioning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ContrastiveLearning.html" title="ContrastiveLearningに関する論文・技術記事メモの一覧">
-            ContrastiveLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Library.html" title="Libraryに関する論文・技術記事メモの一覧">
+            Libraryに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NaturalLanguageGeneration.html" title="NaturalLanguageGenerationに関する論文・技術記事メモの一覧">
-            NaturalLanguageGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Explanation.html" title="Explanationに関する論文・技術記事メモの一覧">
+            Explanationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PersonalizedHeadlineGeneration.html" title="PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧">
-            PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InductiveBias.html" title="InductiveBiasに関する論文・技術記事メモの一覧">
+            InductiveBiasに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ImageCaptioning.html" title="ImageCaptioningに関する論文・技術記事メモの一覧">
-            ImageCaptioningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MultiLingual.html" title="MultiLingualに関する論文・技術記事メモの一覧">
+            MultiLingualに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/ImageSegmentation.html b/docs/articles/ImageSegmentation.html
index a57dc730f..c8d97b2f2 100644
--- a/docs/articles/ImageSegmentation.html
+++ b/docs/articles/ImageSegmentation.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/ImageSegmentation.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="ImageSegmentationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"ImageSegmentation #ComputerVision#Pocket#Prompting#In-ContextLearningIssue Date: 2023-11-23 Visual In-Context Prompting, Feng Li+, N_A, arXiv23 Summary本研究では、ビジョン領域における汎用的なビジュアルインコンテキストプロンプティングフレームワークを提案します。エンコーダーデコーダーアーキテクチャを使用し、さまざまなプロンプトをサポートするプロンプトエンコーダーを開発しました。さらに、任意の数の参照画像セグメントをコンテキストとして受け取るように拡張しました。実験結果から、提案手法が非凡な参照および一般的なセグメンテーション能力を引き出し、競争力のあるパフォーマンスを示すことがわかりました。 CommentImage Segmentationには、ユーザが与えたプロンプトと共通のコンセプトを持つすべてのオブジェクトをセグメンテーションするタスクと、ユーザの入力の特定のオブジェクトのみをセグメンテーションするタスクがある。従来は個別のタスクごとに、特定の入力方法（Visual Prompt, Image ... #ComputerVision#Zero/Few-shotIssue Date: 2023-04-25 Track Anything: Segment Anything Meets Videos, yang+, SUSTech VIP Lab, arXiv23 CommentMetaのSAMを、videoに適用し、videow内のsegmentationを追加学習なしでやりました、という話だと思われる。 ...","headline":"ImageSegmentationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ImageSegmentation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ImageSegmentation.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"ImageSegmentation #ComputerVision#Pocket#Prompting#In-ContextLearningIssue Date: 2023-11-23 Visual In-Context Prompting, Feng Li+, N_A, arXiv23 Summary本研究では、ビジョン領域における汎用的なビジュアルインコンテキストプロンプティングフレームワークを提案します。エンコーダーデコーダーアーキテクチャを使用し、さまざまなプロンプトをサポートするプロンプトエンコーダーを開発しました。さらに、任意の数の参照画像セグメントをコンテキストとして受け取るように拡張しました。実験結果から、提案手法が非凡な参照および一般的なセグメンテーション能力を引き出し、競争力のあるパフォーマンスを示すことがわかりました。 CommentImage Segmentationには、ユーザが与えたプロンプトと共通のコンセプトを持つすべてのオブジェクトをセグメンテーションするタスクと、ユーザの入力の特定のオブジェクトのみをセグメンテーションするタスクがある。従来は個別のタスクごとに、特定の入力方法（Visual Prompt, Image ... #ComputerVision#Zero/Few-shotIssue Date: 2023-04-25 Track Anything: Segment Anything Meets Videos, yang+, SUSTech VIP Lab, arXiv23 CommentMetaのSAMを、videoに適用し、videow内のsegmentationを追加学習なしでやりました、という話だと思われる。 ...","headline":"ImageSegmentationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ImageSegmentation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ImageSegmentation.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1014,32 +1014,32 @@ <h2 id="imagesegmentation">ImageSegmentation</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ScorePrediction.html" title="ScorePredictionに関する論文・技術記事メモの一覧">
-            ScorePredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/GraphConvolutionalNetwork.html" title="GraphConvolutionalNetworkに関する論文・技術記事メモの一覧">
+            GraphConvolutionalNetworkに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RepresentationLearning.html" title="RepresentationLearningに関する論文・技術記事メモの一覧">
-            RepresentationLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TransferLearning.html" title="TransferLearningに関する論文・技術記事メモの一覧">
+            TransferLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NewsCitations.html" title="NewsCitationsに関する論文・技術記事メモの一覧">
-            NewsCitationsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PPO.html" title="PPOに関する論文・技術記事メモの一覧">
+            PPOに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/CVRPrediction.html" title="CVRPredictionに関する論文・技術記事メモの一覧">
-            CVRPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ExplicitFeedback.html" title="ExplicitFeedbackに関する論文・技術記事メモの一覧">
+            ExplicitFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/ImplicitFeedback.html b/docs/articles/ImplicitFeedback.html
index 07264c0fd..546fe4c06 100644
--- a/docs/articles/ImplicitFeedback.html
+++ b/docs/articles/ImplicitFeedback.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/ImplicitFeedback.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="ImplicitFeedbackに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"ImplicitFeedback #Article#Survey#InformationRetrieval#RelevanceFeedbackIssue Date: 2018-01-01 Evaluating implicit measures to improve web search, Fox+, ACM Transactions on Imformation Systems, 2005","headline":"ImplicitFeedbackに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ImplicitFeedback.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ImplicitFeedback.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"ImplicitFeedback #Article#Survey#InformationRetrieval#RelevanceFeedbackIssue Date: 2018-01-01 Evaluating implicit measures to improve web search, Fox+, ACM Transactions on Imformation Systems, 2005","headline":"ImplicitFeedbackに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ImplicitFeedback.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ImplicitFeedback.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1009,32 +1009,32 @@ <h2 id="implicitfeedback">ImplicitFeedback</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Others.html" title="Othersに関する論文・技術記事メモの一覧">
-            Othersに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Adapter_LoRA.html" title="Adapter/LoRAに関する論文・技術記事メモの一覧">
+            Adapter/LoRAに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Hallucination.html" title="Hallucinationに関する論文・技術記事メモの一覧">
-            Hallucinationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ConceptToText.html" title="ConceptToTextに関する論文・技術記事メモの一覧">
+            ConceptToTextに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NewsRecommendation.html" title="NewsRecommendationに関する論文・技術記事メモの一覧">
-            NewsRecommendationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Extractive.html" title="Extractiveに関する論文・技術記事メモの一覧">
+            Extractiveに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/AutoML.html" title="AutoMLに関する論文・技術記事メモの一覧">
-            AutoMLに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/FoundationModel.html" title="FoundationModelに関する論文・技術記事メモの一覧">
+            FoundationModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/In-ContextLearning.html b/docs/articles/In-ContextLearning.html
index 5d97c190d..4b041b490 100644
--- a/docs/articles/In-ContextLearning.html
+++ b/docs/articles/In-ContextLearning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/In-ContextLearning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="In-ContextLearningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"In-ContextLearning #NLP#LanguageModel#AlignmentIssue Date: 2023-12-05 The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context Learning, Bill Yuchen Lin+, N_A, arXiv23 Summaryアラインメント調整は、大規模言語モデル（LLMs）のパフォーマンスを向上させるために使用されます。しかし、アラインメント調整の効果は「表面的」である可能性があります。この研究では、基本的なLLMとアラインメント調整されたバージョンのトークン分布のシフトを分析しました。結果は、アラインメント調整が主にスタイルトークンに影響を与えることを示しました。さらに、シンプルでチューニングフリーなアラインメント手法であるURIALを導入し、基本的なLLMのパフォーマンスを向上させることができることを示しました。これらの結果から、アラインメントのより深い分析と理論的な理解が重要であることが示唆されます。 Commentモデルの知識はPre-training時に十分獲得されており、モデルのAlignmentをとることで生じるものは表面的な変化のみであるという仮説がある #700 。この仮説に関して分析をし、結果的にスタイリスティックな情報を生成する部分でAlignmentの有無で違いが生じることを明らかにし、そうで ... #ComputerVision#Pocket#ImageSegmentation#PromptingIssue Date: 2023-11-23 Visual In-Context Prompting, Feng Li+, N_A, arXiv23 Summary本研究では、ビジョン領域における汎用的なビジュアルインコンテキストプロンプティングフレームワークを提案します。エンコーダーデコーダーアーキテクチャを使用し、さまざまなプロンプトをサポートするプロンプトエンコーダーを開発しました。さらに、任意の数の参照画像セグメントをコンテキストとして受け取るように拡張しました。実験結果から、提案手法が非凡な参照および一般的なセグメンテーション能力を引き出し、競争力のあるパフォーマンスを示すことがわかりました。 CommentImage Segmentationには、ユーザが与えたプロンプトと共通のコンセプトを持つすべてのオブジェクトをセグメンテーションするタスクと、ユーザの入力の特定のオブジェクトのみをセグメンテーションするタスクがある。従来は個別のタスクごとに、特定の入力方法（Visual Prompt, Image ... #Pocket#NLP#LanguageModelIssue Date: 2023-10-26 In-Context Learning Creates Task Vectors, Roee Hendel+, N_A, arXiv23 Summary大規模言語モデル（LLMs）におけるインコンテキスト学習（ICL）の基本的なメカニズムはまだ十分に理解されていない。本研究では、ICLによって学習される関数が非常に単純な構造を持つことを示し、ICLがトランスフォーマーLLMを使用して単一のタスクベクトルを生成し、それを使用して出力を生成するということを明らかにする。さまざまなモデルとタスクにわたる実験によって、この主張を支持している。 Comment参考: https://x.com/hillbig/status/1717302086587875395?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-QICLが実現可能なのは実はネットワーク内部で与えられたdemonstrationに対して勾配効果法を再現しているからです、という研究もあ ... more","headline":"In-ContextLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/In-ContextLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/In-ContextLearning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"In-ContextLearning #NLP#LanguageModel#AlignmentIssue Date: 2023-12-05 The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context Learning, Bill Yuchen Lin+, N_A, arXiv23 Summaryアラインメント調整は、大規模言語モデル（LLMs）のパフォーマンスを向上させるために使用されます。しかし、アラインメント調整の効果は「表面的」である可能性があります。この研究では、基本的なLLMとアラインメント調整されたバージョンのトークン分布のシフトを分析しました。結果は、アラインメント調整が主にスタイルトークンに影響を与えることを示しました。さらに、シンプルでチューニングフリーなアラインメント手法であるURIALを導入し、基本的なLLMのパフォーマンスを向上させることができることを示しました。これらの結果から、アラインメントのより深い分析と理論的な理解が重要であることが示唆されます。 Commentモデルの知識はPre-training時に十分獲得されており、モデルのAlignmentをとることで生じるものは表面的な変化のみであるという仮説がある #700 。この仮説に関して分析をし、結果的にスタイリスティックな情報を生成する部分でAlignmentの有無で違いが生じることを明らかにし、そうで ... #ComputerVision#Pocket#ImageSegmentation#PromptingIssue Date: 2023-11-23 Visual In-Context Prompting, Feng Li+, N_A, arXiv23 Summary本研究では、ビジョン領域における汎用的なビジュアルインコンテキストプロンプティングフレームワークを提案します。エンコーダーデコーダーアーキテクチャを使用し、さまざまなプロンプトをサポートするプロンプトエンコーダーを開発しました。さらに、任意の数の参照画像セグメントをコンテキストとして受け取るように拡張しました。実験結果から、提案手法が非凡な参照および一般的なセグメンテーション能力を引き出し、競争力のあるパフォーマンスを示すことがわかりました。 CommentImage Segmentationには、ユーザが与えたプロンプトと共通のコンセプトを持つすべてのオブジェクトをセグメンテーションするタスクと、ユーザの入力の特定のオブジェクトのみをセグメンテーションするタスクがある。従来は個別のタスクごとに、特定の入力方法（Visual Prompt, Image ... #Pocket#NLP#LanguageModelIssue Date: 2023-10-26 In-Context Learning Creates Task Vectors, Roee Hendel+, N_A, arXiv23 Summary大規模言語モデル（LLMs）におけるインコンテキスト学習（ICL）の基本的なメカニズムはまだ十分に理解されていない。本研究では、ICLによって学習される関数が非常に単純な構造を持つことを示し、ICLがトランスフォーマーLLMを使用して単一のタスクベクトルを生成し、それを使用して出力を生成するということを明らかにする。さまざまなモデルとタスクにわたる実験によって、この主張を支持している。 Comment参考: https://x.com/hillbig/status/1717302086587875395?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-QICLが実現可能なのは実はネットワーク内部で与えられたdemonstrationに対して勾配効果法を再現しているからです、という研究もあ ... more","headline":"In-ContextLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/In-ContextLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/In-ContextLearning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1055,32 +1055,32 @@ <h2 id="in-contextlearning">In-ContextLearning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Tutorial.html" title="Tutorialに関する論文・技術記事メモの一覧">
-            Tutorialに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Infrastructure.html" title="Infrastructureに関する論文・技術記事メモの一覧">
+            Infrastructureに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Quantization.html" title="Quantizationに関する論文・技術記事メモの一覧">
-            Quantizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AWS.html" title="AWSに関する論文・技術記事メモの一覧">
+            AWSに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Comments.html" title="Commentsに関する論文・技術記事メモの一覧">
-            Commentsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CodeGeneration.html" title="CodeGenerationに関する論文・技術記事メモの一覧">
+            CodeGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningAnalytics.html" title="LearningAnalyticsに関する論文・技術記事メモの一覧">
-            LearningAnalyticsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Ensemble.html" title="Ensembleに関する論文・技術記事メモの一覧">
+            Ensembleに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/InductiveBias.html b/docs/articles/InductiveBias.html
index bc880c486..89aca9202 100644
--- a/docs/articles/InductiveBias.html
+++ b/docs/articles/InductiveBias.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/InductiveBias.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="InductiveBiasに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"InductiveBias #NLP#In-ContextLearningIssue Date: 2023-07-15 Measuring Inductive Biases of In-Context Learning with Underspecified Demonstrations, ACL23 Summaryインコンテキスト学習（ICL）は、大規模言語モデル（LLMs）を新しいタスクに適応させるための重要なパラダイムですが、ICLの一般化の振る舞いはまだ十分に理解されていません。本研究では、ICLの帰納的なバイアスについて調査を行いました。具体的には、不完全なデモンストレーションが与えられた場合、ICLはどのフィーチャーをより頻繁に使用する傾向があるのかを調べました。実験の結果、LLMsが明確なフィーチャーバイアスを示すことがわかりました。また、特定のフィーチャーを好むような帰納的なバイアスを課すためのさまざまな介入の効果も評価しました。全体として、ICLがより頻繁に利用する可能性のあるフィーチャーのタイプと、意図したタスクとより一致した帰納的なバイアスを課す方法について、より広範な情報を提供する結果となりました。 #Article#ComputerVision#FoundationModelIssue Date: 2023-07-12 Objaverse-XL: A Universe of 10M+ 3D Objects Comment10Mを超える3D objectのデータセットを公開し、3D Modelの基盤モデルとしてZero123-XLを訓練。元ツイートのGifがわかりやすい。https://twitter.com/mattdeitke/status/1678855859089326080?s=46&t=8VBxVyn ...","headline":"InductiveBiasに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/InductiveBias.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/InductiveBias.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"InductiveBias #NLP#In-ContextLearningIssue Date: 2023-07-15 Measuring Inductive Biases of In-Context Learning with Underspecified Demonstrations, ACL23 Summaryインコンテキスト学習（ICL）は、大規模言語モデル（LLMs）を新しいタスクに適応させるための重要なパラダイムですが、ICLの一般化の振る舞いはまだ十分に理解されていません。本研究では、ICLの帰納的なバイアスについて調査を行いました。具体的には、不完全なデモンストレーションが与えられた場合、ICLはどのフィーチャーをより頻繁に使用する傾向があるのかを調べました。実験の結果、LLMsが明確なフィーチャーバイアスを示すことがわかりました。また、特定のフィーチャーを好むような帰納的なバイアスを課すためのさまざまな介入の効果も評価しました。全体として、ICLがより頻繁に利用する可能性のあるフィーチャーのタイプと、意図したタスクとより一致した帰納的なバイアスを課す方法について、より広範な情報を提供する結果となりました。 #Article#ComputerVision#FoundationModelIssue Date: 2023-07-12 Objaverse-XL: A Universe of 10M+ 3D Objects Comment10Mを超える3D objectのデータセットを公開し、3D Modelの基盤モデルとしてZero123-XLを訓練。元ツイートのGifがわかりやすい。https://twitter.com/mattdeitke/status/1678855859089326080?s=46&t=8VBxVyn ...","headline":"InductiveBiasに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/InductiveBias.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/InductiveBias.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1013,32 +1013,32 @@ <h2 id="inductivebias">InductiveBias</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/TrainedMetrics.html" title="TrainedMetricsに関する論文・技術記事メモの一覧">
-            TrainedMetricsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/StructuredLearning.html" title="StructuredLearningに関する論文・技術記事メモの一覧">
+            StructuredLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/FactorizationMachines.html" title="FactorizationMachinesに関する論文・技術記事メモの一覧">
-            FactorizationMachinesに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Metrics.html" title="Metricsに関する論文・技術記事メモの一覧">
+            Metricsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Proprietary.html" title="Proprietaryに関する論文・技術記事メモの一覧">
-            Proprietaryに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CollaborativeFiltering.html" title="CollaborativeFilteringに関する論文・技術記事メモの一覧">
+            CollaborativeFilteringに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Repository.html" title="Repositoryに関する論文・技術記事メモの一覧">
-            Repositoryに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Proprietary.html" title="Proprietaryに関する論文・技術記事メモの一覧">
+            Proprietaryに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/InformationExtraction.html b/docs/articles/InformationExtraction.html
index 0247db1ec..f5d36847a 100644
--- a/docs/articles/InformationExtraction.html
+++ b/docs/articles/InformationExtraction.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/InformationExtraction.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="InformationExtractionに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"InformationExtraction #NLP#Assessment#ChatGPTIssue Date: 2023-04-25 Evaluating ChatGPTs Information Extraction Capabilities: An Assessment of Performance, Explainability, Calibration, and Faithfulness, Li+, Peking University, arXiv23 Comment情報抽出タスクにおいてChatGPTを評価した研究。スタンダードなIEの設定ではBERTベースのモデルに負けるが、OpenIEの場合は高い性能を示した。また、ChatGPTは予測に対してクオリティが高く信頼に足る説明をしたが、一方で自信過剰な傾向がある。また、ChatGPTの予測はinput teあ ... #Article#NLP#ArticleIssue Date: 2024-01-16 LLMにおける情報抽出（文章から必要な事柄を読み取る）タスクについての調査, AIDB","headline":"InformationExtractionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/InformationExtraction.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/InformationExtraction.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"InformationExtraction #NLP#Assessment#ChatGPTIssue Date: 2023-04-25 Evaluating ChatGPTs Information Extraction Capabilities: An Assessment of Performance, Explainability, Calibration, and Faithfulness, Li+, Peking University, arXiv23 Comment情報抽出タスクにおいてChatGPTを評価した研究。スタンダードなIEの設定ではBERTベースのモデルに負けるが、OpenIEの場合は高い性能を示した。また、ChatGPTは予測に対してクオリティが高く信頼に足る説明をしたが、一方で自信過剰な傾向がある。また、ChatGPTの予測はinput teあ ... #Article#NLP#ArticleIssue Date: 2024-01-16 LLMにおける情報抽出（文章から必要な事柄を読み取る）タスクについての調査, AIDB","headline":"InformationExtractionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/InformationExtraction.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/InformationExtraction.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1012,32 +1012,32 @@ <h2 id="informationextraction">InformationExtraction</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/OptionTracing.html" title="OptionTracingに関する論文・技術記事メモの一覧">
-            OptionTracingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Analysis.html" title="Analysisに関する論文・技術記事メモの一覧">
+            Analysisに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataDistillation.html" title="DataDistillationに関する論文・技術記事メモの一覧">
-            DataDistillationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CommentGeneration.html" title="CommentGenerationに関する論文・技術記事メモの一覧">
+            CommentGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/HumanComputerInteraction.html" title="HumanComputerInteractionに関する論文・技術記事メモの一覧">
-            HumanComputerInteractionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CoT.html" title="CoTに関する論文・技術記事メモの一覧">
+            CoTに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Single.html" title="Singleに関する論文・技術記事メモの一覧">
-            Singleに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Zero_Few-shot.html" title="Zero/Few-shotに関する論文・技術記事メモの一覧">
+            Zero/Few-shotに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/InformationRetrieval.html b/docs/articles/InformationRetrieval.html
index 3993a8945..211551b27 100644
--- a/docs/articles/InformationRetrieval.html
+++ b/docs/articles/InformationRetrieval.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/InformationRetrieval.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="InformationRetrievalに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"InformationRetrieval #Pocket#NLP#CoT#RetrievalAugmentedGenerationIssue Date: 2024-04-14 RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation, Zihao Wang+, N_A, arXiv24 Summary大規模言語モデルの推論および生成能力を向上させ、幻覚を軽減する方法として、情報検索を利用して思考の連鎖を修正する「retrieval-augmented thoughts（RAT）」が提案された。この方法は、ゼロショットのCoTが生成された後、取得した情報を使用して各思考ステップを修正する。GPT-3.5、GPT-4、およびCodeLLaMA-7bにRATを適用することで、コード生成、数学的推論、創造的な執筆、具体的なタスク計画などのタスクでパフォーマンスが大幅に向上した。デモページはhttps://craftjarvis.github.io/RATで利用可能。 CommentRAGにおいてCoTさせる際に、各reasoningのstepを見直させることでより質の高いreasoningを生成するRATを提案。Hallucinationが低減し、生成のパフォーマンスも向上するとのこと。コンセプト自体はそりゃそうだよねという話なので、RAGならではの課題があり、それを解決した ... #Pocket#NLP#LanguageModel#Finetuning#RetrievalAugmentedGenerationIssue Date: 2024-04-07 RAFT: Adapting Language Model to Domain Specific RAG, Tianjun Zhang+, N_A, arXiv24 Summary大規模なテキストデータのLLMsを事前学習し、新しい知識を追加するためのRetrieval Augmented FineTuning（RAFT）を提案。RAFTは、質問に回答するのに役立つ関連文書から正しいシーケンスを引用し、chain-of-thoughtスタイルの応答を通じて推論能力を向上させる。RAFTはPubMed、HotpotQA、Gorillaデータセットでモデルのパフォーマンスを向上させ、事前学習済みLLMsをドメイン固有のRAGに向けて改善する。 CommentQuestion, instruction, coxtext, cot style answerの4つを用いてSFTをする模様画像は下記ツイートより引用https://x.com/cwolferesearch/status/1770912695765660139?s=46&t=Y6UuIHB0 ... #Pocket#NLP#LanguageModel#Prompting#ReasoningIssue Date: 2024-04-07 RankPrompt: Step-by-Step Comparisons Make Language Models Better Reasoners, Chi Hu+, N_A, arXiv24 SummaryLLMsは推論タスクで優れた性能を発揮しているが、論理エラーが起こりやすい。RankPromptという新しいプロンプティング方法を導入し、LLMsが自己ランク付けを行い推論パフォーマンスを向上させる。実験では、RankPromptがChatGPTやGPT-4の推論パフォーマンスを13%向上させ、AlpacaEvalデータセットで人間の判断と74%の一致率を示すことが示された。RankPromptは言語モデルから高品質なフィードバックを引き出す効果的な方法であることが示された。 CommentLLMでランキングをするためのプロンプト手法。大量の候補をランキングするのは困難だと思われるが、リランキング手法としては利用できる可能性がある ... more","headline":"InformationRetrievalに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/InformationRetrieval.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/InformationRetrieval.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"InformationRetrieval #Pocket#NLP#CoT#RetrievalAugmentedGenerationIssue Date: 2024-04-14 RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation, Zihao Wang+, N_A, arXiv24 Summary大規模言語モデルの推論および生成能力を向上させ、幻覚を軽減する方法として、情報検索を利用して思考の連鎖を修正する「retrieval-augmented thoughts（RAT）」が提案された。この方法は、ゼロショットのCoTが生成された後、取得した情報を使用して各思考ステップを修正する。GPT-3.5、GPT-4、およびCodeLLaMA-7bにRATを適用することで、コード生成、数学的推論、創造的な執筆、具体的なタスク計画などのタスクでパフォーマンスが大幅に向上した。デモページはhttps://craftjarvis.github.io/RATで利用可能。 CommentRAGにおいてCoTさせる際に、各reasoningのstepを見直させることでより質の高いreasoningを生成するRATを提案。Hallucinationが低減し、生成のパフォーマンスも向上するとのこと。コンセプト自体はそりゃそうだよねという話なので、RAGならではの課題があり、それを解決した ... #Pocket#NLP#LanguageModel#Finetuning#RetrievalAugmentedGenerationIssue Date: 2024-04-07 RAFT: Adapting Language Model to Domain Specific RAG, Tianjun Zhang+, N_A, arXiv24 Summary大規模なテキストデータのLLMsを事前学習し、新しい知識を追加するためのRetrieval Augmented FineTuning（RAFT）を提案。RAFTは、質問に回答するのに役立つ関連文書から正しいシーケンスを引用し、chain-of-thoughtスタイルの応答を通じて推論能力を向上させる。RAFTはPubMed、HotpotQA、Gorillaデータセットでモデルのパフォーマンスを向上させ、事前学習済みLLMsをドメイン固有のRAGに向けて改善する。 CommentQuestion, instruction, coxtext, cot style answerの4つを用いてSFTをする模様画像は下記ツイートより引用https://x.com/cwolferesearch/status/1770912695765660139?s=46&t=Y6UuIHB0 ... #Pocket#NLP#LanguageModel#Prompting#ReasoningIssue Date: 2024-04-07 RankPrompt: Step-by-Step Comparisons Make Language Models Better Reasoners, Chi Hu+, N_A, arXiv24 SummaryLLMsは推論タスクで優れた性能を発揮しているが、論理エラーが起こりやすい。RankPromptという新しいプロンプティング方法を導入し、LLMsが自己ランク付けを行い推論パフォーマンスを向上させる。実験では、RankPromptがChatGPTやGPT-4の推論パフォーマンスを13%向上させ、AlpacaEvalデータセットで人間の判断と74%の一致率を示すことが示された。RankPromptは言語モデルから高品質なフィードバックを引き出す効果的な方法であることが示された。 CommentLLMでランキングをするためのプロンプト手法。大量の候補をランキングするのは困難だと思われるが、リランキング手法としては利用できる可能性がある ... more","headline":"InformationRetrievalに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/InformationRetrieval.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/InformationRetrieval.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1219,32 +1219,32 @@ <h2 id="informationretrieval">InformationRetrieval</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/TimeSeriesDataProcessing.html" title="TimeSeriesDataProcessingに関する論文・技術記事メモの一覧">
-            TimeSeriesDataProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/General.html" title="Generalに関する論文・技術記事メモの一覧">
+            Generalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningStyle.html" title="LearningStyleに関する論文・技術記事メモの一覧">
-            LearningStyleに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataDistillation.html" title="DataDistillationに関する論文・技術記事メモの一覧">
+            DataDistillationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Survey.html" title="Surveyに関する論文・技術記事メモの一覧">
-            Surveyに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Repository.html" title="Repositoryに関する論文・技術記事メモの一覧">
+            Repositoryに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Zero_Few-shot.html" title="Zero/Few-shotに関する論文・技術記事メモの一覧">
-            Zero/Few-shotに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/FoundationModel.html" title="FoundationModelに関する論文・技術記事メモの一覧">
+            FoundationModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Infrastructure.html b/docs/articles/Infrastructure.html
index e5b5f94e5..fa773f4cf 100644
--- a/docs/articles/Infrastructure.html
+++ b/docs/articles/Infrastructure.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Infrastructure.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Infrastructureに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Infrastructure #RecommenderSystems#TutorialIssue Date: 2021-10-21 コミュニティサービスにおけるレコメンデーションの変遷とMLパイプラインについて, PyCon21 Comment・ママ向けのQ&amp;AサービスにおけるレコメンドとMLパイプラインについて紹介 ◆レコメンドエンジンの変遷 　・Tensorflowで実装したMFから始まり、その後トピックを絞り込んだ上で推薦するためにLDAを活用したレコメンド、最終的にSoftmax Recommendationを開発◆MLパイプラ ... #Article#AWSIssue Date: 2023-08-27 SQL vs. NoSQL cheetsheet, AWS, Azure and Google Cloud Commentデータタイプやユースケースに応じてAWS上のサービスなどをマッピングしてくれているチートシート。わかりやすい。 ... #Article#AWS#LambdaIssue Date: 2023-04-23 Lambda tips CommentAWS Lambda and EFS Troubleshooting https://www.digitalsanctuary.com/aws/aws-lambda-and-efs-troubleshooting.html VPC内のEFSにアクセスできるようなセキュリティー【AWS】VPC ... more","headline":"Infrastructureに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Infrastructure.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Infrastructure.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Infrastructure #RecommenderSystems#TutorialIssue Date: 2021-10-21 コミュニティサービスにおけるレコメンデーションの変遷とMLパイプラインについて, PyCon21 Comment・ママ向けのQ&amp;AサービスにおけるレコメンドとMLパイプラインについて紹介 ◆レコメンドエンジンの変遷 　・Tensorflowで実装したMFから始まり、その後トピックを絞り込んだ上で推薦するためにLDAを活用したレコメンド、最終的にSoftmax Recommendationを開発◆MLパイプラ ... #Article#AWSIssue Date: 2023-08-27 SQL vs. NoSQL cheetsheet, AWS, Azure and Google Cloud Commentデータタイプやユースケースに応じてAWS上のサービスなどをマッピングしてくれているチートシート。わかりやすい。 ... #Article#AWS#LambdaIssue Date: 2023-04-23 Lambda tips CommentAWS Lambda and EFS Troubleshooting https://www.digitalsanctuary.com/aws/aws-lambda-and-efs-troubleshooting.html VPC内のEFSにアクセスできるようなセキュリティー【AWS】VPC ... more","headline":"Infrastructureに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Infrastructure.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Infrastructure.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1054,32 +1054,32 @@ <h2 id="infrastructure">Infrastructure</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Supervised.html" title="Supervisedに関する論文・技術記事メモの一覧">
-            Supervisedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InteractiveRecommenderSystems.html" title="InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧">
+            InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/GenerativeAI.html" title="GenerativeAIに関する論文・技術記事メモの一覧">
-            GenerativeAIに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ImplicitFeedback.html" title="ImplicitFeedbackに関する論文・技術記事メモの一覧">
+            ImplicitFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ReinforcementLearning.html" title="ReinforcementLearningに関する論文・技術記事メモの一覧">
-            ReinforcementLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ReadingComprehension.html" title="ReadingComprehensionに関する論文・技術記事メモの一覧">
+            ReadingComprehensionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/python.html" title="pythonに関する論文・技術記事メモの一覧">
-            pythonに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Pretraining.html" title="Pretrainingに関する論文・技術記事メモの一覧">
+            Pretrainingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/InstructionGeneration.html b/docs/articles/InstructionGeneration.html
index bc80b2122..d935da1da 100644
--- a/docs/articles/InstructionGeneration.html
+++ b/docs/articles/InstructionGeneration.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/InstructionGeneration.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="InstructionGenerationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"InstructionGeneration #Pocket#NLP#LanguageModel#InstructionTuningIssue Date: 2023-10-26 Auto-Instruct: Automatic Instruction Generation and Ranking for Black-Box Language Models, Zhihan Zhang+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）の性能を向上させるための新しい手法であるAuto-Instructを提案しています。この手法では、LLMsが生成する指示の品質を自動的に向上させるために、多様な候補の指示を生成し、スコアリングモデルでランク付けします。実験結果では、Auto-Instructが人間による指示や既存のLLM生成指示を上回ることが示されています。また、他のLLMsでも顕著な汎化性能を示すことも確認されています。 Commentseed instructionとdemonstrationに基づいて、異なるスタイルのinstructionを自動生成し、自動生成したinstructionをとinferenceしたいexampleで条件づけてランキングし、良質なものを選択。選択したinstructionでinferenceを実施 ...","headline":"InstructionGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/InstructionGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/InstructionGeneration.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"InstructionGeneration #Pocket#NLP#LanguageModel#InstructionTuningIssue Date: 2023-10-26 Auto-Instruct: Automatic Instruction Generation and Ranking for Black-Box Language Models, Zhihan Zhang+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）の性能を向上させるための新しい手法であるAuto-Instructを提案しています。この手法では、LLMsが生成する指示の品質を自動的に向上させるために、多様な候補の指示を生成し、スコアリングモデルでランク付けします。実験結果では、Auto-Instructが人間による指示や既存のLLM生成指示を上回ることが示されています。また、他のLLMsでも顕著な汎化性能を示すことも確認されています。 Commentseed instructionとdemonstrationに基づいて、異なるスタイルのinstructionを自動生成し、自動生成したinstructionをとinferenceしたいexampleで条件づけてランキングし、良質なものを選択。選択したinstructionでinferenceを実施 ...","headline":"InstructionGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/InstructionGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/InstructionGeneration.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1012,32 +1012,32 @@ <h2 id="instructiongeneration">InstructionGeneration</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Controllable.html" title="Controllableに関する論文・技術記事メモの一覧">
-            Controllableに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MatrixFactorization.html" title="MatrixFactorizationに関する論文・技術記事メモの一覧">
+            MatrixFactorizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Sentence.html" title="Sentenceに関する論文・技術記事メモの一覧">
-            Sentenceに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DomainAdaptation.html" title="DomainAdaptationに関する論文・技術記事メモの一覧">
+            DomainAdaptationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Visual%20Words.html" title="Visual Wordsに関する論文・技術記事メモの一覧">
-            Visual Wordsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MLOps.html" title="MLOpsに関する論文・技術記事メモの一覧">
+            MLOpsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/MatrixFactorization.html" title="MatrixFactorizationに関する論文・技術記事メモの一覧">
-            MatrixFactorizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InformationRetrieval.html" title="InformationRetrievalに関する論文・技術記事メモの一覧">
+            InformationRetrievalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/InstructionTuning.html b/docs/articles/InstructionTuning.html
index ccc711218..22521c47c 100644
--- a/docs/articles/InstructionTuning.html
+++ b/docs/articles/InstructionTuning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/InstructionTuning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="InstructionTuningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"InstructionTuning #Pocket#NLP#LanguageModel#EvaluationIssue Date: 2023-11-15 Instruction-Following Evaluation for Large Language Models, Jeffrey Zhou+, N_A, arXiv23 Summary大規模言語モデル（LLMs）の能力を評価するために、Instruction-Following Eval（IFEval）という評価ベンチマークが導入されました。IFEvalは、検証可能な指示に焦点を当てた直感的で再現性のある評価方法です。具体的には、25種類の検証可能な指示を特定し、それぞれの指示を含む約500のプロンプトを作成しました。この評価ベンチマークの結果は、GitHubで公開されています。 CommentLLMがinstructionにどれだけ従うかを評価するために、検証可能なプロンプト（400字以上で書きなさいなど）を考案し評価する枠組みを提案。人間が評価すると時間とお金がかかり、LLMを利用した自動評価だと評価を実施するLLMのバイアスがかかるのだ、それら両方のlimitationを克服できると ... #Pocket#NLP#LanguageModel#InstructionGenerationIssue Date: 2023-10-26 Auto-Instruct: Automatic Instruction Generation and Ranking for Black-Box Language Models, Zhihan Zhang+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）の性能を向上させるための新しい手法であるAuto-Instructを提案しています。この手法では、LLMsが生成する指示の品質を自動的に向上させるために、多様な候補の指示を生成し、スコアリングモデルでランク付けします。実験結果では、Auto-Instructが人間による指示や既存のLLM生成指示を上回ることが示されています。また、他のLLMsでも顕著な汎化性能を示すことも確認されています。 Commentseed instructionとdemonstrationに基づいて、異なるスタイルのinstructionを自動生成し、自動生成したinstructionをとinferenceしたいexampleで条件づけてランキングし、良質なものを選択。選択したinstructionでinferenceを実施 ... #Pocket#NLP#Dataset#LanguageModel#NumericReasoning#MathematicsIssue Date: 2023-09-30 MAmmoTH: Building Math Generalist Models through Hybrid Instruction Tuning, Xiang Yue+, N_A, arXiv23 SummaryMAmmoTHは、数学の問題解決に特化した大規模言語モデルであり、厳密にキュレーションされた教育データセットで訓練されています。このモデルは、CoTとPoTのハイブリッドな根拠を提供し、さまざまな数学の分野を包括的にカバーしています。MAmmoTHは、既存のオープンソースモデルを大幅に上回り、特にMATHデータセットで高い精度を示しています。この研究は、多様な問題のカバレッジとハイブリッドな根拠の使用の重要性を強調しています。 Comment9つのmath reasoningが必要なデータセットで13-29%のgainでSoTAを達成。260kの根拠情報を含むMath Instructデータでチューニングされたモデル。project page: https://tiger-ai-lab.github.io/MAmmoTH/ ... more","headline":"InstructionTuningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/InstructionTuning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/InstructionTuning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"InstructionTuning #Pocket#NLP#LanguageModel#EvaluationIssue Date: 2023-11-15 Instruction-Following Evaluation for Large Language Models, Jeffrey Zhou+, N_A, arXiv23 Summary大規模言語モデル（LLMs）の能力を評価するために、Instruction-Following Eval（IFEval）という評価ベンチマークが導入されました。IFEvalは、検証可能な指示に焦点を当てた直感的で再現性のある評価方法です。具体的には、25種類の検証可能な指示を特定し、それぞれの指示を含む約500のプロンプトを作成しました。この評価ベンチマークの結果は、GitHubで公開されています。 CommentLLMがinstructionにどれだけ従うかを評価するために、検証可能なプロンプト（400字以上で書きなさいなど）を考案し評価する枠組みを提案。人間が評価すると時間とお金がかかり、LLMを利用した自動評価だと評価を実施するLLMのバイアスがかかるのだ、それら両方のlimitationを克服できると ... #Pocket#NLP#LanguageModel#InstructionGenerationIssue Date: 2023-10-26 Auto-Instruct: Automatic Instruction Generation and Ranking for Black-Box Language Models, Zhihan Zhang+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）の性能を向上させるための新しい手法であるAuto-Instructを提案しています。この手法では、LLMsが生成する指示の品質を自動的に向上させるために、多様な候補の指示を生成し、スコアリングモデルでランク付けします。実験結果では、Auto-Instructが人間による指示や既存のLLM生成指示を上回ることが示されています。また、他のLLMsでも顕著な汎化性能を示すことも確認されています。 Commentseed instructionとdemonstrationに基づいて、異なるスタイルのinstructionを自動生成し、自動生成したinstructionをとinferenceしたいexampleで条件づけてランキングし、良質なものを選択。選択したinstructionでinferenceを実施 ... #Pocket#NLP#Dataset#LanguageModel#NumericReasoning#MathematicsIssue Date: 2023-09-30 MAmmoTH: Building Math Generalist Models through Hybrid Instruction Tuning, Xiang Yue+, N_A, arXiv23 SummaryMAmmoTHは、数学の問題解決に特化した大規模言語モデルであり、厳密にキュレーションされた教育データセットで訓練されています。このモデルは、CoTとPoTのハイブリッドな根拠を提供し、さまざまな数学の分野を包括的にカバーしています。MAmmoTHは、既存のオープンソースモデルを大幅に上回り、特にMATHデータセットで高い精度を示しています。この研究は、多様な問題のカバレッジとハイブリッドな根拠の使用の重要性を強調しています。 Comment9つのmath reasoningが必要なデータセットで13-29%のgainでSoTAを達成。260kの根拠情報を含むMath Instructデータでチューニングされたモデル。project page: https://tiger-ai-lab.github.io/MAmmoTH/ ... more","headline":"InstructionTuningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/InstructionTuning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/InstructionTuning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1052,32 +1052,32 @@ <h2 id="instructiontuning">InstructionTuning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/OpinionMining.html" title="OpinionMiningに関する論文・技術記事メモの一覧">
-            OpinionMiningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ContextAware.html" title="ContextAwareに関する論文・技術記事メモの一覧">
+            ContextAwareに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RuleBased.html" title="RuleBasedに関する論文・技術記事メモの一覧">
-            RuleBasedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LayoutGeneration.html" title="LayoutGenerationに関する論文・技術記事メモの一覧">
+            LayoutGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/action_wanted.html" title="action_wantedに関する論文・技術記事メモの一覧">
-            action_wantedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Synchrophancy.html" title="Synchrophancyに関する論文・技術記事メモの一覧">
+            Synchrophancyに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Annotation.html" title="Annotationに関する論文・技術記事メモの一覧">
-            Annotationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Conversation.html" title="Conversationに関する論文・技術記事メモの一覧">
+            Conversationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/InteractivePersonalizedSummarization.html b/docs/articles/InteractivePersonalizedSummarization.html
index 01dd780a9..69e00602d 100644
--- a/docs/articles/InteractivePersonalizedSummarization.html
+++ b/docs/articles/InteractivePersonalizedSummarization.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/InteractivePersonalizedSummarization.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"InteractivePersonalizedSummarization #PersonalizedDocumentSummarization#NLP#ILPIssue Date: 2017-12-28 Joint Optimization of User-desired Content in Multi-document Summaries by Learning from User Feedback, P.V.S+, ACL17, 34 Comment# 一言で言うと ユーザとインタラクションしながら重要なコンセプトを決め、そのコンセプトが含まれるようにILPな手法で要約を生成するPDS手法。Interactive Personalized Summarizationと似ている（似ているが引用していない、引用した方がよいのでは）。 # 手 ... #Multi#PersonalizedDocumentSummarization#NLPIssue Date: 2017-12-28 Summarize What You Are Interested In: An Optimization Framework for Interactive Personalized Summarization, Yan+, EMNLP11, 37 Comment![image](https://user-images.githubusercontent.com/12249301/34400733-97c86614-ebd7-11e7-9fe9-a6b36c726a21.png) ユーザとシステムがインタラクションしながら個人向けの要約を生成するタスク ...","headline":"InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/InteractivePersonalizedSummarization.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/InteractivePersonalizedSummarization.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"InteractivePersonalizedSummarization #PersonalizedDocumentSummarization#NLP#ILPIssue Date: 2017-12-28 Joint Optimization of User-desired Content in Multi-document Summaries by Learning from User Feedback, P.V.S+, ACL17, 34 Comment# 一言で言うと ユーザとインタラクションしながら重要なコンセプトを決め、そのコンセプトが含まれるようにILPな手法で要約を生成するPDS手法。Interactive Personalized Summarizationと似ている（似ているが引用していない、引用した方がよいのでは）。 # 手 ... #Multi#PersonalizedDocumentSummarization#NLPIssue Date: 2017-12-28 Summarize What You Are Interested In: An Optimization Framework for Interactive Personalized Summarization, Yan+, EMNLP11, 37 Comment![image](https://user-images.githubusercontent.com/12249301/34400733-97c86614-ebd7-11e7-9fe9-a6b36c726a21.png) ユーザとシステムがインタラクションしながら個人向けの要約を生成するタスク ...","headline":"InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/InteractivePersonalizedSummarization.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/InteractivePersonalizedSummarization.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1018,32 +1018,32 @@ <h2 id="interactivepersonalizedsummarization">InteractivePersonalizedSummarizati
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/CodeGeneration.html" title="CodeGenerationに関する論文・技術記事メモの一覧">
-            CodeGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Mindset.html" title="Mindsetに関する論文・技術記事メモの一覧">
+            Mindsetに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LayoutGeneration.html" title="LayoutGenerationに関する論文・技術記事メモの一覧">
-            LayoutGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataGeneration.html" title="DataGenerationに関する論文・技術記事メモの一覧">
+            DataGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Repository.html" title="Repositoryに関する論文・技術記事メモの一覧">
-            Repositoryに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Self-SupervisedLearning.html" title="Self-SupervisedLearningに関する論文・技術記事メモの一覧">
+            Self-SupervisedLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Embed.html" title="Embedに関する論文・技術記事メモの一覧">
-            Embedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SentimentAnalysis.html" title="SentimentAnalysisに関する論文・技術記事メモの一覧">
+            SentimentAnalysisに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/InteractiveRecommenderSystems.html b/docs/articles/InteractiveRecommenderSystems.html
index c0d6fa656..13ef6c833 100644
--- a/docs/articles/InteractiveRecommenderSystems.html
+++ b/docs/articles/InteractiveRecommenderSystems.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/InteractiveRecommenderSystems.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"InteractiveRecommenderSystems #Article#RecommenderSystems#TutorialIssue Date: 2017-12-28 Interactive Recommender Systems","headline":"InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/InteractiveRecommenderSystems.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/InteractiveRecommenderSystems.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"InteractiveRecommenderSystems #Article#RecommenderSystems#TutorialIssue Date: 2017-12-28 Interactive Recommender Systems","headline":"InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/InteractiveRecommenderSystems.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/InteractiveRecommenderSystems.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1009,32 +1009,32 @@ <h2 id="interactiverecommendersystems">InteractiveRecommenderSystems</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ImageCaptioning.html" title="ImageCaptioningに関する論文・技術記事メモの一覧">
-            ImageCaptioningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LearningAnalytics.html" title="LearningAnalyticsに関する論文・技術記事メモの一覧">
+            LearningAnalyticsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Zero_Few-shot.html" title="Zero/Few-shotに関する論文・技術記事メモの一覧">
-            Zero/Few-shotに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NLP.html" title="NLPに関する論文・技術記事メモの一覧">
+            NLPに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Alignment.html" title="Alignmentに関する論文・技術記事メモの一覧">
-            Alignmentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SmallModel.html" title="SmallModelに関する論文・技術記事メモの一覧">
+            SmallModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/KnowledgeTracing.html" title="KnowledgeTracingに関する論文・技術記事メモの一覧">
-            KnowledgeTracingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Personalization.html" title="Personalizationに関する論文・技術記事メモの一覧">
+            Personalizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Interleaved.html b/docs/articles/Interleaved.html
index f2e6d5592..111379c1f 100644
--- a/docs/articles/Interleaved.html
+++ b/docs/articles/Interleaved.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Interleaved.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Interleavedに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Interleaved #InformationRetrieval#LearningToRank#Online/InteractiveIssue Date: 2018-01-01 Reusing Historical Interaction Data for Faster Online Learning to Rank for IR, Hofmann+, WSDM13 Comment#197 DBGDを拡張した手法を提案している。 アルゴリズムが細かく書いてあるので、追っていくとDBGD等について理解が深まると思われる。 Interleavemethodについても。 ... #InformationRetrieval#LearningToRankIssue Date: 2018-01-01 How Does Clickthrough Data Reflect Retrieval Quality?, Radlijnski+, CIKM08","headline":"Interleavedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Interleaved.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Interleaved.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Interleaved #InformationRetrieval#LearningToRank#Online/InteractiveIssue Date: 2018-01-01 Reusing Historical Interaction Data for Faster Online Learning to Rank for IR, Hofmann+, WSDM13 Comment#197 DBGDを拡張した手法を提案している。 アルゴリズムが細かく書いてあるので、追っていくとDBGD等について理解が深まると思われる。 Interleavemethodについても。 ... #InformationRetrieval#LearningToRankIssue Date: 2018-01-01 How Does Clickthrough Data Reflect Retrieval Quality?, Radlijnski+, CIKM08","headline":"Interleavedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Interleaved.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Interleaved.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1014,32 +1014,32 @@ <h2 id="interleaved">Interleaved</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/GenerativeAdversarialNetwork.html" title="GenerativeAdversarialNetworkに関する論文・技術記事メモの一覧">
-            GenerativeAdversarialNetworkに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Grokking.html" title="Grokkingに関する論文・技術記事メモの一覧">
+            Grokkingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DocumentSummarization.html" title="DocumentSummarizationに関する論文・技術記事メモの一覧">
-            DocumentSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Conversation.html" title="Conversationに関する論文・技術記事メモの一覧">
+            Conversationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TabularData.html" title="TabularDataに関する論文・技術記事メモの一覧">
-            TabularDataに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/StudentPerformancePrediction.html" title="StudentPerformancePredictionに関する論文・技術記事メモの一覧">
+            StudentPerformancePredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ImageSegmentation.html" title="ImageSegmentationに関する論文・技術記事メモの一覧">
-            ImageSegmentationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LabelBias.html" title="LabelBiasに関する論文・技術記事メモの一覧">
+            LabelBiasに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/ItemBased.html b/docs/articles/ItemBased.html
index 52680bac3..ca98998da 100644
--- a/docs/articles/ItemBased.html
+++ b/docs/articles/ItemBased.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/ItemBased.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="ItemBasedに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"ItemBased #RecommenderSystems#CollaborativeFilteringIssue Date: 2018-01-01 Item-based collaborative filtering recommendation algorithms, Sarwar+（with Konstan）, WWW01 Commentアイテムベースな協調フィルタリングを提案した論文（GroupLens） ...","headline":"ItemBasedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ItemBased.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ItemBased.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"ItemBased #RecommenderSystems#CollaborativeFilteringIssue Date: 2018-01-01 Item-based collaborative filtering recommendation algorithms, Sarwar+（with Konstan）, WWW01 Commentアイテムベースな協調フィルタリングを提案した論文（GroupLens） ...","headline":"ItemBasedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ItemBased.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ItemBased.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1010,32 +1010,32 @@ <h2 id="itembased">ItemBased</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/A_B%20Testing.html" title="A/B Testingに関する論文・技術記事メモの一覧">
-            A/B Testingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TrainedMetrics.html" title="TrainedMetricsに関する論文・技術記事メモの一覧">
+            TrainedMetricsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PointWise.html" title="PointWiseに関する論文・技術記事メモの一覧">
-            PointWiseに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SentimentAnalysis.html" title="SentimentAnalysisに関する論文・技術記事メモの一覧">
+            SentimentAnalysisに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Prompting.html" title="Promptingに関する論文・技術記事メモの一覧">
-            Promptingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NaturalLanguageUnderstanding.html" title="NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧">
+            NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/MultitaskLearning.html" title="MultitaskLearningに関する論文・技術記事メモの一覧">
-            MultitaskLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LearningAnalytics.html" title="LearningAnalyticsに関する論文・技術記事メモの一覧">
+            LearningAnalyticsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/KnowledgeGraph.html b/docs/articles/KnowledgeGraph.html
index 5b8dc6910..144ab0203 100644
--- a/docs/articles/KnowledgeGraph.html
+++ b/docs/articles/KnowledgeGraph.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/KnowledgeGraph.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="KnowledgeGraphに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"KnowledgeGraph #InformationRetrieval#NLP#LanguageModel#FactualConsistency#NaturalLanguageUnderstandingIssue Date: 2023-07-14 Direct Fact Retrieval from Knowledge Graphs without Entity Linking, ACL23 Summary従来の知識取得メカニズムの制限を克服するために、我々はシンプルな知識取得フレームワークであるDiFaRを提案する。このフレームワークは、入力テキストに基づいて直接KGから事実を取得するものであり、言語モデルとリランカーを使用して事実のランクを改善する。DiFaRは複数の事実取得タスクでベースラインよりも優れた性能を示した。 #NLP#QuestionAnsweringIssue Date: 2023-07-14 Do I have the Knowledge to Answer? Investigating Answerability of Knowledge Base Questions, ACL23 Summaryナレッジベース上の自然言語質問には回答不可能なものが多くありますが、これについての研究はまだ不十分です。そこで、回答不可能な質問を含む新しいベンチマークデータセットを作成しました。最新のKBQAモデルを評価した結果、回答不可能な質問に対して性能が低下することがわかりました。さらに、これらのモデルは誤った理由で回答不可能性を検出し、特定の形式の回答不可能性を扱うことが困難であることもわかりました。このため、回答不可能性に対する堅牢なKBQAシステムの研究が必要です。 #Pretraining#MachineLearning#NLP#LanguageModelIssue Date: 2023-06-25 Unifying Large Language Models and Knowledge Graphs: A Roadmap, Shirui Pan+, N_A, arXiv23 SummaryLLMsとKGsを統合することで、自然言語処理や人工知能の分野で注目を集めている。KGsは豊富な事実知識を明示的に格納しているが、構築が困難であり、進化する性質を持っている。一方、LLMsはブラックボックスモデルであり、事実知識を捉えたりアクセスしたりすることができない。本記事では、LLMsとKGsを統合するための展望を示し、KG-enhanced LLMs、LLM-augmented KGs、Synergized LLMs + KGsの3つのフレームワークを提案する。既存の取り組みをレビューし、今後の研究方向を指摘する。 CommentLLMsとKGの統合に関するロードマップを提示。KGをLLMの事前学習や推論に組み込む方法、KGタスクにLLMを利用する方法、LLMとKGの双方向のreasonieg能力を高める方法などをカバーしている。 ... more","headline":"KnowledgeGraphに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/KnowledgeGraph.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/KnowledgeGraph.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"KnowledgeGraph #InformationRetrieval#NLP#LanguageModel#FactualConsistency#NaturalLanguageUnderstandingIssue Date: 2023-07-14 Direct Fact Retrieval from Knowledge Graphs without Entity Linking, ACL23 Summary従来の知識取得メカニズムの制限を克服するために、我々はシンプルな知識取得フレームワークであるDiFaRを提案する。このフレームワークは、入力テキストに基づいて直接KGから事実を取得するものであり、言語モデルとリランカーを使用して事実のランクを改善する。DiFaRは複数の事実取得タスクでベースラインよりも優れた性能を示した。 #NLP#QuestionAnsweringIssue Date: 2023-07-14 Do I have the Knowledge to Answer? Investigating Answerability of Knowledge Base Questions, ACL23 Summaryナレッジベース上の自然言語質問には回答不可能なものが多くありますが、これについての研究はまだ不十分です。そこで、回答不可能な質問を含む新しいベンチマークデータセットを作成しました。最新のKBQAモデルを評価した結果、回答不可能な質問に対して性能が低下することがわかりました。さらに、これらのモデルは誤った理由で回答不可能性を検出し、特定の形式の回答不可能性を扱うことが困難であることもわかりました。このため、回答不可能性に対する堅牢なKBQAシステムの研究が必要です。 #Pretraining#MachineLearning#NLP#LanguageModelIssue Date: 2023-06-25 Unifying Large Language Models and Knowledge Graphs: A Roadmap, Shirui Pan+, N_A, arXiv23 SummaryLLMsとKGsを統合することで、自然言語処理や人工知能の分野で注目を集めている。KGsは豊富な事実知識を明示的に格納しているが、構築が困難であり、進化する性質を持っている。一方、LLMsはブラックボックスモデルであり、事実知識を捉えたりアクセスしたりすることができない。本記事では、LLMsとKGsを統合するための展望を示し、KG-enhanced LLMs、LLM-augmented KGs、Synergized LLMs + KGsの3つのフレームワークを提案する。既存の取り組みをレビューし、今後の研究方向を指摘する。 CommentLLMsとKGの統合に関するロードマップを提示。KGをLLMの事前学習や推論に組み込む方法、KGタスクにLLMを利用する方法、LLMとKGの双方向のreasonieg能力を高める方法などをカバーしている。 ... more","headline":"KnowledgeGraphに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/KnowledgeGraph.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/KnowledgeGraph.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1026,32 +1026,32 @@ <h2 id="knowledgegraph">KnowledgeGraph</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/InductiveBias.html" title="InductiveBiasに関する論文・技術記事メモの一覧">
-            InductiveBiasに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TrainedMetrics.html" title="TrainedMetricsに関する論文・技術記事メモの一覧">
+            TrainedMetricsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TextualInversion.html" title="TextualInversionに関する論文・技術記事メモの一覧">
-            TextualInversionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Update.html" title="Updateに関する論文・技術記事メモの一覧">
+            Updateに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ExperimentManagement.html" title="ExperimentManagementに関する論文・技術記事メモの一覧">
-            ExperimentManagementに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SearchEngine.html" title="SearchEngineに関する論文・技術記事メモの一覧">
+            SearchEngineに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/A_B%20Testing.html" title="A/B Testingに関する論文・技術記事メモの一覧">
-            A/B Testingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Repository.html" title="Repositoryに関する論文・技術記事メモの一覧">
+            Repositoryに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/KnowledgeTracing.html b/docs/articles/KnowledgeTracing.html
index f5ebd2c29..dfd1f6e15 100644
--- a/docs/articles/KnowledgeTracing.html
+++ b/docs/articles/KnowledgeTracing.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/KnowledgeTracing.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="KnowledgeTracingに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"KnowledgeTracing #NaturalLanguageGeneration#NLP#Education#AdaptiveLearning#Personalization#QuestionGenerationIssue Date: 2023-07-14 Adaptive and Personalized Exercise Generation for Online Language Learning, ACL23 Summary本研究では、オンライン言語学習のための適応的な演習生成の新しいタスクを研究しました。学習履歴から学生の知識状態を推定し、その状態に基づいて個別化された演習文を生成するモデルを提案しました。実データを用いた実験結果から、学生の状態に応じた演習を生成できることを示しました。さらに、教育アプリケーションでの利用方法についても議論し、学習の効率化を促進できる可能性を示しました。 CommentKnowledge Tracingで推定された習熟度に基づいて、エクササイズを自動生成する研究。KTとNLGが組み合わさっており、非常におもしろい。 ... #Neural#AdaptiveLearning#EducationalDataMiningIssue Date: 2022-08-26 Using Neural Network-Based Knowledge Tracing for a Learning System with Unreliable Skill Tags, Karumbaiah+, （w_ Ryan Baker）, EDM22 Comment超重要論文。しっかり読むべき# 一言で言うと KTを利用することを最初から念頭に置いていなかったシステムでは、問題に対して事後的にスキルをマッピングする作業が生じてしまい、これは非常に困難なことが多い。論文中で使用したアメリカの商用の数学のblended learningのシステムのデータでは、途中 ... #Pocket#AdaptiveLearningIssue Date: 2022-08-10 No Task Left Behind: Multi-Task Learning of Knowledge Tracing and Option Tracing for Better Student Assessment, An+, RiiiD, AAAI22 more","headline":"KnowledgeTracingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/KnowledgeTracing.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/KnowledgeTracing.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"KnowledgeTracing #NaturalLanguageGeneration#NLP#Education#AdaptiveLearning#Personalization#QuestionGenerationIssue Date: 2023-07-14 Adaptive and Personalized Exercise Generation for Online Language Learning, ACL23 Summary本研究では、オンライン言語学習のための適応的な演習生成の新しいタスクを研究しました。学習履歴から学生の知識状態を推定し、その状態に基づいて個別化された演習文を生成するモデルを提案しました。実データを用いた実験結果から、学生の状態に応じた演習を生成できることを示しました。さらに、教育アプリケーションでの利用方法についても議論し、学習の効率化を促進できる可能性を示しました。 CommentKnowledge Tracingで推定された習熟度に基づいて、エクササイズを自動生成する研究。KTとNLGが組み合わさっており、非常におもしろい。 ... #Neural#AdaptiveLearning#EducationalDataMiningIssue Date: 2022-08-26 Using Neural Network-Based Knowledge Tracing for a Learning System with Unreliable Skill Tags, Karumbaiah+, （w_ Ryan Baker）, EDM22 Comment超重要論文。しっかり読むべき# 一言で言うと KTを利用することを最初から念頭に置いていなかったシステムでは、問題に対して事後的にスキルをマッピングする作業が生じてしまい、これは非常に困難なことが多い。論文中で使用したアメリカの商用の数学のblended learningのシステムのデータでは、途中 ... #Pocket#AdaptiveLearningIssue Date: 2022-08-10 No Task Left Behind: Multi-Task Learning of Knowledge Tracing and Option Tracing for Better Student Assessment, An+, RiiiD, AAAI22 more","headline":"KnowledgeTracingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/KnowledgeTracing.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/KnowledgeTracing.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1181,32 +1181,32 @@ <h2 id="knowledgetracing">KnowledgeTracing</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/LLMAgent.html" title="LLMAgentに関する論文・技術記事メモの一覧">
-            LLMAgentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SingleFramework.html" title="SingleFrameworkに関する論文・技術記事メモの一覧">
+            SingleFrameworkに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/In-ContextLearning.html" title="In-ContextLearningに関する論文・技術記事メモの一覧">
-            In-ContextLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MachineTranslation.html" title="MachineTranslationに関する論文・技術記事メモの一覧">
+            MachineTranslationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Spoken%20Language%20Processing.html" title="Spoken Language Processingに関する論文・技術記事メモの一覧">
-            Spoken Language Processingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TextualInversion.html" title="TextualInversionに関する論文・技術記事メモの一覧">
+            TextualInversionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PositionalEncoding.html" title="PositionalEncodingに関する論文・技術記事メモの一覧">
-            PositionalEncodingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ContrastiveLearning.html" title="ContrastiveLearningに関する論文・技術記事メモの一覧">
+            ContrastiveLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/LLM-as-a-Judge.html b/docs/articles/LLM-as-a-Judge.html
index 9e840471c..0f95fba6b 100644
--- a/docs/articles/LLM-as-a-Judge.html
+++ b/docs/articles/LLM-as-a-Judge.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/LLM-as-a-Judge.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="LLM-as-a-Judgeに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"LLM-as-a-Judge #Survey#NaturalLanguageGeneration#Pocket#NLP#EvaluationIssue Date: 2024-01-24 Leveraging Large Language Models for NLG Evaluation: A Survey, Zhen Li+, N_A, arXiv24 Summary本研究は、大規模言語モデル（LLMs）を使用した自然言語生成（NLG）の評価についての包括的な概要を提供します。既存の評価指標を整理し、LLMベースの手法を比較するためのフレームワークを提案します。さらに、未解決の課題についても議論し、より公正で高度なNLG評価技術を提唱します。 Comment重要 ... #Pocket#NLP#LanguageModel#EvaluationIssue Date: 2024-01-25 G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment, Yang Liu+, N_A, EMNLP23 Summary従来の参照ベースの評価指標では、自然言語生成システムの品質を正確に測定することが難しい。最近の研究では、大規模言語モデル（LLMs）を使用した参照ベースの評価指標が提案されているが、まだ人間との一致度が低い。本研究では、G-Evalという大規模言語モデルを使用した品質評価フレームワークを提案し、要約と対話生成のタスクで実験を行った。G-Evalは従来の手法を大幅に上回る結果を示し、LLMベースの評価器の潜在的な問題についても分析している。コードはGitHubで公開されている。 Comment伝統的なNLGの性能指標が、人間の判断との相関が低いことを示した研究# 手法概要 CoTを利用して、生成されたテキストの品質を評価する手法を提案している。 タスクのIntroductionと、評価のCriteriaをプロンプトに仕込むだけで、自動的にLLMに評価ステップに関するCoTを生成させ、最終 ... #NaturalLanguageGeneration#NLPIssue Date: 2024-01-25 Large Language Models Are State-of-the-Art Evaluators of Translation Quality, EAMT23 SummaryGEMBAは、参照翻訳の有無に関係なく使用できるGPTベースの翻訳品質評価メトリックです。このメトリックは、ゼロショットのプロンプティングを使用し、4つのプロンプトバリアントを比較します。私たちの手法は、GPT 3.5以上のモデルでのみ機能し、最先端の精度を達成します。特に、英語からドイツ語、英語からロシア語、中国語から英語の3つの言語ペアで有効です。この研究では、コード、プロンプトテンプレート、およびスコアリング結果を公開し、外部の検証と再現性を可能にします。 more","headline":"LLM-as-a-Judgeに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LLM-as-a-Judge.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LLM-as-a-Judge.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"LLM-as-a-Judge #Survey#NaturalLanguageGeneration#Pocket#NLP#EvaluationIssue Date: 2024-01-24 Leveraging Large Language Models for NLG Evaluation: A Survey, Zhen Li+, N_A, arXiv24 Summary本研究は、大規模言語モデル（LLMs）を使用した自然言語生成（NLG）の評価についての包括的な概要を提供します。既存の評価指標を整理し、LLMベースの手法を比較するためのフレームワークを提案します。さらに、未解決の課題についても議論し、より公正で高度なNLG評価技術を提唱します。 Comment重要 ... #Pocket#NLP#LanguageModel#EvaluationIssue Date: 2024-01-25 G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment, Yang Liu+, N_A, EMNLP23 Summary従来の参照ベースの評価指標では、自然言語生成システムの品質を正確に測定することが難しい。最近の研究では、大規模言語モデル（LLMs）を使用した参照ベースの評価指標が提案されているが、まだ人間との一致度が低い。本研究では、G-Evalという大規模言語モデルを使用した品質評価フレームワークを提案し、要約と対話生成のタスクで実験を行った。G-Evalは従来の手法を大幅に上回る結果を示し、LLMベースの評価器の潜在的な問題についても分析している。コードはGitHubで公開されている。 Comment伝統的なNLGの性能指標が、人間の判断との相関が低いことを示した研究# 手法概要 CoTを利用して、生成されたテキストの品質を評価する手法を提案している。 タスクのIntroductionと、評価のCriteriaをプロンプトに仕込むだけで、自動的にLLMに評価ステップに関するCoTを生成させ、最終 ... #NaturalLanguageGeneration#NLPIssue Date: 2024-01-25 Large Language Models Are State-of-the-Art Evaluators of Translation Quality, EAMT23 SummaryGEMBAは、参照翻訳の有無に関係なく使用できるGPTベースの翻訳品質評価メトリックです。このメトリックは、ゼロショットのプロンプティングを使用し、4つのプロンプトバリアントを比較します。私たちの手法は、GPT 3.5以上のモデルでのみ機能し、最先端の精度を達成します。特に、英語からドイツ語、英語からロシア語、中国語から英語の3つの言語ペアで有効です。この研究では、コード、プロンプトテンプレート、およびスコアリング結果を公開し、外部の検証と再現性を可能にします。 more","headline":"LLM-as-a-Judgeに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LLM-as-a-Judge.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LLM-as-a-Judge.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1037,32 +1037,32 @@ <h2 id="llm-as-a-judge">LLM-as-a-Judge</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Metrics.html" title="Metricsに関する論文・技術記事メモの一覧">
-            Metricsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataDistillation.html" title="DataDistillationに関する論文・技術記事メモの一覧">
+            DataDistillationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Reference-based.html" title="Reference-basedに関する論文・技術記事メモの一覧">
-            Reference-basedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Bias.html" title="Biasに関する論文・技術記事メモの一覧">
+            Biasに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Session.html" title="Sessionに関する論文・技術記事メモの一覧">
-            Sessionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CollaborativeFiltering.html" title="CollaborativeFilteringに関する論文・技術記事メモの一覧">
+            CollaborativeFilteringに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Abstractive.html" title="Abstractiveに関する論文・技術記事メモの一覧">
-            Abstractiveに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CoT.html" title="CoTに関する論文・技術記事メモの一覧">
+            CoTに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/LLMAgent.html b/docs/articles/LLMAgent.html
index 2e9ec41a1..8c43dd022 100644
--- a/docs/articles/LLMAgent.html
+++ b/docs/articles/LLMAgent.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/LLMAgent.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="LLMAgentに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"LLMAgent #MachineLearning#Pocket#NLP#Dataset#LanguageModel#Evaluation#AutoMLIssue Date: 2023-10-09 Benchmarking Large Language Models As AI Research Agents, Qian Huang+, N_A, arXiv23 Summary本研究では、AI研究エージェントを構築し、科学的な実験のタスクを実行するためのベンチマークとしてMLAgentBenchを提案する。エージェントはファイルの読み書きやコードの実行などのアクションを実行し、実験を実行し、結果を分析し、機械学習パイプラインのコードを変更することができる。GPT-4ベースの研究エージェントは多くのタスクで高性能なモデルを実現できるが、成功率は異なる。また、LLMベースの研究エージェントにはいくつかの課題がある。 CommentGPT4がMLモデルをどれだけ自動的に構築できるかを調べた模様。また、ベンチマークデータを作成した模様。結果としては、既存の有名なデータセットでの成功率は90%程度であり、未知のタスク（新たなKaggle Challenge等）では30%程度とのこと。 ... #Survey#Pocket#NLP#LanguageModelIssue Date: 2023-09-01 A Survey on Large Language Model based Autonomous Agents, Lei Wang+, N_A, arXiv23 Summary自律エージェントの研究は、以前は限られた知識を持つエージェントに焦点を当てていましたが、最近では大規模言語モデル（LLMs）を活用した研究が増えています。本論文では、LLMに基づく自律エージェントの研究を包括的に調査し、統一されたフレームワークを提案します。さらに、LLMに基づくAIエージェントの応用や評価戦略についてもまとめています。将来の方向性や課題についても議論し、関連する参考文献のリポジトリも提供しています。 Comment良いサーベイ ... #Pocket#NLP#Dataset#LanguageModel#EvaluationIssue Date: 2023-08-27 AgentBench: Evaluating LLMs as Agents, Xiao Liu+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）をエージェントとして評価するための多次元の進化するベンチマーク「AgentBench」を提案しています。AgentBenchは、8つの異なる環境でマルチターンのオープンエンドの生成設定を提供し、LLMの推論と意思決定能力を評価します。25のLLMsに対するテストでは、商用LLMsは強力な能力を示していますが、オープンソースの競合他社との性能には差があります。AgentBenchのデータセット、環境、および評価パッケージは、GitHubで公開されています。 CommentエージェントとしてのLLMの推論能力と意思決定能力を評価するためのベンチマークを提案。トップの商用LLMとOpenSource LLMの間に大きな性能差があることを示した。 ... more","headline":"LLMAgentに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LLMAgent.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LLMAgent.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"LLMAgent #MachineLearning#Pocket#NLP#Dataset#LanguageModel#Evaluation#AutoMLIssue Date: 2023-10-09 Benchmarking Large Language Models As AI Research Agents, Qian Huang+, N_A, arXiv23 Summary本研究では、AI研究エージェントを構築し、科学的な実験のタスクを実行するためのベンチマークとしてMLAgentBenchを提案する。エージェントはファイルの読み書きやコードの実行などのアクションを実行し、実験を実行し、結果を分析し、機械学習パイプラインのコードを変更することができる。GPT-4ベースの研究エージェントは多くのタスクで高性能なモデルを実現できるが、成功率は異なる。また、LLMベースの研究エージェントにはいくつかの課題がある。 CommentGPT4がMLモデルをどれだけ自動的に構築できるかを調べた模様。また、ベンチマークデータを作成した模様。結果としては、既存の有名なデータセットでの成功率は90%程度であり、未知のタスク（新たなKaggle Challenge等）では30%程度とのこと。 ... #Survey#Pocket#NLP#LanguageModelIssue Date: 2023-09-01 A Survey on Large Language Model based Autonomous Agents, Lei Wang+, N_A, arXiv23 Summary自律エージェントの研究は、以前は限られた知識を持つエージェントに焦点を当てていましたが、最近では大規模言語モデル（LLMs）を活用した研究が増えています。本論文では、LLMに基づく自律エージェントの研究を包括的に調査し、統一されたフレームワークを提案します。さらに、LLMに基づくAIエージェントの応用や評価戦略についてもまとめています。将来の方向性や課題についても議論し、関連する参考文献のリポジトリも提供しています。 Comment良いサーベイ ... #Pocket#NLP#Dataset#LanguageModel#EvaluationIssue Date: 2023-08-27 AgentBench: Evaluating LLMs as Agents, Xiao Liu+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）をエージェントとして評価するための多次元の進化するベンチマーク「AgentBench」を提案しています。AgentBenchは、8つの異なる環境でマルチターンのオープンエンドの生成設定を提供し、LLMの推論と意思決定能力を評価します。25のLLMsに対するテストでは、商用LLMsは強力な能力を示していますが、オープンソースの競合他社との性能には差があります。AgentBenchのデータセット、環境、および評価パッケージは、GitHubで公開されています。 CommentエージェントとしてのLLMの推論能力と意思決定能力を評価するためのベンチマークを提案。トップの商用LLMとOpenSource LLMの間に大きな性能差があることを示した。 ... more","headline":"LLMAgentに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LLMAgent.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LLMAgent.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1054,32 +1054,32 @@ <h2 id="llmagent">LLMAgent</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Tutorial.html" title="Tutorialに関する論文・技術記事メモの一覧">
-            Tutorialに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Faithfulness.html" title="Faithfulnessに関する論文・技術記事メモの一覧">
+            Faithfulnessに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Out-of-DistributionDetection.html" title="Out-of-DistributionDetectionに関する論文・技術記事メモの一覧">
-            Out-of-DistributionDetectionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Embed.html" title="Embedに関する論文・技術記事メモの一覧">
+            Embedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PPO.html" title="PPOに関する論文・技術記事メモの一覧">
-            PPOに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ComputerVision.html" title="ComputerVisionに関する論文・技術記事メモの一覧">
+            ComputerVisionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Transformer.html" title="Transformerに関する論文・技術記事メモの一覧">
-            Transformerに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InstructionGeneration.html" title="InstructionGenerationに関する論文・技術記事メモの一覧">
+            InstructionGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/LM-based.html b/docs/articles/LM-based.html
index 5089b340c..734d93551 100644
--- a/docs/articles/LM-based.html
+++ b/docs/articles/LM-based.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/LM-based.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="LM-basedに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"LM-based #DocumentSummarization#MachineTranslation#NaturalLanguageGeneration#Metrics#Pocket#NLP#Evaluation#CoherenceIssue Date: 2023-08-13 DiscoScore: Evaluating Text Generation with BERT and Discourse Coherence, Wei Zhao+, N_A, EACL23 Summary本研究では、文章の一貫性を評価するための新しい指標であるDiscoScoreを紹介します。DiscoScoreはCentering理論に基づいており、BERTを使用して談話の一貫性をモデル化します。実験の結果、DiscoScoreは他の指標よりも人間の評価との相関が高く、システムレベルでの評価でも優れた結果を示しました。さらに、DiscoScoreの重要性とその優位性についても説明されています。 #DocumentSummarization#NLP#Evaluation#FactualConsistencyIssue Date: 2023-08-13 SummaC: Re-Visiting NLI-based Models for Inconsistency Detection in Summarization, Laban+, TACL22 Summary要約の領域では、入力ドキュメントと要約が整合していることが重要です。以前の研究では、自然言語推論（NLI）モデルを不整合検出に適用するとパフォーマンスが低下することがわかりました。本研究では、NLIを不整合検出に再評価し、過去の研究での入力の粒度の不一致が問題であることを発見しました。新しい手法SummaCConvを提案し、NLIモデルを文単位にドキュメントを分割してスコアを集計することで、不整合検出に成功裏に使用できることを示しました。さらに、新しいベンチマークSummaCを導入し、74.4%の正確さを達成し、先行研究と比較して5%の改善を実現しました。 #DocumentSummarization#Metrics#NLP#Evaluation#FactualConsistencyIssue Date: 2023-08-13 Compression, Transduction, and Creation: A Unified Framework for Evaluating Natural Language Generation, Deng+, EMNLP21 Summary本研究では、自然言語生成（NLG）タスクの評価において、情報の整合性を重視した統一的な視点を提案する。情報の整合性を評価するための解釈可能な評価指標のファミリーを開発し、ゴールドリファレンスデータを必要とせずに、さまざまなNLGタスクの評価を行うことができることを実験で示した。 CommentCTC ... more","headline":"LM-basedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LM-based.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LM-based.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"LM-based #DocumentSummarization#MachineTranslation#NaturalLanguageGeneration#Metrics#Pocket#NLP#Evaluation#CoherenceIssue Date: 2023-08-13 DiscoScore: Evaluating Text Generation with BERT and Discourse Coherence, Wei Zhao+, N_A, EACL23 Summary本研究では、文章の一貫性を評価するための新しい指標であるDiscoScoreを紹介します。DiscoScoreはCentering理論に基づいており、BERTを使用して談話の一貫性をモデル化します。実験の結果、DiscoScoreは他の指標よりも人間の評価との相関が高く、システムレベルでの評価でも優れた結果を示しました。さらに、DiscoScoreの重要性とその優位性についても説明されています。 #DocumentSummarization#NLP#Evaluation#FactualConsistencyIssue Date: 2023-08-13 SummaC: Re-Visiting NLI-based Models for Inconsistency Detection in Summarization, Laban+, TACL22 Summary要約の領域では、入力ドキュメントと要約が整合していることが重要です。以前の研究では、自然言語推論（NLI）モデルを不整合検出に適用するとパフォーマンスが低下することがわかりました。本研究では、NLIを不整合検出に再評価し、過去の研究での入力の粒度の不一致が問題であることを発見しました。新しい手法SummaCConvを提案し、NLIモデルを文単位にドキュメントを分割してスコアを集計することで、不整合検出に成功裏に使用できることを示しました。さらに、新しいベンチマークSummaCを導入し、74.4%の正確さを達成し、先行研究と比較して5%の改善を実現しました。 #DocumentSummarization#Metrics#NLP#Evaluation#FactualConsistencyIssue Date: 2023-08-13 Compression, Transduction, and Creation: A Unified Framework for Evaluating Natural Language Generation, Deng+, EMNLP21 Summary本研究では、自然言語生成（NLG）タスクの評価において、情報の整合性を重視した統一的な視点を提案する。情報の整合性を評価するための解釈可能な評価指標のファミリーを開発し、ゴールドリファレンスデータを必要とせずに、さまざまなNLGタスクの評価を行うことができることを実験で示した。 CommentCTC ... more","headline":"LM-basedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LM-based.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LM-based.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1035,32 +1035,32 @@ <h2 id="lm-based">LM-based</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Prompting.html" title="Promptingに関する論文・技術記事メモの一覧">
-            Promptingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Classic.html" title="Classicに関する論文・技術記事メモの一覧">
+            Classicに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InteractivePersonalizedSummarization.html" title="InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧">
-            InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Snippets.html" title="Snippetsに関する論文・技術記事メモの一覧">
+            Snippetsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LM-based.html" title="LM-basedに関する論文・技術記事メモの一覧">
-            LM-basedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PersonalizedGeneration.html" title="PersonalizedGenerationに関する論文・技術記事メモの一覧">
+            PersonalizedGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NaturalLanguageUnderstanding.html" title="NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧">
-            NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PairWise.html" title="PairWiseに関する論文・技術記事メモの一覧">
+            PairWiseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/LabelBias.html b/docs/articles/LabelBias.html
index d6e4c88f0..5fcd6b334 100644
--- a/docs/articles/LabelBias.html
+++ b/docs/articles/LabelBias.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/LabelBias.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="LabelBiasに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"LabelBias #NLP#In-ContextLearningIssue Date: 2023-07-15 Mitigating Label Biases for In-context Learning, ACL23 Summaryインコンテキスト学習（ICL）におけるラベルバイアスの種類を定義し、その影響を軽減するための方法を提案する研究が行われました。特に、ドメインラベルバイアスについて初めて概念化され、その影響を軽減するためのバイアス補正方法が提案されました。この方法により、GPT-JとGPT-3のICLパフォーマンスが大幅に改善されました。さらに、異なるモデルやタスクにも一般化され、ICLにおけるラベルバイアスの問題を解決する手法として有効であることが示されました。","headline":"LabelBiasに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LabelBias.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LabelBias.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"LabelBias #NLP#In-ContextLearningIssue Date: 2023-07-15 Mitigating Label Biases for In-context Learning, ACL23 Summaryインコンテキスト学習（ICL）におけるラベルバイアスの種類を定義し、その影響を軽減するための方法を提案する研究が行われました。特に、ドメインラベルバイアスについて初めて概念化され、その影響を軽減するためのバイアス補正方法が提案されました。この方法により、GPT-JとGPT-3のICLパフォーマンスが大幅に改善されました。さらに、異なるモデルやタスクにも一般化され、ICLにおけるラベルバイアスの問題を解決する手法として有効であることが示されました。","headline":"LabelBiasに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LabelBias.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LabelBias.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1010,32 +1010,32 @@ <h2 id="labelbias">LabelBias</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ScorePrediction.html" title="ScorePredictionに関する論文・技術記事メモの一覧">
-            ScorePredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Comments.html" title="Commentsに関する論文・技術記事メモの一覧">
+            Commentsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/AudioProcessing.html" title="AudioProcessingに関する論文・技術記事メモの一覧">
-            AudioProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ImageCaptioning.html" title="ImageCaptioningに関する論文・技術記事メモの一覧">
+            ImageCaptioningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ListWise.html" title="ListWiseに関する論文・技術記事メモの一覧">
-            ListWiseに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/GrammaticalErrorCorrection.html" title="GrammaticalErrorCorrectionに関する論文・技術記事メモの一覧">
+            GrammaticalErrorCorrectionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LLM-as-a-Judge.html" title="LLM-as-a-Judgeに関する論文・技術記事メモの一覧">
-            LLM-as-a-Judgeに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MachineLearning.html" title="MachineLearningに関する論文・技術記事メモの一覧">
+            MachineLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Lambda.html b/docs/articles/Lambda.html
index 619e046ba..2560cfa98 100644
--- a/docs/articles/Lambda.html
+++ b/docs/articles/Lambda.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Lambda.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Lambdaに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Lambda #Article#AWS#InfrastructureIssue Date: 2023-04-23 Lambda tips CommentAWS Lambda and EFS Troubleshooting https://www.digitalsanctuary.com/aws/aws-lambda-and-efs-troubleshooting.html VPC内のEFSにアクセスできるようなセキュリティー【AWS】VPC ...","headline":"Lambdaに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Lambda.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Lambda.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Lambda #Article#AWS#InfrastructureIssue Date: 2023-04-23 Lambda tips CommentAWS Lambda and EFS Troubleshooting https://www.digitalsanctuary.com/aws/aws-lambda-and-efs-troubleshooting.html VPC内のEFSにアクセスできるようなセキュリティー【AWS】VPC ...","headline":"Lambdaに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Lambda.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Lambda.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1012,32 +1012,32 @@ <h2 id="lambda">Lambda</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/PPO.html" title="PPOに関する論文・技術記事メモの一覧">
-            PPOに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Financial.html" title="Financialに関する論文・技術記事メモの一覧">
+            Financialに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InstructionGeneration.html" title="InstructionGenerationに関する論文・技術記事メモの一覧">
-            InstructionGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Article.html" title="Articleに関する論文・技術記事メモの一覧">
+            Articleに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ComputerVision.html" title="ComputerVisionに関する論文・技術記事メモの一覧">
-            ComputerVisionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LLMAgent.html" title="LLMAgentに関する論文・技術記事メモの一覧">
+            LLMAgentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Programming.html" title="Programmingに関する論文・技術記事メモの一覧">
-            Programmingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LearningAnalytics.html" title="LearningAnalyticsに関する論文・技術記事メモの一覧">
+            LearningAnalyticsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/LanguageModel.html b/docs/articles/LanguageModel.html
index f8f8af715..1ec29003e 100644
--- a/docs/articles/LanguageModel.html
+++ b/docs/articles/LanguageModel.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/LanguageModel.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="LanguageModelに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"LanguageModel #Efficiency/SpeedUp#Pocket#NLP#OpenLLMIssue Date: 2024-04-23 Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone, Marah Abdin+, N_A, arXiv24 Summaryphi-3-miniは38億パラメータの言語モデルであり、3.3兆トークンで訓練されています。Mixtral 8x7BやGPT-3.5などの大規模モデルに匹敵する総合的なパフォーマンスを持ちながら、スマートフォンにデプロイ可能なサイズです。このモデルは、厳密にフィルタリングされたWebデータと合成データで構成されており、堅牢性、安全性、およびチャット形式に適合しています。また、phi-3-smallとphi-3-mediumというより大規模なモデルも紹介されています。 Comment#1039 の次の次（Phi2.0についてはメモってなかった）。スマホにデプロイできるレベルのサイズで、GPT3.5Turbo程度の性能を実現したらしいLlama2と同じブロックを利用しているため、アーキテクチャはLlama2と共通。 ... #Efficiency/SpeedUp#Pocket#NLP#PruningIssue Date: 2024-04-22 The Unreasonable Ineffectiveness of the Deeper Layers, Andrey Gromov+, N_A, arXiv24 Summary一般的なオープンウェイトの事前学習されたLLMのレイヤー剪定戦略を研究し、異なる質問応答ベンチマークでのパフォーマンスの低下を最小限に抑えることを示しました。レイヤーの最大半分を削除することで、最適なブロックを特定し、微調整して損傷を修復します。PEFT手法を使用し、実験を単一のA100 GPUで実行可能にします。これにより、計算リソースを削減し、推論のメモリとレイテンシを改善できることが示唆されます。また、LLMがレイヤーの削除に対して堅牢であることは、浅いレイヤーが知識を格納する上で重要な役割を果たしている可能性を示唆しています。 Comment下記ツイートによると、学習済みLLMから、コサイン類似度で入出力間の類似度が高い層を除いてもタスクの精度が落ちず、特に深い層を2-4割削除しても精度が落ちないとのこと。参考:https://x.com/hillbig/status/1773110076502368642?s=46&t=Y6UuI ... #Survey#Pocket#NLPIssue Date: 2024-04-14 Knowledge Conflicts for LLMs: A Survey, Rongwu Xu+, N_A, arXiv24 SummaryLLMsにおける知識の衝突に焦点を当て、文脈とパラメトリック知識の組み合わせによる複雑な課題を分析。文脈-メモリ、文脈間、メモリ内の衝突の3つのカテゴリーを探求し、実世界のアプリケーションにおける信頼性とパフォーマンスへの影響を検討。解決策を提案し、LLMsの堅牢性向上を目指す。 more","headline":"LanguageModelに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LanguageModel.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LanguageModel.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"LanguageModel #Efficiency/SpeedUp#Pocket#NLP#OpenLLMIssue Date: 2024-04-23 Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone, Marah Abdin+, N_A, arXiv24 Summaryphi-3-miniは38億パラメータの言語モデルであり、3.3兆トークンで訓練されています。Mixtral 8x7BやGPT-3.5などの大規模モデルに匹敵する総合的なパフォーマンスを持ちながら、スマートフォンにデプロイ可能なサイズです。このモデルは、厳密にフィルタリングされたWebデータと合成データで構成されており、堅牢性、安全性、およびチャット形式に適合しています。また、phi-3-smallとphi-3-mediumというより大規模なモデルも紹介されています。 Comment#1039 の次の次（Phi2.0についてはメモってなかった）。スマホにデプロイできるレベルのサイズで、GPT3.5Turbo程度の性能を実現したらしいLlama2と同じブロックを利用しているため、アーキテクチャはLlama2と共通。 ... #Efficiency/SpeedUp#Pocket#NLP#PruningIssue Date: 2024-04-22 The Unreasonable Ineffectiveness of the Deeper Layers, Andrey Gromov+, N_A, arXiv24 Summary一般的なオープンウェイトの事前学習されたLLMのレイヤー剪定戦略を研究し、異なる質問応答ベンチマークでのパフォーマンスの低下を最小限に抑えることを示しました。レイヤーの最大半分を削除することで、最適なブロックを特定し、微調整して損傷を修復します。PEFT手法を使用し、実験を単一のA100 GPUで実行可能にします。これにより、計算リソースを削減し、推論のメモリとレイテンシを改善できることが示唆されます。また、LLMがレイヤーの削除に対して堅牢であることは、浅いレイヤーが知識を格納する上で重要な役割を果たしている可能性を示唆しています。 Comment下記ツイートによると、学習済みLLMから、コサイン類似度で入出力間の類似度が高い層を除いてもタスクの精度が落ちず、特に深い層を2-4割削除しても精度が落ちないとのこと。参考:https://x.com/hillbig/status/1773110076502368642?s=46&t=Y6UuI ... #Survey#Pocket#NLPIssue Date: 2024-04-14 Knowledge Conflicts for LLMs: A Survey, Rongwu Xu+, N_A, arXiv24 SummaryLLMsにおける知識の衝突に焦点を当て、文脈とパラメトリック知識の組み合わせによる複雑な課題を分析。文脈-メモリ、文脈間、メモリ内の衝突の3つのカテゴリーを探求し、実世界のアプリケーションにおける信頼性とパフォーマンスへの影響を検討。解決策を提案し、LLMsの堅牢性向上を目指す。 more","headline":"LanguageModelに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LanguageModel.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LanguageModel.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -765,7 +765,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -2182,32 +2182,32 @@ <h2 id="languagemodel">LanguageModel</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/WebSearch.html" title="WebSearchに関する論文・技術記事メモの一覧">
-            WebSearchに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/General.html" title="Generalに関する論文・技術記事メモの一覧">
+            Generalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/StudentPerformancePrediction.html" title="StudentPerformancePredictionに関する論文・技術記事メモの一覧">
-            StudentPerformancePredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Explanation.html" title="Explanationに関する論文・技術記事メモの一覧">
+            Explanationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Interleaved.html" title="Interleavedに関する論文・技術記事メモの一覧">
-            Interleavedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AffectDetection.html" title="AffectDetectionに関する論文・技術記事メモの一覧">
+            AffectDetectionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RepresentationLearning.html" title="RepresentationLearningに関する論文・技術記事メモの一覧">
-            RepresentationLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Others.html" title="Othersに関する論文・技術記事メモの一覧">
+            Othersに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/LayoutGeneration.html b/docs/articles/LayoutGeneration.html
index 2ccc94bd0..1b3654767 100644
--- a/docs/articles/LayoutGeneration.html
+++ b/docs/articles/LayoutGeneration.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/LayoutGeneration.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="LayoutGenerationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"LayoutGeneration #ComputerVision#Pocket#NLPIssue Date: 2023-11-14 LayoutPrompter: Awaken the Design Ability of Large Language Models, Jiawei Lin+, N_A, NeurIPS23 SummaryLayoutPrompterは、大規模言語モデル（LLMs）を使用して条件付きのグラフィックレイアウト生成を行う手法であり、入力-出力のシリアル化、動的な模範的選択、およびレイアウトのランキングの3つのコンポーネントで構成されています。LayoutPrompterは、既存の手法と競合したり上回ったりする性能を持ち、トレーニングや微調整なしで使用できる汎用性のあるアプローチであることが実験結果から示されています。また、データ効率にも優れており、トレーニングベースラインよりも有意に優れていることも示されています。プロジェクトは、https://github.com/microsoft/LayoutGeneration/tree/main/LayoutPrompterで利用可能です。 CommentConditional Graphic Layout Generation ...","headline":"LayoutGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LayoutGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LayoutGeneration.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"LayoutGeneration #ComputerVision#Pocket#NLPIssue Date: 2023-11-14 LayoutPrompter: Awaken the Design Ability of Large Language Models, Jiawei Lin+, N_A, NeurIPS23 SummaryLayoutPrompterは、大規模言語モデル（LLMs）を使用して条件付きのグラフィックレイアウト生成を行う手法であり、入力-出力のシリアル化、動的な模範的選択、およびレイアウトのランキングの3つのコンポーネントで構成されています。LayoutPrompterは、既存の手法と競合したり上回ったりする性能を持ち、トレーニングや微調整なしで使用できる汎用性のあるアプローチであることが実験結果から示されています。また、データ効率にも優れており、トレーニングベースラインよりも有意に優れていることも示されています。プロジェクトは、https://github.com/microsoft/LayoutGeneration/tree/main/LayoutPrompterで利用可能です。 CommentConditional Graphic Layout Generation ...","headline":"LayoutGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LayoutGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LayoutGeneration.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1011,24 +1011,24 @@ <h2 id="layoutgeneration">LayoutGeneration</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ComputerVision.html" title="ComputerVisionに関する論文・技術記事メモの一覧">
-            ComputerVisionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CommentGeneration.html" title="CommentGenerationに関する論文・技術記事メモの一覧">
+            CommentGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/QueryClassification.html" title="QueryClassificationに関する論文・技術記事メモの一覧">
-            QueryClassificationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ContextWindow.html" title="ContextWindowに関する論文・技術記事メモの一覧">
+            ContextWindowに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RLHF.html" title="RLHFに関する論文・技術記事メモの一覧">
-            RLHFに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Lambda.html" title="Lambdaに関する論文・技術記事メモの一覧">
+            Lambdaに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/LearningAnalytics.html b/docs/articles/LearningAnalytics.html
index e4b7753f0..e308f3a1c 100644
--- a/docs/articles/LearningAnalytics.html
+++ b/docs/articles/LearningAnalytics.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/LearningAnalytics.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="LearningAnalyticsに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"LearningAnalytics #Neural#AdaptiveLearning#EducationalDataMining#KnowledgeTracingIssue Date: 2022-04-28 Empirical Evaluation of Deep Learning Models for Knowledge Tracing: Of Hyperparameters and Metrics on Performance and Replicability, Sami+, Aalto University, arXiv22 CommentDKTの説明が秀逸で、元論文では書かれていない分かりづらいところまできちんと説明してくれている。 （inputは(スキルタグ, 正誤)のtupleで、outputはスキルタグ次元数のベクトルyで、各次元が対応するスキルのmasteryを表しており、モデルのtrainingはnext attempt入 ... #Neural#AdaptiveLearning#EducationalDataMining#KnowledgeTracingIssue Date: 2022-05-02 Learning Process-consistent Knowledge Tracing, Shen+, SIGKDD21 CommentDKTでは問題を間違えた際に、対応するconceptのproficiencyを下げてしまうけど、実際は間違えても何らかのlearning gainは得ているはずだから、おかしくね？というところに端を発した研究。 student performance predictionの性能よりも、Knowle# ... #Neural#Pocket#AdaptiveLearning#EducationalDataMining#KnowledgeTracingIssue Date: 2022-04-28 BEKT: Deep Knowledge Tracing with Bidirectional Encoder Representations from Transformers, Tian+ （緒方先生）, Kyoto University, ICCE21 CommentKTにBERTを利用した研究 #453 などでDeepLearningBasedなモデル間であまり差がないことが示されているので、本研究が実際どれだけ強いのかは気になるところ。 ... more","headline":"LearningAnalyticsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LearningAnalytics.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LearningAnalytics.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"LearningAnalytics #Neural#AdaptiveLearning#EducationalDataMining#KnowledgeTracingIssue Date: 2022-04-28 Empirical Evaluation of Deep Learning Models for Knowledge Tracing: Of Hyperparameters and Metrics on Performance and Replicability, Sami+, Aalto University, arXiv22 CommentDKTの説明が秀逸で、元論文では書かれていない分かりづらいところまできちんと説明してくれている。 （inputは(スキルタグ, 正誤)のtupleで、outputはスキルタグ次元数のベクトルyで、各次元が対応するスキルのmasteryを表しており、モデルのtrainingはnext attempt入 ... #Neural#AdaptiveLearning#EducationalDataMining#KnowledgeTracingIssue Date: 2022-05-02 Learning Process-consistent Knowledge Tracing, Shen+, SIGKDD21 CommentDKTでは問題を間違えた際に、対応するconceptのproficiencyを下げてしまうけど、実際は間違えても何らかのlearning gainは得ているはずだから、おかしくね？というところに端を発した研究。 student performance predictionの性能よりも、Knowle# ... #Neural#Pocket#AdaptiveLearning#EducationalDataMining#KnowledgeTracingIssue Date: 2022-04-28 BEKT: Deep Knowledge Tracing with Bidirectional Encoder Representations from Transformers, Tian+ （緒方先生）, Kyoto University, ICCE21 CommentKTにBERTを利用した研究 #453 などでDeepLearningBasedなモデル間であまり差がないことが示されているので、本研究が実際どれだけ強いのかは気になるところ。 ... more","headline":"LearningAnalyticsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LearningAnalytics.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LearningAnalytics.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1130,32 +1130,32 @@ <h2 id="learninganalytics">LearningAnalytics</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningAnalytics.html" title="LearningAnalyticsに関する論文・技術記事メモの一覧">
-            LearningAnalyticsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PersonalizedDocumentSummarization.html" title="PersonalizedDocumentSummarizationに関する論文・技術記事メモの一覧">
+            PersonalizedDocumentSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/OptionTracing.html" title="OptionTracingに関する論文・技術記事メモの一覧">
-            OptionTracingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Transformer.html" title="Transformerに関する論文・技術記事メモの一覧">
+            Transformerに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/MLOps.html" title="MLOpsに関する論文・技術記事メモの一覧">
-            MLOpsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Mathematics.html" title="Mathematicsに関する論文・技術記事メモの一覧">
+            Mathematicsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/CTRPrediction.html" title="CTRPredictionに関する論文・技術記事メモの一覧">
-            CTRPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/review.html" title="reviewに関する論文・技術記事メモの一覧">
+            reviewに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/LearningPath.html b/docs/articles/LearningPath.html
index eef01b0ff..211b2e9df 100644
--- a/docs/articles/LearningPath.html
+++ b/docs/articles/LearningPath.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/LearningPath.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="LearningPathに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"LearningPath #Article#AdaptiveLearningIssue Date: 2018-12-22 Designing and implementing a personalized remedial learning system for enhancing the programming learning, Hsieh+, Educational Technology &amp; Society, 2013 Commente-learningシステムには、三つの課題がまだある： learner control: learnerは、自分でe-learningシステムのmaterialをダウンロードしたりして勉強するが、時に事前知識が相当必要な教材とかで勉強してしまうと、learning performanceが落fu ...","headline":"LearningPathに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LearningPath.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LearningPath.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"LearningPath #Article#AdaptiveLearningIssue Date: 2018-12-22 Designing and implementing a personalized remedial learning system for enhancing the programming learning, Hsieh+, Educational Technology &amp; Society, 2013 Commente-learningシステムには、三つの課題がまだある： learner control: learnerは、自分でe-learningシステムのmaterialをダウンロードしたりして勉強するが、時に事前知識が相当必要な教材とかで勉強してしまうと、learning performanceが落fu ...","headline":"LearningPathに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LearningPath.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LearningPath.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1012,32 +1012,32 @@ <h2 id="learningpath">LearningPath</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Tools.html" title="Toolsに関する論文・技術記事メモの一覧">
-            Toolsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/python.html" title="pythonに関する論文・技術記事メモの一覧">
+            pythonに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/OnlineEvaluation.html" title="OnlineEvaluationに関する論文・技術記事メモの一覧">
-            OnlineEvaluationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ListWise.html" title="ListWiseに関する論文・技術記事メモの一覧">
+            ListWiseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ItemBased.html" title="ItemBasedに関する論文・技術記事メモの一覧">
-            ItemBasedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DropoutPrediction.html" title="DropoutPredictionに関する論文・技術記事メモの一覧">
+            DropoutPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/WebSearch.html" title="WebSearchに関する論文・技術記事メモの一覧">
-            WebSearchに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Session.html" title="Sessionに関する論文・技術記事メモの一覧">
+            Sessionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/LearningStyle.html b/docs/articles/LearningStyle.html
index 55428a875..6ef18a684 100644
--- a/docs/articles/LearningStyle.html
+++ b/docs/articles/LearningStyle.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/LearningStyle.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="LearningStyleに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"LearningStyle #Article#Classic#AdaptiveLearningIssue Date: 2018-12-22 LEARNING AND TEACHING STYLES IN ENGINEERING EDUCATION, Felder, Engr. Education, 78（7）, 674–681 （1988） CommentLearningStyleに関して研究している古典的な研究。 context-aware recsysの研究初期の頃は、だいたいはこのFelder-Silverman Theoryというのをベースに研究されていたらしい。 ...","headline":"LearningStyleに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LearningStyle.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LearningStyle.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"LearningStyle #Article#Classic#AdaptiveLearningIssue Date: 2018-12-22 LEARNING AND TEACHING STYLES IN ENGINEERING EDUCATION, Felder, Engr. Education, 78（7）, 674–681 （1988） CommentLearningStyleに関して研究している古典的な研究。 context-aware recsysの研究初期の頃は、だいたいはこのFelder-Silverman Theoryというのをベースに研究されていたらしい。 ...","headline":"LearningStyleに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LearningStyle.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LearningStyle.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1011,32 +1011,32 @@ <h2 id="learningstyle">LearningStyle</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Metrics.html" title="Metricsに関する論文・技術記事メモの一覧">
-            Metricsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MLOps.html" title="MLOpsに関する論文・技術記事メモの一覧">
+            MLOpsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/GraphConvolutionalNetwork.html" title="GraphConvolutionalNetworkに関する論文・技術記事メモの一覧">
-            GraphConvolutionalNetworkに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Transformer.html" title="Transformerに関する論文・技術記事メモの一覧">
+            Transformerに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/OnlineLearning.html" title="OnlineLearningに関する論文・技術記事メモの一覧">
-            OnlineLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SentimentAnalysis.html" title="SentimentAnalysisに関する論文・技術記事メモの一覧">
+            SentimentAnalysisに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/KnowledgeGraph.html" title="KnowledgeGraphに関する論文・技術記事メモの一覧">
-            KnowledgeGraphに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TechnologyEnhancedLearning.html" title="TechnologyEnhancedLearningに関する論文・技術記事メモの一覧">
+            TechnologyEnhancedLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/LearningToRank.html b/docs/articles/LearningToRank.html
index ee66edaab..959b5318d 100644
--- a/docs/articles/LearningToRank.html
+++ b/docs/articles/LearningToRank.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/LearningToRank.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="LearningToRankに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"LearningToRank #InformationRetrieval#LanguageModel#PromptingIssue Date: 2023-07-11 Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting, Zhen Qin+, N_A, arXiv23 SummaryLLMsを使用してドキュメントをランキングする際に、Pairwise Ranking Prompting（PRP）という新しい技術を提案する。PRPは、LLMsへの負荷を軽減し、最先端のランキングパフォーマンスを達成することができる。具体的には、20Bパラメータを持つFlan-UL2モデルに基づくPRPは、商用のGPT-4に基づく従来の手法を上回る結果を示した。さらに、PRPのバリアントを提案し、効率を改善することができることを示した。PRPは生成とスコアリングのLLM APIの両方をサポートし、入力の順序に対して無感度であることも示された。 Commentopen source LLMをスタンダードなベンチマークでSoTAを達成できるようなprompting技術を提案 ... #Tutorial#InformationRetrieval#Online/InteractiveIssue Date: 2018-01-01 Online Learning to Rank for Information Retrieval, Grotov+, SIGIR16 #RecommenderSystems#NewsCitationsIssue Date: 2018-01-01 News Citation Recommendation with Implicit and Explicit Semantics, Peng+, ACL16 Commenttarget text中に記述されているイベントや意見に対して、それらをサポートするような他のニュース記事を推薦する研究。 たとえば、target text中に「北朝鮮が先日ミサイルの発射に失敗したが...」、といった記述があったときに、このイベントについて報道しているニュース記事を推薦すると ... more","headline":"LearningToRankに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LearningToRank.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LearningToRank.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"LearningToRank #InformationRetrieval#LanguageModel#PromptingIssue Date: 2023-07-11 Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting, Zhen Qin+, N_A, arXiv23 SummaryLLMsを使用してドキュメントをランキングする際に、Pairwise Ranking Prompting（PRP）という新しい技術を提案する。PRPは、LLMsへの負荷を軽減し、最先端のランキングパフォーマンスを達成することができる。具体的には、20Bパラメータを持つFlan-UL2モデルに基づくPRPは、商用のGPT-4に基づく従来の手法を上回る結果を示した。さらに、PRPのバリアントを提案し、効率を改善することができることを示した。PRPは生成とスコアリングのLLM APIの両方をサポートし、入力の順序に対して無感度であることも示された。 Commentopen source LLMをスタンダードなベンチマークでSoTAを達成できるようなprompting技術を提案 ... #Tutorial#InformationRetrieval#Online/InteractiveIssue Date: 2018-01-01 Online Learning to Rank for Information Retrieval, Grotov+, SIGIR16 #RecommenderSystems#NewsCitationsIssue Date: 2018-01-01 News Citation Recommendation with Implicit and Explicit Semantics, Peng+, ACL16 Commenttarget text中に記述されているイベントや意見に対して、それらをサポートするような他のニュース記事を推薦する研究。 たとえば、target text中に「北朝鮮が先日ミサイルの発射に失敗したが...」、といった記述があったときに、このイベントについて報道しているニュース記事を推薦すると ... more","headline":"LearningToRankに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LearningToRank.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LearningToRank.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1081,32 +1081,32 @@ <h2 id="learningtorank">LearningToRank</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/PerformanceTesting.html" title="PerformanceTestingに関する論文・技術記事メモの一覧">
-            PerformanceTestingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PointWise.html" title="PointWiseに関する論文・技術記事メモの一覧">
+            PointWiseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/General.html" title="Generalに関する論文・技術記事メモの一覧">
-            Generalに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/HumanComputerInteraction.html" title="HumanComputerInteractionに関する論文・技術記事メモの一覧">
+            HumanComputerInteractionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Document.html" title="Documentに関する論文・技術記事メモの一覧">
-            Documentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InformationRetrieval.html" title="InformationRetrievalに関する論文・技術記事メモの一覧">
+            InformationRetrievalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/OnlineLearning.html" title="OnlineLearningに関する論文・技術記事メモの一覧">
-            OnlineLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Zero_Few-shot.html" title="Zero/Few-shotに関する論文・技術記事メモの一覧">
+            Zero/Few-shotに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Library.html b/docs/articles/Library.html
index c61830e54..fcf66bb1a 100644
--- a/docs/articles/Library.html
+++ b/docs/articles/Library.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Library.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Libraryに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Library #Tools#AdaptiveLearning#EducationalDataMining#KnowledgeTracingIssue Date: 2022-07-27 pyBKT: An Accessible Python Library of Bayesian Knowledge Tracing Models, Bardrinath+, EDM20 CommentpythonによるBKTの実装。scikit-learnベースドなinterfaceを持っているので使いやすそう。# モチベーション BKTの研究は古くから行われており、研究コミュニティで人気が高まっているにもかかわらず、アクセス可能で使いやすいモデルの実装と、さまざまな文献で提案されている多くの変 ... #Neural#NLPIssue Date: 2022-07-29 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks, Reimers+, UKP-TUDA, EMNLP19 CommentBERTでトークンをembeddingし、mean poolingすることで生成される文ベクトルを、Siamese Networkを使い距離学習（finetune）させたモデル。 &lt;img width=&quot;655&quot; alt=&quot;image&quot; src=&quot;https://user-images.githu ... #Article#LanguageModel#RepositoryIssue Date: 2024-04-29 mergekit-evolve Comment#1257 のように進化的アルゴリズムでモデルマージができるライブラリ解説記事:https://note.com/npaka/n/nad2ff954ab81大きなVRAMが無くとも、大きめのSRAMがあれば動作するらしい ... more","headline":"Libraryに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Library.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Library.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Library #Tools#AdaptiveLearning#EducationalDataMining#KnowledgeTracingIssue Date: 2022-07-27 pyBKT: An Accessible Python Library of Bayesian Knowledge Tracing Models, Bardrinath+, EDM20 CommentpythonによるBKTの実装。scikit-learnベースドなinterfaceを持っているので使いやすそう。# モチベーション BKTの研究は古くから行われており、研究コミュニティで人気が高まっているにもかかわらず、アクセス可能で使いやすいモデルの実装と、さまざまな文献で提案されている多くの変 ... #Neural#NLPIssue Date: 2022-07-29 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks, Reimers+, UKP-TUDA, EMNLP19 CommentBERTでトークンをembeddingし、mean poolingすることで生成される文ベクトルを、Siamese Networkを使い距離学習（finetune）させたモデル。 &lt;img width=&quot;655&quot; alt=&quot;image&quot; src=&quot;https://user-images.githu ... #Article#LanguageModel#RepositoryIssue Date: 2024-04-29 mergekit-evolve Comment#1257 のように進化的アルゴリズムでモデルマージができるライブラリ解説記事:https://note.com/npaka/n/nad2ff954ab81大きなVRAMが無くとも、大きめのSRAMがあれば動作するらしい ... more","headline":"Libraryに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Library.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Library.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1207,32 +1207,32 @@ <h2 id="library">Library</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ContextAware.html" title="ContextAwareに関する論文・技術記事メモの一覧">
-            ContextAwareに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LayoutGeneration.html" title="LayoutGenerationに関する論文・技術記事メモの一覧">
+            LayoutGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ImageCaptioning.html" title="ImageCaptioningに関する論文・技術記事メモの一覧">
-            ImageCaptioningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Personalization.html" title="Personalizationに関する論文・技術記事メモの一覧">
+            Personalizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/CTRPrediction.html" title="CTRPredictionに関する論文・技術記事メモの一覧">
-            CTRPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MachineTranslation.html" title="MachineTranslationに関する論文・技術記事メモの一覧">
+            MachineTranslationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Poisoning.html" title="Poisoningに関する論文・技術記事メモの一覧">
-            Poisoningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/VariationalAutoEncoder.html" title="VariationalAutoEncoderに関する論文・技術記事メモの一覧">
+            VariationalAutoEncoderに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/ListWise.html b/docs/articles/ListWise.html
index 5e8287c74..4a89cb79f 100644
--- a/docs/articles/ListWise.html
+++ b/docs/articles/ListWise.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/ListWise.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="ListWiseに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"ListWise #InformationRetrieval#LearningToRank#PocketIssue Date: 2018-01-01 Listwise Approach to Learning to Rank - Theory and Algorithm （ListMLE）, Xia+, ICML2008 #InformationRetrieval#LearningToRankIssue Date: 2018-01-01 Learning to Rank: From Pairwise Approach to Listwise Approach （ListNet）, Cao+, ICML2007 Comment解説スライド：http://www.nactem.ac.uk/tsujii/T-FaNT2/T-FaNT.files/Slides/liu.pdf 解説ブログ：https://qiita.com/koreyou/items/a69750696fd0b9d88608従来行われてきたLearning t ... #Article#InformationRetrieval#LearningToRankIssue Date: 2018-01-01 A General Approximation Framework for Direct Optimization of Information Retrieval Measures （ApproxAP, ApproxNDCG）, Qin+, Information Retrieval, 2010 Comment実装してみたが、バグありそう感・・・ https://github.com/AkihikoWatanabe/ApproxAP ...","headline":"ListWiseに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ListWise.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ListWise.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"ListWise #InformationRetrieval#LearningToRank#PocketIssue Date: 2018-01-01 Listwise Approach to Learning to Rank - Theory and Algorithm （ListMLE）, Xia+, ICML2008 #InformationRetrieval#LearningToRankIssue Date: 2018-01-01 Learning to Rank: From Pairwise Approach to Listwise Approach （ListNet）, Cao+, ICML2007 Comment解説スライド：http://www.nactem.ac.uk/tsujii/T-FaNT2/T-FaNT.files/Slides/liu.pdf 解説ブログ：https://qiita.com/koreyou/items/a69750696fd0b9d88608従来行われてきたLearning t ... #Article#InformationRetrieval#LearningToRankIssue Date: 2018-01-01 A General Approximation Framework for Direct Optimization of Information Retrieval Measures （ApproxAP, ApproxNDCG）, Qin+, Information Retrieval, 2010 Comment実装してみたが、バグありそう感・・・ https://github.com/AkihikoWatanabe/ApproxAP ...","headline":"ListWiseに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ListWise.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ListWise.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1017,8 +1017,8 @@ <h2 id="listwise">ListWise</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/EssayScoring.html" title="EssayScoringに関する論文・技術記事メモの一覧">
-            EssayScoringに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/OnlineLearning.html" title="OnlineLearningに関する論文・技術記事メモの一覧">
+            OnlineLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
@@ -1033,16 +1033,16 @@ <h2 id="listwise">ListWise</h2>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ImageSegmentation.html" title="ImageSegmentationに関する論文・技術記事メモの一覧">
-            ImageSegmentationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Supervised.html" title="Supervisedに関する論文・技術記事メモの一覧">
+            Supervisedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataAugmentation.html" title="DataAugmentationに関する論文・技術記事メモの一覧">
-            DataAugmentationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DynamicNetworks.html" title="DynamicNetworksに関する論文・技術記事メモの一覧">
+            DynamicNetworksに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/LongSequence.html b/docs/articles/LongSequence.html
index 3465e8a69..b46a0afdc 100644
--- a/docs/articles/LongSequence.html
+++ b/docs/articles/LongSequence.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/LongSequence.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="LongSequenceに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"LongSequence #Analysis#Pocket#NLP#LanguageModel#ContextWindowIssue Date: 2024-04-07 Long-context LLMs Struggle with Long In-context Learning, Tianle Li+, N_A, arXiv24 SummaryLLMsは長いシーケンスを処理する能力に進展しているが、実世界のシナリオでの能力を評価するための専門的なベンチマークLongICLBenchが導入された。このベンチマークでは、LLMsは巨大なラベル空間を理解し、正しい予測を行うために入力全体を理解する必要がある。研究によると、長いコンテキストLLMsは長いコンテキストウィンドウを活用することで比較的良いパフォーマンスを示すが、最も困難なタスクでは苦労している。現在のLLMsは長くコンテキスト豊かなシーケンスを処理し理解する能力にギャップがあることを示唆しており、長いコンテキストの理解と推論は依然として難しい課題であることが示されている。 CommentGPT4以外はコンテキストが20Kを超えると性能が劣化する傾向にあるとのこと。データセットを難易度別に収集し評価したところ、難易度の高いデータではそもそもコンテキストが長くなると全てのLLMがタスクを理解するできずほぼ0%の性能となった。 ... #Survey#Pocket#TransformerIssue Date: 2023-11-27 Advancing Transformer Architecture in Long-Context Large Language Models: A Comprehensive Survey, Yunpeng Huang+, N_A, arXiv23 Summary本論文では、Transformerベースの大規模言語モデル（LLMs）の長い文脈の能力を最適化するための包括的な調査を提案しています。現行のLLMsの制約や問題点を明確化し、アーキテクチャのアップグレードや評価の必要性について説明しています。さらに、最適化ツールキットや将来の研究の可能性についても議論しています。関連文献はhttps://github.com/Strivin0311/long-llms-learningでリアルタイムに更新されています。 CommentTransformerをLongContextに対応させる技術のサーベイ。（画像は元ツイートより）元ツイート: https://x.com/omarsar0/status/1727358484360945750?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Pocket#NLP#LanguageModelIssue Date: 2023-10-09 Effective Long-Context Scaling of Foundation Models, Wenhan Xiong+, N_A, arXiv23 Summary私たちは、長いコンテキストをサポートする一連のLLMsを提案します。これらのモデルは、長いテキストを含むデータセットでトレーニングされ、言語モデリングや他のタスクで評価されます。提案手法は、通常のタスクと長いコンテキストのタスクの両方で改善をもたらします。また、70Bバリアントはgpt-3.5-turbo-16kを上回るパフォーマンスを実現します。さらに、私たちはLlamaの位置エンコーディングや事前学習プロセスの設計選択の影響についても分析しました。結果から、長いコンテキストの継続的な事前学習が効果的であることが示されました。 Comment以下elvis氏のツイートの意訳Metaが32kのcontext windowをサポートする70BのLLaMa2のvariant提案し、gpt-3.5-turboをlong contextが必要なタスクでoutperform。short contextのLLaMa2を継続的に訓練して実現。これ位置エ ... more","headline":"LongSequenceに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LongSequence.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LongSequence.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"LongSequence #Analysis#Pocket#NLP#LanguageModel#ContextWindowIssue Date: 2024-04-07 Long-context LLMs Struggle with Long In-context Learning, Tianle Li+, N_A, arXiv24 SummaryLLMsは長いシーケンスを処理する能力に進展しているが、実世界のシナリオでの能力を評価するための専門的なベンチマークLongICLBenchが導入された。このベンチマークでは、LLMsは巨大なラベル空間を理解し、正しい予測を行うために入力全体を理解する必要がある。研究によると、長いコンテキストLLMsは長いコンテキストウィンドウを活用することで比較的良いパフォーマンスを示すが、最も困難なタスクでは苦労している。現在のLLMsは長くコンテキスト豊かなシーケンスを処理し理解する能力にギャップがあることを示唆しており、長いコンテキストの理解と推論は依然として難しい課題であることが示されている。 CommentGPT4以外はコンテキストが20Kを超えると性能が劣化する傾向にあるとのこと。データセットを難易度別に収集し評価したところ、難易度の高いデータではそもそもコンテキストが長くなると全てのLLMがタスクを理解するできずほぼ0%の性能となった。 ... #Survey#Pocket#TransformerIssue Date: 2023-11-27 Advancing Transformer Architecture in Long-Context Large Language Models: A Comprehensive Survey, Yunpeng Huang+, N_A, arXiv23 Summary本論文では、Transformerベースの大規模言語モデル（LLMs）の長い文脈の能力を最適化するための包括的な調査を提案しています。現行のLLMsの制約や問題点を明確化し、アーキテクチャのアップグレードや評価の必要性について説明しています。さらに、最適化ツールキットや将来の研究の可能性についても議論しています。関連文献はhttps://github.com/Strivin0311/long-llms-learningでリアルタイムに更新されています。 CommentTransformerをLongContextに対応させる技術のサーベイ。（画像は元ツイートより）元ツイート: https://x.com/omarsar0/status/1727358484360945750?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Pocket#NLP#LanguageModelIssue Date: 2023-10-09 Effective Long-Context Scaling of Foundation Models, Wenhan Xiong+, N_A, arXiv23 Summary私たちは、長いコンテキストをサポートする一連のLLMsを提案します。これらのモデルは、長いテキストを含むデータセットでトレーニングされ、言語モデリングや他のタスクで評価されます。提案手法は、通常のタスクと長いコンテキストのタスクの両方で改善をもたらします。また、70Bバリアントはgpt-3.5-turbo-16kを上回るパフォーマンスを実現します。さらに、私たちはLlamaの位置エンコーディングや事前学習プロセスの設計選択の影響についても分析しました。結果から、長いコンテキストの継続的な事前学習が効果的であることが示されました。 Comment以下elvis氏のツイートの意訳Metaが32kのcontext windowをサポートする70BのLLaMa2のvariant提案し、gpt-3.5-turboをlong contextが必要なタスクでoutperform。short contextのLLaMa2を継続的に訓練して実現。これ位置エ ... more","headline":"LongSequenceに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/LongSequence.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/LongSequence.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1050,32 +1050,32 @@ <h2 id="longsequence">LongSequence</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Annotation.html" title="Annotationに関する論文・技術記事メモの一覧">
-            Annotationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Document.html" title="Documentに関する論文・技術記事メモの一覧">
+            Documentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Tutorial.html" title="Tutorialに関する論文・技術記事メモの一覧">
-            Tutorialに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MultiLingual.html" title="MultiLingualに関する論文・技術記事メモの一覧">
+            MultiLingualに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataGeneration.html" title="DataGenerationに関する論文・技術記事メモの一覧">
-            DataGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Temporal.html" title="Temporalに関する論文・技術記事メモの一覧">
+            Temporalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/post-pretraining.html" title="post-pretrainingに関する論文・技術記事メモの一覧">
-            post-pretrainingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MLOps.html" title="MLOpsに関する論文・技術記事メモの一覧">
+            MLOpsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/MLOps.html b/docs/articles/MLOps.html
index c05003d9b..dc6b1f632 100644
--- a/docs/articles/MLOps.html
+++ b/docs/articles/MLOps.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/MLOps.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="MLOpsに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"MLOps #Article#RecommenderSystemsIssue Date: 2023-12-19 モバオクでのリアルタイムレコメンドシステムの紹介 CommentDeNAでのRecSysのアーキテクチャ（バッチ、リアルタイム）が紹介されている。バッチではワークフローエンジンとしてVertex AI Pipelineが用いられている。リアルタイムになるとアーキテクチャが非常に複雑になっている。複雑なアーキテクチャだが、Generative Recommendリ ... #Article#RecommenderSystemsIssue Date: 2023-09-05 Lessons Learnt From Consolidating ML Models in a Large Scale Recommendation System Comment推薦システムには様々なusecaseが存在しており、それらは別々に運用されることが多い。 user-item recommendation item-item recommendation query-item recommendation category-item recこれが このようなsi ... #Article#Tools#Infrastructure#Article#RepositoryIssue Date: 2022-12-01 deploy-API-to-GCP CommentFlaskAPIを（Flaskでなくても良い）Google Cloud Run上で、TerraFormで定義したインフラ環境でデプロイするためのリポジトリ0. リポジトリをclone1. Flaskアプリ作成2. FlaskアプリをDocker化3. TerraFormのStateを保存すCloud ... more","headline":"MLOpsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/MLOps.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/MLOps.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"MLOps #Article#RecommenderSystemsIssue Date: 2023-12-19 モバオクでのリアルタイムレコメンドシステムの紹介 CommentDeNAでのRecSysのアーキテクチャ（バッチ、リアルタイム）が紹介されている。バッチではワークフローエンジンとしてVertex AI Pipelineが用いられている。リアルタイムになるとアーキテクチャが非常に複雑になっている。複雑なアーキテクチャだが、Generative Recommendリ ... #Article#RecommenderSystemsIssue Date: 2023-09-05 Lessons Learnt From Consolidating ML Models in a Large Scale Recommendation System Comment推薦システムには様々なusecaseが存在しており、それらは別々に運用されることが多い。 user-item recommendation item-item recommendation query-item recommendation category-item recこれが このようなsi ... #Article#Tools#Infrastructure#Article#RepositoryIssue Date: 2022-12-01 deploy-API-to-GCP CommentFlaskAPIを（Flaskでなくても良い）Google Cloud Run上で、TerraFormで定義したインフラ環境でデプロイするためのリポジトリ0. リポジトリをclone1. Flaskアプリ作成2. FlaskアプリをDocker化3. TerraFormのStateを保存すCloud ... more","headline":"MLOpsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/MLOps.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/MLOps.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1037,32 +1037,32 @@ <h2 id="mlops">MLOps</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/CodeGeneration.html" title="CodeGenerationに関する論文・技術記事メモの一覧">
-            CodeGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DiffusionModel.html" title="DiffusionModelに関する論文・技術記事メモの一覧">
+            DiffusionModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Regularization.html" title="Regularizationに関する論文・技術記事メモの一覧">
-            Regularizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Discourse.html" title="Discourseに関する論文・技術記事メモの一覧">
+            Discourseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DropoutPrediction.html" title="DropoutPredictionに関する論文・技術記事メモの一覧">
-            DropoutPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InformationRetrieval.html" title="InformationRetrievalに関する論文・技術記事メモの一覧">
+            InformationRetrievalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TimeSeriesDataProcessing.html" title="TimeSeriesDataProcessingに関する論文・技術記事メモの一覧">
-            TimeSeriesDataProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Programming.html" title="Programmingに関する論文・技術記事メモの一覧">
+            Programmingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/MachineLearning.html b/docs/articles/MachineLearning.html
index 6e0fa01a1..57a59fce3 100644
--- a/docs/articles/MachineLearning.html
+++ b/docs/articles/MachineLearning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/MachineLearning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="MachineLearningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"MachineLearning #Pocket#NLP#TransformerIssue Date: 2024-01-16 Transformers are Multi-State RNNs, Matanel Oren+, N_A, arXiv24 Summary本研究では、トランスフォーマーのデコーダーは無限マルチステートRNNとして概念化できることを示し、有限のマルチステートRNNに変換することも可能であることを示します。さらに、新しいキャッシュ圧縮ポリシーであるTOVAを導入し、他のポリシーよりも優れた性能を示すことを実験結果で示しました。TOVAは元のキャッシュサイズの1/8しか使用せず、トランスフォーマーデコーダーLLMが実際にはRNNとして振る舞うことが多いことを示しています。 #Efficiency/SpeedUp#Finetuning#Adapter/LoRAIssue Date: 2024-01-17 VeRA: Vector-based Random Matrix Adaptation, Dawid J. Kopiczko+, N_A, arXiv23 Summary本研究では、大規模な言語モデルのfine-tuningにおいて、訓練可能なパラメータの数を削減するための新しい手法であるベクトルベースのランダム行列適応（VeRA）を提案する。VeRAは、共有される低ランク行列と小さなスケーリングベクトルを使用することで、同じ性能を維持しながらパラメータ数を削減する。GLUEやE2Eのベンチマーク、画像分類タスクでの効果を示し、言語モデルのインストラクションチューニングにも応用できることを示す。 #NLP#LanguageModel#FinetuningIssue Date: 2023-10-26 NEFTune: Noisy Embeddings Improve Instruction Finetuning, Neel Jain+, N_A, arXiv23 Summary私たちは、言語モデルのファインチューニングを改善するために、ノイズを加えた埋め込みベクトルを使用する手法を提案します。この手法は、AlpacaEvalやEvol-Instructなどのデータセットで強力なベースラインを上回る性能を示しました。また、RLHFでトレーニングされたモデルにも適用可能です。 CommentAlpacaデータでの性能向上が著しい。かなり重要論文な予感。後で読む。 ... more","headline":"MachineLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/MachineLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/MachineLearning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"MachineLearning #Pocket#NLP#TransformerIssue Date: 2024-01-16 Transformers are Multi-State RNNs, Matanel Oren+, N_A, arXiv24 Summary本研究では、トランスフォーマーのデコーダーは無限マルチステートRNNとして概念化できることを示し、有限のマルチステートRNNに変換することも可能であることを示します。さらに、新しいキャッシュ圧縮ポリシーであるTOVAを導入し、他のポリシーよりも優れた性能を示すことを実験結果で示しました。TOVAは元のキャッシュサイズの1/8しか使用せず、トランスフォーマーデコーダーLLMが実際にはRNNとして振る舞うことが多いことを示しています。 #Efficiency/SpeedUp#Finetuning#Adapter/LoRAIssue Date: 2024-01-17 VeRA: Vector-based Random Matrix Adaptation, Dawid J. Kopiczko+, N_A, arXiv23 Summary本研究では、大規模な言語モデルのfine-tuningにおいて、訓練可能なパラメータの数を削減するための新しい手法であるベクトルベースのランダム行列適応（VeRA）を提案する。VeRAは、共有される低ランク行列と小さなスケーリングベクトルを使用することで、同じ性能を維持しながらパラメータ数を削減する。GLUEやE2Eのベンチマーク、画像分類タスクでの効果を示し、言語モデルのインストラクションチューニングにも応用できることを示す。 #NLP#LanguageModel#FinetuningIssue Date: 2023-10-26 NEFTune: Noisy Embeddings Improve Instruction Finetuning, Neel Jain+, N_A, arXiv23 Summary私たちは、言語モデルのファインチューニングを改善するために、ノイズを加えた埋め込みベクトルを使用する手法を提案します。この手法は、AlpacaEvalやEvol-Instructなどのデータセットで強力なベースラインを上回る性能を示しました。また、RLHFでトレーニングされたモデルにも適用可能です。 CommentAlpacaデータでの性能向上が著しい。かなり重要論文な予感。後で読む。 ... more","headline":"MachineLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/MachineLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/MachineLearning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -765,7 +765,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1382,32 +1382,32 @@ <h2 id="machinelearning">MachineLearning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ExperimentManagement.html" title="ExperimentManagementに関する論文・技術記事メモの一覧">
-            ExperimentManagementに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Snippets.html" title="Snippetsに関する論文・技術記事メモの一覧">
+            Snippetsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Controllable.html" title="Controllableに関する論文・技術記事メモの一覧">
-            Controllableに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ExplicitFeedback.html" title="ExplicitFeedbackに関する論文・技術記事メモの一覧">
+            ExplicitFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/UserModeling.html" title="UserModelingに関する論文・技術記事メモの一覧">
-            UserModelingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Interleaved.html" title="Interleavedに関する論文・技術記事メモの一覧">
+            Interleavedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/MultitaskLearning.html" title="MultitaskLearningに関する論文・技術記事メモの一覧">
-            MultitaskLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ECS.html" title="ECSに関する論文・技術記事メモの一覧">
+            ECSに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/MachineTranslation.html b/docs/articles/MachineTranslation.html
index 1999c8467..30f350701 100644
--- a/docs/articles/MachineTranslation.html
+++ b/docs/articles/MachineTranslation.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/MachineTranslation.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="MachineTranslationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"MachineTranslation #DocumentSummarization#NaturalLanguageGeneration#Metrics#Pocket#NLP#Evaluation#LM-based#CoherenceIssue Date: 2023-08-13 DiscoScore: Evaluating Text Generation with BERT and Discourse Coherence, Wei Zhao+, N_A, EACL23 Summary本研究では、文章の一貫性を評価するための新しい指標であるDiscoScoreを紹介します。DiscoScoreはCentering理論に基づいており、BERTを使用して談話の一貫性をモデル化します。実験の結果、DiscoScoreは他の指標よりも人間の評価との相関が高く、システムレベルでの評価でも優れた結果を示しました。さらに、DiscoScoreの重要性とその優位性についても説明されています。 #Unsupervised#NLP#AudioProcessing#SpeechIssue Date: 2023-07-15 Simple and Effective Unsupervised Speech Translation, ACL23 Summary音声翻訳のためのラベル付きデータが限られているため、非教師あり手法を使用して音声翻訳システムを構築する方法を研究している。パイプラインアプローチや擬似ラベル生成を使用し、非教師ありドメイン適応技術を提案している。実験の結果、従来の手法を上回る性能を示している。 #DocumentSummarization#Neural#NLP#Transformer#pretrained-LMIssue Date: 2022-12-01 Leveraging Pre-trained Checkpoints for Sequence Generation Tasks, Rothe+, Google Research, TACL20 Comment# 概要 BERT-to-BERT論文。これまでpre-trainedなチェックポイントを利用する研究は主にNLUで行われてきており、Seq2Seqでは行われてきていなかったので、やりました、という話。 publicly availableなBERTのcheckpointを利用し、BERTをen ... more","headline":"MachineTranslationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/MachineTranslation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/MachineTranslation.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"MachineTranslation #DocumentSummarization#NaturalLanguageGeneration#Metrics#Pocket#NLP#Evaluation#LM-based#CoherenceIssue Date: 2023-08-13 DiscoScore: Evaluating Text Generation with BERT and Discourse Coherence, Wei Zhao+, N_A, EACL23 Summary本研究では、文章の一貫性を評価するための新しい指標であるDiscoScoreを紹介します。DiscoScoreはCentering理論に基づいており、BERTを使用して談話の一貫性をモデル化します。実験の結果、DiscoScoreは他の指標よりも人間の評価との相関が高く、システムレベルでの評価でも優れた結果を示しました。さらに、DiscoScoreの重要性とその優位性についても説明されています。 #Unsupervised#NLP#AudioProcessing#SpeechIssue Date: 2023-07-15 Simple and Effective Unsupervised Speech Translation, ACL23 Summary音声翻訳のためのラベル付きデータが限られているため、非教師あり手法を使用して音声翻訳システムを構築する方法を研究している。パイプラインアプローチや擬似ラベル生成を使用し、非教師ありドメイン適応技術を提案している。実験の結果、従来の手法を上回る性能を示している。 #DocumentSummarization#Neural#NLP#Transformer#pretrained-LMIssue Date: 2022-12-01 Leveraging Pre-trained Checkpoints for Sequence Generation Tasks, Rothe+, Google Research, TACL20 Comment# 概要 BERT-to-BERT論文。これまでpre-trainedなチェックポイントを利用する研究は主にNLUで行われてきており、Seq2Seqでは行われてきていなかったので、やりました、という話。 publicly availableなBERTのcheckpointを利用し、BERTをen ... more","headline":"MachineTranslationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/MachineTranslation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/MachineTranslation.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1092,32 +1092,32 @@ <h2 id="machinetranslation">MachineTranslation</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ReviewGeneration.html" title="ReviewGenerationに関する論文・技術記事メモの一覧">
-            ReviewGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ReadingComprehension.html" title="ReadingComprehensionに関する論文・技術記事メモの一覧">
+            ReadingComprehensionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NewsCitations.html" title="NewsCitationsに関する論文・技術記事メモの一覧">
-            NewsCitationsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Bias.html" title="Biasに関する論文・技術記事メモの一覧">
+            Biasに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Composition.html" title="Compositionに関する論文・技術記事メモの一覧">
-            Compositionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Update.html" title="Updateに関する論文・技術記事メモの一覧">
+            Updateに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TrainedMetrics.html" title="TrainedMetricsに関する論文・技術記事メモの一覧">
-            TrainedMetricsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ChatGPT.html" title="ChatGPTに関する論文・技術記事メモの一覧">
+            ChatGPTに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Mathematics.html b/docs/articles/Mathematics.html
index 287cd725a..99a1057aa 100644
--- a/docs/articles/Mathematics.html
+++ b/docs/articles/Mathematics.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Mathematics.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Mathematicsに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Mathematics #Pretraining#Pocket#NLP#LanguageModel#FoundationModelIssue Date: 2023-10-29 Llemma: An Open Language Model For Mathematics, Zhangir Azerbayev+, N_A, arXiv23 Summary私たちは、数学のための大規模な言語モデルであるLlemmaを提案します。Llemmaは、Proof-Pile-2と呼ばれるデータセットを用いて事前学習され、MATHベンチマークで他のモデルを上回る性能を示しました。さらに、Llemmaは追加のfine-tuningなしでツールの使用や形式的な定理証明が可能です。アーティファクトも公開されています。 CommentCodeLLaMAを200B tokenの数学テキスト（proof-pile-2データ;論文、数学を含むウェブテキスト、数学のコードが含まれるデータ）で継続的に事前学習することでfoundation modelを構築約半分のパラメータ数で数学に関する性能でGoogleのMinervaと同等の性元ツイ ... #Pocket#NLP#Dataset#LanguageModel#InstructionTuning#NumericReasoningIssue Date: 2023-09-30 MAmmoTH: Building Math Generalist Models through Hybrid Instruction Tuning, Xiang Yue+, N_A, arXiv23 SummaryMAmmoTHは、数学の問題解決に特化した大規模言語モデルであり、厳密にキュレーションされた教育データセットで訓練されています。このモデルは、CoTとPoTのハイブリッドな根拠を提供し、さまざまな数学の分野を包括的にカバーしています。MAmmoTHは、既存のオープンソースモデルを大幅に上回り、特にMATHデータセットで高い精度を示しています。この研究は、多様な問題のカバレッジとハイブリッドな根拠の使用の重要性を強調しています。 Comment9つのmath reasoningが必要なデータセットで13-29%のgainでSoTAを達成。260kの根拠情報を含むMath Instructデータでチューニングされたモデル。project page: https://tiger-ai-lab.github.io/MAmmoTH/ ... #NLP#LanguageModelIssue Date: 2023-07-15 Solving Math Word Problems via Cooperative Reasoning induced Language Models, ACL23 Summary大規模な事前学習言語モデル（PLM）を使用して、数学の文章問題（MWPs）を解決するためのCooperative Reasoning（CoRe）アーキテクチャを開発しました。CoReでは、生成器と検証器の二つの推論システムが相互作用し、推論パスを生成し評価を監督します。CoReは、数学的推論データセットで最先端の手法に比べて最大9.6％の改善を達成しました。","headline":"Mathematicsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Mathematics.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Mathematics.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Mathematics #Pretraining#Pocket#NLP#LanguageModel#FoundationModelIssue Date: 2023-10-29 Llemma: An Open Language Model For Mathematics, Zhangir Azerbayev+, N_A, arXiv23 Summary私たちは、数学のための大規模な言語モデルであるLlemmaを提案します。Llemmaは、Proof-Pile-2と呼ばれるデータセットを用いて事前学習され、MATHベンチマークで他のモデルを上回る性能を示しました。さらに、Llemmaは追加のfine-tuningなしでツールの使用や形式的な定理証明が可能です。アーティファクトも公開されています。 CommentCodeLLaMAを200B tokenの数学テキスト（proof-pile-2データ;論文、数学を含むウェブテキスト、数学のコードが含まれるデータ）で継続的に事前学習することでfoundation modelを構築約半分のパラメータ数で数学に関する性能でGoogleのMinervaと同等の性元ツイ ... #Pocket#NLP#Dataset#LanguageModel#InstructionTuning#NumericReasoningIssue Date: 2023-09-30 MAmmoTH: Building Math Generalist Models through Hybrid Instruction Tuning, Xiang Yue+, N_A, arXiv23 SummaryMAmmoTHは、数学の問題解決に特化した大規模言語モデルであり、厳密にキュレーションされた教育データセットで訓練されています。このモデルは、CoTとPoTのハイブリッドな根拠を提供し、さまざまな数学の分野を包括的にカバーしています。MAmmoTHは、既存のオープンソースモデルを大幅に上回り、特にMATHデータセットで高い精度を示しています。この研究は、多様な問題のカバレッジとハイブリッドな根拠の使用の重要性を強調しています。 Comment9つのmath reasoningが必要なデータセットで13-29%のgainでSoTAを達成。260kの根拠情報を含むMath Instructデータでチューニングされたモデル。project page: https://tiger-ai-lab.github.io/MAmmoTH/ ... #NLP#LanguageModelIssue Date: 2023-07-15 Solving Math Word Problems via Cooperative Reasoning induced Language Models, ACL23 Summary大規模な事前学習言語モデル（PLM）を使用して、数学の文章問題（MWPs）を解決するためのCooperative Reasoning（CoRe）アーキテクチャを開発しました。CoReでは、生成器と検証器の二つの推論システムが相互作用し、推論パスを生成し評価を監督します。CoReは、数学的推論データセットで最先端の手法に比べて最大9.6％の改善を達成しました。","headline":"Mathematicsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Mathematics.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Mathematics.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1018,32 +1018,32 @@ <h2 id="mathematics">Mathematics</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Planning.html" title="Planningに関する論文・技術記事メモの一覧">
-            Planningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MachineTranslation.html" title="MachineTranslationに関する論文・技術記事メモの一覧">
+            MachineTranslationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DesignPattern.html" title="DesignPatternに関する論文・技術記事メモの一覧">
-            DesignPatternに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Quantization.html" title="Quantizationに関する論文・技術記事メモの一覧">
+            Quantizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InteractivePersonalizedSummarization.html" title="InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧">
-            InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PairWise.html" title="PairWiseに関する論文・技術記事メモの一覧">
+            PairWiseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Contents-based.html" title="Contents-basedに関する論文・技術記事メモの一覧">
-            Contents-basedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MultitaskLearning.html" title="MultitaskLearningに関する論文・技術記事メモの一覧">
+            MultitaskLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/MatrixFactorization.html b/docs/articles/MatrixFactorization.html
index 475ee9f88..15edb85a0 100644
--- a/docs/articles/MatrixFactorization.html
+++ b/docs/articles/MatrixFactorization.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/MatrixFactorization.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="MatrixFactorizationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"MatrixFactorization #RecommenderSystems#Neural#CollaborativeFilteringIssue Date: 2018-02-16 Neural Collaborative Filtering, He+, WWW17 CommentCollaborative FilteringをMLPで一般化したNeural Collaborative Filtering、およびMatrix Factorizationはuser, item-embeddingのelement-wise product + linear transofmrat ... #RecommenderSystems#NeuralIssue Date: 2018-01-11 Deep content-based music recommendation, Oord+, NIPS13 CommentContents-Basedな音楽推薦手法(cold-start problemに強い)。 Weighted Matrix Factorization (WMF) (Implicit Feedbackによるデータに特化したMatrix Factorization手法) #225 に、Convolu ... #RecommenderSystems#Tools#CollaborativeFilteringIssue Date: 2018-01-11 SVDFeature: a toolkit for feature-based collaborative filtering, Chen+, JMLR12 Commenttool: http://apex.sjtu.edu.cn/projects/33Ratingの情報だけでなく、Auxiliaryな情報も使ってMatrix Factorizationができるツールを作成した。 これにより、Rating Matrixの情報だけでなく、自身で設計したfeatureをM ... more","headline":"MatrixFactorizationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/MatrixFactorization.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/MatrixFactorization.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"MatrixFactorization #RecommenderSystems#Neural#CollaborativeFilteringIssue Date: 2018-02-16 Neural Collaborative Filtering, He+, WWW17 CommentCollaborative FilteringをMLPで一般化したNeural Collaborative Filtering、およびMatrix Factorizationはuser, item-embeddingのelement-wise product + linear transofmrat ... #RecommenderSystems#NeuralIssue Date: 2018-01-11 Deep content-based music recommendation, Oord+, NIPS13 CommentContents-Basedな音楽推薦手法(cold-start problemに強い)。 Weighted Matrix Factorization (WMF) (Implicit Feedbackによるデータに特化したMatrix Factorization手法) #225 に、Convolu ... #RecommenderSystems#Tools#CollaborativeFilteringIssue Date: 2018-01-11 SVDFeature: a toolkit for feature-based collaborative filtering, Chen+, JMLR12 Commenttool: http://apex.sjtu.edu.cn/projects/33Ratingの情報だけでなく、Auxiliaryな情報も使ってMatrix Factorizationができるツールを作成した。 これにより、Rating Matrixの情報だけでなく、自身で設計したfeatureをM ... more","headline":"MatrixFactorizationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/MatrixFactorization.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/MatrixFactorization.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1055,32 +1055,32 @@ <h2 id="matrixfactorization">MatrixFactorization</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/MultitaskLearning.html" title="MultitaskLearningに関する論文・技術記事メモの一覧">
-            MultitaskLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SingleFramework.html" title="SingleFrameworkに関する論文・技術記事メモの一覧">
+            SingleFrameworkに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/EssayScoring.html" title="EssayScoringに関する論文・技術記事メモの一覧">
-            EssayScoringに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Argument.html" title="Argumentに関する論文・技術記事メモの一覧">
+            Argumentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Novelty.html" title="Noveltyに関する論文・技術記事メモの一覧">
-            Noveltyに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CrossLingual.html" title="CrossLingualに関する論文・技術記事メモの一覧">
+            CrossLingualに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Conversation.html" title="Conversationに関する論文・技術記事メモの一覧">
-            Conversationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MatrixFactorization.html" title="MatrixFactorizationに関する論文・技術記事メモの一覧">
+            MatrixFactorizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Metrics.html b/docs/articles/Metrics.html
index db683aea6..70dd58816 100644
--- a/docs/articles/Metrics.html
+++ b/docs/articles/Metrics.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Metrics.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Metricsに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Metrics #DocumentSummarization#MachineTranslation#NaturalLanguageGeneration#Pocket#NLP#Evaluation#LM-based#CoherenceIssue Date: 2023-08-13 DiscoScore: Evaluating Text Generation with BERT and Discourse Coherence, Wei Zhao+, N_A, EACL23 Summary本研究では、文章の一貫性を評価するための新しい指標であるDiscoScoreを紹介します。DiscoScoreはCentering理論に基づいており、BERTを使用して談話の一貫性をモデル化します。実験の結果、DiscoScoreは他の指標よりも人間の評価との相関が高く、システムレベルでの評価でも優れた結果を示しました。さらに、DiscoScoreの重要性とその優位性についても説明されています。 #NLP#LanguageModel#QuestionAnswering#Evaluation#Reference-freeIssue Date: 2023-07-22 RQUGE: Reference-Free Metric for Evaluating Question Generation by Answering the Question, ACL23 Summary既存の質問評価メトリックにはいくつかの欠点がありますが、本研究では新しいメトリックRQUGEを提案します。RQUGEは文脈に基づいて候補質問の回答可能性を考慮し、参照質問に依存せずに人間の判断と高い相関を持つことが示されています。さらに、RQUGEは敵対的な破壊に対しても堅牢であり、質問生成モデルのファインチューニングにも有効です。これにより、QAモデルのドメイン外データセットでのパフォーマンスが向上します。 Comment# 概要 質問自動生成の性能指標（e.g. ROUGE, BERTScore）は、表層の一致、あるいは意味が一致した場合にハイスコアを与えるが、以下の欠点がある 人手で作成された大量のreference questionが必要 表層あるいは意味的に近くないが正しいquestionに対し ... #DocumentSummarization#NLP#Dataset#EvaluationIssue Date: 2023-07-18 Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation, ACL23 Summary要約の評価には人間の評価が重要ですが、既存の評価方法には問題があります。そこで、私たちは新しい要約の重要性プロトコルを提案し、大規模な人間評価データセットを収集しました。さらに、異なる評価プロトコルを比較し、自動評価指標を評価しました。私たちの研究結果は、大規模言語モデルの評価に重要な示唆を与えます。 more","headline":"Metricsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Metrics.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Metrics.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Metrics #DocumentSummarization#MachineTranslation#NaturalLanguageGeneration#Pocket#NLP#Evaluation#LM-based#CoherenceIssue Date: 2023-08-13 DiscoScore: Evaluating Text Generation with BERT and Discourse Coherence, Wei Zhao+, N_A, EACL23 Summary本研究では、文章の一貫性を評価するための新しい指標であるDiscoScoreを紹介します。DiscoScoreはCentering理論に基づいており、BERTを使用して談話の一貫性をモデル化します。実験の結果、DiscoScoreは他の指標よりも人間の評価との相関が高く、システムレベルでの評価でも優れた結果を示しました。さらに、DiscoScoreの重要性とその優位性についても説明されています。 #NLP#LanguageModel#QuestionAnswering#Evaluation#Reference-freeIssue Date: 2023-07-22 RQUGE: Reference-Free Metric for Evaluating Question Generation by Answering the Question, ACL23 Summary既存の質問評価メトリックにはいくつかの欠点がありますが、本研究では新しいメトリックRQUGEを提案します。RQUGEは文脈に基づいて候補質問の回答可能性を考慮し、参照質問に依存せずに人間の判断と高い相関を持つことが示されています。さらに、RQUGEは敵対的な破壊に対しても堅牢であり、質問生成モデルのファインチューニングにも有効です。これにより、QAモデルのドメイン外データセットでのパフォーマンスが向上します。 Comment# 概要 質問自動生成の性能指標（e.g. ROUGE, BERTScore）は、表層の一致、あるいは意味が一致した場合にハイスコアを与えるが、以下の欠点がある 人手で作成された大量のreference questionが必要 表層あるいは意味的に近くないが正しいquestionに対し ... #DocumentSummarization#NLP#Dataset#EvaluationIssue Date: 2023-07-18 Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation, ACL23 Summary要約の評価には人間の評価が重要ですが、既存の評価方法には問題があります。そこで、私たちは新しい要約の重要性プロトコルを提案し、大規模な人間評価データセットを収集しました。さらに、異なる評価プロトコルを比較し、自動評価指標を評価しました。私たちの研究結果は、大規模言語モデルの評価に重要な示唆を与えます。 more","headline":"Metricsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Metrics.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Metrics.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1191,32 +1191,32 @@ <h2 id="metrics">Metrics</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ExplicitFeedback.html" title="ExplicitFeedbackに関する論文・技術記事メモの一覧">
-            ExplicitFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DocumentSummarization.html" title="DocumentSummarizationに関する論文・技術記事メモの一覧">
+            DocumentSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/IRT.html" title="IRTに関する論文・技術記事メモの一覧">
-            IRTに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Contents-based.html" title="Contents-basedに関する論文・技術記事メモの一覧">
+            Contents-basedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Pocket.html" title="Pocketに関する論文・技術記事メモの一覧">
-            Pocketに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Discourse.html" title="Discourseに関する論文・技術記事メモの一覧">
+            Discourseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Tools.html" title="Toolsに関する論文・技術記事メモの一覧">
-            Toolsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SyntheticData.html" title="SyntheticDataに関する論文・技術記事メモの一覧">
+            SyntheticDataに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Mindset.html b/docs/articles/Mindset.html
index 711e4ebe8..335ae29b2 100644
--- a/docs/articles/Mindset.html
+++ b/docs/articles/Mindset.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Mindset.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Mindsetに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Mindset #Article#ArticleIssue Date: 2023-12-04 PMConf2023: シリコンバレーのプロダクトマネージャー達に見る、 覚悟を決めたPMは何が違うのか？ Comment視野、視座の話、StepChange、PMとして何に注力すべきか、クリティカルシンキング、Overcommunicationなどの考え方が参考になった。結局どれだけ収益に繋がるのかという話。ユーザに価値を届けられて満足、で終わってはいけない。 ... #Article#Article#RepositoryIssue Date: 2023-10-24 CTO handbook #ArticleIssue Date: 2023-10-10 nishibaさんの思考言語化シリーズ Comment組織マネジメントこそ書籍に忠実であるほうがよい。https://x.com/m_nishiba/status/1713452690645405930?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q打席に立つことについてhttps://x.com/m_nishiba/status/1718 ... more","headline":"Mindsetに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Mindset.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Mindset.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Mindset #Article#ArticleIssue Date: 2023-12-04 PMConf2023: シリコンバレーのプロダクトマネージャー達に見る、 覚悟を決めたPMは何が違うのか？ Comment視野、視座の話、StepChange、PMとして何に注力すべきか、クリティカルシンキング、Overcommunicationなどの考え方が参考になった。結局どれだけ収益に繋がるのかという話。ユーザに価値を届けられて満足、で終わってはいけない。 ... #Article#Article#RepositoryIssue Date: 2023-10-24 CTO handbook #ArticleIssue Date: 2023-10-10 nishibaさんの思考言語化シリーズ Comment組織マネジメントこそ書籍に忠実であるほうがよい。https://x.com/m_nishiba/status/1713452690645405930?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q打席に立つことについてhttps://x.com/m_nishiba/status/1718 ... more","headline":"Mindsetに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Mindset.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Mindset.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1025,32 +1025,32 @@ <h2 id="mindset">Mindset</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Speech.html" title="Speechに関する論文・技術記事メモの一覧">
-            Speechに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ECS.html" title="ECSに関する論文・技術記事メモの一覧">
+            ECSに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Composition.html" title="Compositionに関する論文・技術記事メモの一覧">
-            Compositionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PersonalizedGeneration.html" title="PersonalizedGenerationに関する論文・技術記事メモの一覧">
+            PersonalizedGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/QA-based.html" title="QA-basedに関する論文・技術記事メモの一覧">
-            QA-basedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/FoundationModel.html" title="FoundationModelに関する論文・技術記事メモの一覧">
+            FoundationModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Regularization.html" title="Regularizationに関する論文・技術記事メモの一覧">
-            Regularizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TransferLearning.html" title="TransferLearningに関する論文・技術記事メモの一覧">
+            TransferLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/MulltiModal.html b/docs/articles/MulltiModal.html
index b5a93dc5f..86cf86c0c 100644
--- a/docs/articles/MulltiModal.html
+++ b/docs/articles/MulltiModal.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/MulltiModal.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="MulltiModalに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"MulltiModal #ComputerVision#Pocket#NLP#GenerativeAIIssue Date: 2023-12-01 SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction, Xinyuan Chen+, N_A, arXiv23 Summary本研究では、ビデオ生成において連続した長いビデオを生成するためのジェネレーティブなトランジションと予測に焦点を当てたモデルSEINEを提案する。SEINEはテキストの説明に基づいてトランジションを生成し、一貫性と視覚的品質を確保した長いビデオを生成する。さらに、提案手法は他のタスクにも拡張可能であり、徹底的な実験によりその有効性が検証されている。 Commenthttps://huggingface.co/spaces/Vchitect/SEINE 画像 + テキストpromptで、動画を生成するデモ ... #InformationRetrieval#Pocket#DatasetIssue Date: 2023-12-01 UniIR: Training and Benchmarking Universal Multimodal Information Retrievers, Cong Wei+, N_A, arXiv23 Summary従来の情報検索モデルは一様な形式を前提としているため、異なる情報検索の要求に対応できない。そこで、UniIRという統一された指示に基づくマルチモーダルリトリーバーを提案する。UniIRは異なるリトリーバルタスクを処理できるように設計され、10のマルチモーダルIRデータセットでトレーニングされる。実験結果はUniIRの汎化能力を示し、M-BEIRというマルチモーダルリトリーバルベンチマークも構築された。 Comment後で読む（画像は元ツイートより元ツイート: https://x.com/congwei1230/status/1730307767469068476?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #ComputerVision#Pocket#NLP#MultitaskLearning#FoundationModelIssue Date: 2023-11-13 Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks, Bin Xiao+, N_A, arXiv23 SummaryFlorence-2は、ビジョン基盤モデルであり、さまざまなビジョンタスクに対応するための統一されたプロンプトベースの表現を持っています。このモデルは、テキストプロンプトを受け取り、キャプショニング、オブジェクト検出、グラウンディング、セグメンテーションなどのタスクを実行し、テキスト形式で結果を生成します。また、FLD-5Bという大規模な注釈付きデータセットも開発されました。Florence-2は、多目的かつ包括的なビジョンタスクを実行するためにシーケンスツーシーケンス構造を採用しており、前例のないゼロショットおよびファインチューニングの能力を持つ強力なモデルです。 CommentVison Foundation Model。Spatialな階層構造や、Semanticを捉えられるように訓練。Image/Prompt Encoderでエンコードされ、outputはtext + location informationとなる。 ... more","headline":"MulltiModalに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/MulltiModal.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/MulltiModal.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"MulltiModal #ComputerVision#Pocket#NLP#GenerativeAIIssue Date: 2023-12-01 SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction, Xinyuan Chen+, N_A, arXiv23 Summary本研究では、ビデオ生成において連続した長いビデオを生成するためのジェネレーティブなトランジションと予測に焦点を当てたモデルSEINEを提案する。SEINEはテキストの説明に基づいてトランジションを生成し、一貫性と視覚的品質を確保した長いビデオを生成する。さらに、提案手法は他のタスクにも拡張可能であり、徹底的な実験によりその有効性が検証されている。 Commenthttps://huggingface.co/spaces/Vchitect/SEINE 画像 + テキストpromptで、動画を生成するデモ ... #InformationRetrieval#Pocket#DatasetIssue Date: 2023-12-01 UniIR: Training and Benchmarking Universal Multimodal Information Retrievers, Cong Wei+, N_A, arXiv23 Summary従来の情報検索モデルは一様な形式を前提としているため、異なる情報検索の要求に対応できない。そこで、UniIRという統一された指示に基づくマルチモーダルリトリーバーを提案する。UniIRは異なるリトリーバルタスクを処理できるように設計され、10のマルチモーダルIRデータセットでトレーニングされる。実験結果はUniIRの汎化能力を示し、M-BEIRというマルチモーダルリトリーバルベンチマークも構築された。 Comment後で読む（画像は元ツイートより元ツイート: https://x.com/congwei1230/status/1730307767469068476?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #ComputerVision#Pocket#NLP#MultitaskLearning#FoundationModelIssue Date: 2023-11-13 Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks, Bin Xiao+, N_A, arXiv23 SummaryFlorence-2は、ビジョン基盤モデルであり、さまざまなビジョンタスクに対応するための統一されたプロンプトベースの表現を持っています。このモデルは、テキストプロンプトを受け取り、キャプショニング、オブジェクト検出、グラウンディング、セグメンテーションなどのタスクを実行し、テキスト形式で結果を生成します。また、FLD-5Bという大規模な注釈付きデータセットも開発されました。Florence-2は、多目的かつ包括的なビジョンタスクを実行するためにシーケンスツーシーケンス構造を採用しており、前例のないゼロショットおよびファインチューニングの能力を持つ強力なモデルです。 CommentVison Foundation Model。Spatialな階層構造や、Semanticを捉えられるように訓練。Image/Prompt Encoderでエンコードされ、outputはtext + location informationとなる。 ... more","headline":"MulltiModalに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/MulltiModal.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/MulltiModal.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1096,32 +1096,32 @@ <h2 id="mulltimodal">MulltiModal</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/InductiveBias.html" title="InductiveBiasに関する論文・技術記事メモの一覧">
-            InductiveBiasに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Training-Free.html" title="Training-Freeに関する論文・技術記事メモの一覧">
+            Training-Freeに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/CoT.html" title="CoTに関する論文・技術記事メモの一覧">
-            CoTに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Multi.html" title="Multiに関する論文・技術記事メモの一覧">
+            Multiに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningPath.html" title="LearningPathに関する論文・技術記事メモの一覧">
-            LearningPathに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Conversation.html" title="Conversationに関する論文・技術記事メモの一覧">
+            Conversationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Visual%20Words.html" title="Visual Wordsに関する論文・技術記事メモの一覧">
-            Visual Wordsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Controllable.html" title="Controllableに関する論文・技術記事メモの一覧">
+            Controllableに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Multi.html b/docs/articles/Multi.html
index 5bee5a58f..7368aca8d 100644
--- a/docs/articles/Multi.html
+++ b/docs/articles/Multi.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Multi.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Multiに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Multi #DocumentSummarization#Document#Pocket#NLP#VariationalAutoEncoderIssue Date: 2018-10-05 Salience Estimation via Variational Auto-Encoders for Multi-Document Summarization, Li+, AAAI17 #DocumentSummarization#Neural#Document#Supervised#GraphBased#NLP#GraphConvolutionalNetwork#ExtractiveIssue Date: 2017-12-31 Graph-based Neural Multi-Document Summarization, Yasunaga+, arXiv17 CommentGraph Convolutional Network (GCN)を使って、MDSやりましたという話。 既存のニューラルなMDSモデル [Cao et al., 2015, 2017] では、sentence間のrelationが考慮できていなかったが、GCN使って考慮した。 また、MDSの学習デー ... #Single#DocumentSummarization#Document#Unsupervised#GraphBased#NLP#ExtractiveIssue Date: 2018-01-01 CTSUM: Extracting More Certain Summaries for News Articles, Wan+, SIGIR14 Comment要約を生成する際に、情報の”確実性”を考慮したモデルCTSUMを提案しましたという論文（今まではそういう研究はなかった） ``` &quot;However, it seems that Obama will not use the platform to relaunch his stalled d解説ス ... more","headline":"Multiに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Multi.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Multi.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Multi #DocumentSummarization#Document#Pocket#NLP#VariationalAutoEncoderIssue Date: 2018-10-05 Salience Estimation via Variational Auto-Encoders for Multi-Document Summarization, Li+, AAAI17 #DocumentSummarization#Neural#Document#Supervised#GraphBased#NLP#GraphConvolutionalNetwork#ExtractiveIssue Date: 2017-12-31 Graph-based Neural Multi-Document Summarization, Yasunaga+, arXiv17 CommentGraph Convolutional Network (GCN)を使って、MDSやりましたという話。 既存のニューラルなMDSモデル [Cao et al., 2015, 2017] では、sentence間のrelationが考慮できていなかったが、GCN使って考慮した。 また、MDSの学習デー ... #Single#DocumentSummarization#Document#Unsupervised#GraphBased#NLP#ExtractiveIssue Date: 2018-01-01 CTSUM: Extracting More Certain Summaries for News Articles, Wan+, SIGIR14 Comment要約を生成する際に、情報の”確実性”を考慮したモデルCTSUMを提案しましたという論文（今まではそういう研究はなかった） ``` &quot;However, it seems that Obama will not use the platform to relaunch his stalled d解説ス ... more","headline":"Multiに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Multi.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Multi.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1078,32 +1078,32 @@ <h2 id="multi">Multi</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/RelevanceJudgment.html" title="RelevanceJudgmentに関する論文・技術記事メモの一覧">
-            RelevanceJudgmentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Proprietary.html" title="Proprietaryに関する論文・技術記事メモの一覧">
+            Proprietaryに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/MulltiModal.html" title="MulltiModalに関する論文・技術記事メモの一覧">
-            MulltiModalに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NewsCitations.html" title="NewsCitationsに関する論文・技術記事メモの一覧">
+            NewsCitationsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Assessment.html" title="Assessmentに関する論文・技術記事メモの一覧">
-            Assessmentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Survey.html" title="Surveyに関する論文・技術記事メモの一覧">
+            Surveyに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NaturalLanguageUnderstanding.html" title="NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧">
-            NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Composition.html" title="Compositionに関する論文・技術記事メモの一覧">
+            Compositionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/MultiLingual.html b/docs/articles/MultiLingual.html
index 9d2ceb776..aefa0ab2b 100644
--- a/docs/articles/MultiLingual.html
+++ b/docs/articles/MultiLingual.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/MultiLingual.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="MultiLingualに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"MultiLingual #Pocket#NLP#Dataset#LanguageModel#EvaluationIssue Date: 2023-11-14 MEGAVERSE: Benchmarking Large Language Models Across Languages, Modalities, Models and Tasks, Sanchit Ahuja+, N_A, arXiv23 SummaryLLMsの研究は急速に進展しており、英語以外の言語での評価が必要とされている。本研究では、新しいデータセットを追加したMEGAVERSEベンチマークを提案し、さまざまなLLMsを評価する。実験の結果、GPT4とPaLM2が優れたパフォーマンスを示したが、データの汚染などの問題があるため、さらなる取り組みが必要である。 #Article#Pocket#LanguageModel#ArticleIssue Date: 2024-04-12 The State of Multilingual AI, Sebastian Ruder, 2024","headline":"MultiLingualに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/MultiLingual.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/MultiLingual.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"MultiLingual #Pocket#NLP#Dataset#LanguageModel#EvaluationIssue Date: 2023-11-14 MEGAVERSE: Benchmarking Large Language Models Across Languages, Modalities, Models and Tasks, Sanchit Ahuja+, N_A, arXiv23 SummaryLLMsの研究は急速に進展しており、英語以外の言語での評価が必要とされている。本研究では、新しいデータセットを追加したMEGAVERSEベンチマークを提案し、さまざまなLLMsを評価する。実験の結果、GPT4とPaLM2が優れたパフォーマンスを示したが、データの汚染などの問題があるため、さらなる取り組みが必要である。 #Article#Pocket#LanguageModel#ArticleIssue Date: 2024-04-12 The State of Multilingual AI, Sebastian Ruder, 2024","headline":"MultiLingualに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/MultiLingual.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/MultiLingual.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1012,32 +1012,32 @@ <h2 id="multilingual">MultiLingual</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/PositionalEncoding.html" title="PositionalEncodingに関する論文・技術記事メモの一覧">
-            PositionalEncodingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LearningPath.html" title="LearningPathに関する論文・技術記事メモの一覧">
+            LearningPathに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Discourse.html" title="Discourseに関する論文・技術記事メモの一覧">
-            Discourseに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Regularization.html" title="Regularizationに関する論文・技術記事メモの一覧">
+            Regularizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NewsCitations.html" title="NewsCitationsに関する論文・技術記事メモの一覧">
-            NewsCitationsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Survey.html" title="Surveyに関する論文・技術記事メモの一覧">
+            Surveyに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Extractive.html" title="Extractiveに関する論文・技術記事メモの一覧">
-            Extractiveに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataAugmentation.html" title="DataAugmentationに関する論文・技術記事メモの一覧">
+            DataAugmentationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/MultitaskLearning.html b/docs/articles/MultitaskLearning.html
index ad3d7c77b..24452b0c8 100644
--- a/docs/articles/MultitaskLearning.html
+++ b/docs/articles/MultitaskLearning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/MultitaskLearning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="MultitaskLearningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"MultitaskLearning #ComputerVision#Pocket#NLP#MulltiModal#FoundationModelIssue Date: 2023-11-13 Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks, Bin Xiao+, N_A, arXiv23 SummaryFlorence-2は、ビジョン基盤モデルであり、さまざまなビジョンタスクに対応するための統一されたプロンプトベースの表現を持っています。このモデルは、テキストプロンプトを受け取り、キャプショニング、オブジェクト検出、グラウンディング、セグメンテーションなどのタスクを実行し、テキスト形式で結果を生成します。また、FLD-5Bという大規模な注釈付きデータセットも開発されました。Florence-2は、多目的かつ包括的なビジョンタスクを実行するためにシーケンスツーシーケンス構造を採用しており、前例のないゼロショットおよびファインチューニングの能力を持つ強力なモデルです。 CommentVison Foundation Model。Spatialな階層構造や、Semanticを捉えられるように訓練。Image/Prompt Encoderでエンコードされ、outputはtext + location informationとなる。 ... #NaturalLanguageGeneration#NLP#DataToText#Zero/Few-shotIssue Date: 2023-07-18 Few-Shot Data-to-Text Generation via Unified Representation and Multi-Source Learning, ACL23 Summaryこの論文では、構造化データからテキストを生成する新しいアプローチを提案しています。提案手法は、さまざまな形式のデータを処理できる統一された表現を提供し、マルチタスクトレーニングやゼロショット学習などのシナリオでのパフォーマンスを向上させることを目指しています。実験結果は、提案手法が他の方法と比較して優れた性能を示していることを示しています。これは、データからテキスト生成フレームワークにおける重要な進歩です。 #Pocket#NLP#Dataset#LanguageModelIssue Date: 2023-07-26 Measuring Massive Multitask Language Understanding, Dan Hendrycks+, N_A, ICLR21 Summary私たちは、マルチタスクのテキストモデルの正確性を測定するための新しいテストを提案しています。このテストは、57のタスクをカバーし、広範な世界知識と問題解決能力を必要とします。現在のモデルはまだ専門家レベルの正確性に達しておらず、性能に偏りがあります。私たちのテストは、モデルの理解の幅と深さを評価し、重要な欠点を特定するために使用できます。 more","headline":"MultitaskLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/MultitaskLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/MultitaskLearning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"MultitaskLearning #ComputerVision#Pocket#NLP#MulltiModal#FoundationModelIssue Date: 2023-11-13 Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks, Bin Xiao+, N_A, arXiv23 SummaryFlorence-2は、ビジョン基盤モデルであり、さまざまなビジョンタスクに対応するための統一されたプロンプトベースの表現を持っています。このモデルは、テキストプロンプトを受け取り、キャプショニング、オブジェクト検出、グラウンディング、セグメンテーションなどのタスクを実行し、テキスト形式で結果を生成します。また、FLD-5Bという大規模な注釈付きデータセットも開発されました。Florence-2は、多目的かつ包括的なビジョンタスクを実行するためにシーケンスツーシーケンス構造を採用しており、前例のないゼロショットおよびファインチューニングの能力を持つ強力なモデルです。 CommentVison Foundation Model。Spatialな階層構造や、Semanticを捉えられるように訓練。Image/Prompt Encoderでエンコードされ、outputはtext + location informationとなる。 ... #NaturalLanguageGeneration#NLP#DataToText#Zero/Few-shotIssue Date: 2023-07-18 Few-Shot Data-to-Text Generation via Unified Representation and Multi-Source Learning, ACL23 Summaryこの論文では、構造化データからテキストを生成する新しいアプローチを提案しています。提案手法は、さまざまな形式のデータを処理できる統一された表現を提供し、マルチタスクトレーニングやゼロショット学習などのシナリオでのパフォーマンスを向上させることを目指しています。実験結果は、提案手法が他の方法と比較して優れた性能を示していることを示しています。これは、データからテキスト生成フレームワークにおける重要な進歩です。 #Pocket#NLP#Dataset#LanguageModelIssue Date: 2023-07-26 Measuring Massive Multitask Language Understanding, Dan Hendrycks+, N_A, ICLR21 Summary私たちは、マルチタスクのテキストモデルの正確性を測定するための新しいテストを提案しています。このテストは、57のタスクをカバーし、広範な世界知識と問題解決能力を必要とします。現在のモデルはまだ専門家レベルの正確性に達しておらず、性能に偏りがあります。私たちのテストは、モデルの理解の幅と深さを評価し、重要な欠点を特定するために使用できます。 more","headline":"MultitaskLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/MultitaskLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/MultitaskLearning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1033,32 +1033,32 @@ <h2 id="multitasklearning">MultitaskLearning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/FoundationModel.html" title="FoundationModelに関する論文・技術記事メモの一覧">
-            FoundationModelに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/OptionTracing.html" title="OptionTracingに関する論文・技術記事メモの一覧">
+            OptionTracingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InstructionTuning.html" title="InstructionTuningに関する論文・技術記事メモの一覧">
-            InstructionTuningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Attention.html" title="Attentionに関する論文・技術記事メモの一覧">
+            Attentionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PersonalizedGeneration.html" title="PersonalizedGenerationに関する論文・技術記事メモの一覧">
-            PersonalizedGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Poisoning.html" title="Poisoningに関する論文・技術記事メモの一覧">
+            Poisoningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RelevanceJudgment.html" title="RelevanceJudgmentに関する論文・技術記事メモの一覧">
-            RelevanceJudgmentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Evaluation.html" title="Evaluationに関する論文・技術記事メモの一覧">
+            Evaluationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/NLP.html b/docs/articles/NLP.html
index 8ef781d57..76c8e5ef8 100644
--- a/docs/articles/NLP.html
+++ b/docs/articles/NLP.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/NLP.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="NLPに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"NLP #Efficiency/SpeedUp#Pocket#LanguageModel#OpenLLMIssue Date: 2024-04-23 Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone, Marah Abdin+, N_A, arXiv24 Summaryphi-3-miniは38億パラメータの言語モデルであり、3.3兆トークンで訓練されています。Mixtral 8x7BやGPT-3.5などの大規模モデルに匹敵する総合的なパフォーマンスを持ちながら、スマートフォンにデプロイ可能なサイズです。このモデルは、厳密にフィルタリングされたWebデータと合成データで構成されており、堅牢性、安全性、およびチャット形式に適合しています。また、phi-3-smallとphi-3-mediumというより大規模なモデルも紹介されています。 Comment#1039 の次の次（Phi2.0についてはメモってなかった）。スマホにデプロイできるレベルのサイズで、GPT3.5Turbo程度の性能を実現したらしいLlama2と同じブロックを利用しているため、アーキテクチャはLlama2と共通。 ... #Efficiency/SpeedUp#Pocket#LanguageModel#PruningIssue Date: 2024-04-22 The Unreasonable Ineffectiveness of the Deeper Layers, Andrey Gromov+, N_A, arXiv24 Summary一般的なオープンウェイトの事前学習されたLLMのレイヤー剪定戦略を研究し、異なる質問応答ベンチマークでのパフォーマンスの低下を最小限に抑えることを示しました。レイヤーの最大半分を削除することで、最適なブロックを特定し、微調整して損傷を修復します。PEFT手法を使用し、実験を単一のA100 GPUで実行可能にします。これにより、計算リソースを削減し、推論のメモリとレイテンシを改善できることが示唆されます。また、LLMがレイヤーの削除に対して堅牢であることは、浅いレイヤーが知識を格納する上で重要な役割を果たしている可能性を示唆しています。 Comment下記ツイートによると、学習済みLLMから、コサイン類似度で入出力間の類似度が高い層を除いてもタスクの精度が落ちず、特に深い層を2-4割削除しても精度が落ちないとのこと。参考:https://x.com/hillbig/status/1773110076502368642?s=46&t=Y6UuI ... #Survey#Pocket#LanguageModelIssue Date: 2024-04-14 Knowledge Conflicts for LLMs: A Survey, Rongwu Xu+, N_A, arXiv24 SummaryLLMsにおける知識の衝突に焦点を当て、文脈とパラメトリック知識の組み合わせによる複雑な課題を分析。文脈-メモリ、文脈間、メモリ内の衝突の3つのカテゴリーを探求し、実世界のアプリケーションにおける信頼性とパフォーマンスへの影響を検討。解決策を提案し、LLMsの堅牢性向上を目指す。 more","headline":"NLPに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/NLP.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/NLP.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"NLP #Efficiency/SpeedUp#Pocket#LanguageModel#OpenLLMIssue Date: 2024-04-23 Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone, Marah Abdin+, N_A, arXiv24 Summaryphi-3-miniは38億パラメータの言語モデルであり、3.3兆トークンで訓練されています。Mixtral 8x7BやGPT-3.5などの大規模モデルに匹敵する総合的なパフォーマンスを持ちながら、スマートフォンにデプロイ可能なサイズです。このモデルは、厳密にフィルタリングされたWebデータと合成データで構成されており、堅牢性、安全性、およびチャット形式に適合しています。また、phi-3-smallとphi-3-mediumというより大規模なモデルも紹介されています。 Comment#1039 の次の次（Phi2.0についてはメモってなかった）。スマホにデプロイできるレベルのサイズで、GPT3.5Turbo程度の性能を実現したらしいLlama2と同じブロックを利用しているため、アーキテクチャはLlama2と共通。 ... #Efficiency/SpeedUp#Pocket#LanguageModel#PruningIssue Date: 2024-04-22 The Unreasonable Ineffectiveness of the Deeper Layers, Andrey Gromov+, N_A, arXiv24 Summary一般的なオープンウェイトの事前学習されたLLMのレイヤー剪定戦略を研究し、異なる質問応答ベンチマークでのパフォーマンスの低下を最小限に抑えることを示しました。レイヤーの最大半分を削除することで、最適なブロックを特定し、微調整して損傷を修復します。PEFT手法を使用し、実験を単一のA100 GPUで実行可能にします。これにより、計算リソースを削減し、推論のメモリとレイテンシを改善できることが示唆されます。また、LLMがレイヤーの削除に対して堅牢であることは、浅いレイヤーが知識を格納する上で重要な役割を果たしている可能性を示唆しています。 Comment下記ツイートによると、学習済みLLMから、コサイン類似度で入出力間の類似度が高い層を除いてもタスクの精度が落ちず、特に深い層を2-4割削除しても精度が落ちないとのこと。参考:https://x.com/hillbig/status/1773110076502368642?s=46&t=Y6UuI ... #Survey#Pocket#LanguageModelIssue Date: 2024-04-14 Knowledge Conflicts for LLMs: A Survey, Rongwu Xu+, N_A, arXiv24 SummaryLLMsにおける知識の衝突に焦点を当て、文脈とパラメトリック知識の組み合わせによる複雑な課題を分析。文脈-メモリ、文脈間、メモリ内の衝突の3つのカテゴリーを探求し、実世界のアプリケーションにおける信頼性とパフォーマンスへの影響を検討。解決策を提案し、LLMsの堅牢性向上を目指す。 more","headline":"NLPに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/NLP.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/NLP.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -765,7 +765,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -3501,32 +3501,32 @@ <h2 id="nlp">NLP</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningToRank.html" title="LearningToRankに関する論文・技術記事メモの一覧">
-            LearningToRankに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InteractiveRecommenderSystems.html" title="InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧">
+            InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Grokking.html" title="Grokkingに関する論文・技術記事メモの一覧">
-            Grokkingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Transformer.html" title="Transformerに関する論文・技術記事メモの一覧">
+            Transformerに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ILP.html" title="ILPに関する論文・技術記事メモの一覧">
-            ILPに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ExperimentManagement.html" title="ExperimentManagementに関する論文・技術記事メモの一覧">
+            ExperimentManagementに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ListWise.html" title="ListWiseに関する論文・技術記事メモの一覧">
-            ListWiseに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ReadingComprehension.html" title="ReadingComprehensionに関する論文・技術記事メモの一覧">
+            ReadingComprehensionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/NaturalLanguageGeneration.html b/docs/articles/NaturalLanguageGeneration.html
index 5a7dee823..8cc861c37 100644
--- a/docs/articles/NaturalLanguageGeneration.html
+++ b/docs/articles/NaturalLanguageGeneration.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/NaturalLanguageGeneration.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="NaturalLanguageGenerationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"NaturalLanguageGeneration #Pocket#NLP#DataToText#Prompting#NumericReasoningIssue Date: 2024-04-04 Prompting for Numerical Sequences: A Case Study on Market Comment Generation, Masayuki Kawarada+, N_A, arXiv24 SummaryLLMsは、構造化データに対するプロンプト生成に関する研究が進んでいるが、時系列数値データに関する詳細な調査が不足している。本研究では、株価の数値系列を入力として市場コメントを生成するタスクに焦点を当て、さまざまな入力表現を探究する。実験結果は、プログラミング言語に似たプロンプトがより良い結果をもたらすことを示しており、数値系列からテキストを生成する際の効果的なプロンプト作成について示唆を提供している。 CommentData-to-Text系のタスクでは、しばしば数値列がInputとなり、そこからテキストを生成するが、この際にどのようなフォーマットで数値列をPromptingするのが良いかを調査した研究。Pythonリストなどのプログラミング言語に似たプロンプトが高い性能を示し、自然言語やhtml, latex ... #Survey#Pocket#NLP#Evaluation#LLM-as-a-JudgeIssue Date: 2024-01-24 Leveraging Large Language Models for NLG Evaluation: A Survey, Zhen Li+, N_A, arXiv24 Summary本研究は、大規模言語モデル（LLMs）を使用した自然言語生成（NLG）の評価についての包括的な概要を提供します。既存の評価指標を整理し、LLMベースの手法を比較するためのフレームワークを提案します。さらに、未解決の課題についても議論し、より公正で高度なNLG評価技術を提唱します。 Comment重要 ... #DocumentSummarization#Pocket#NLP#Dataset#LanguageModel#AnnotationIssue Date: 2024-05-15 Benchmarking Large Language Models for News Summarization, Tianyi Zhang+, N_A, arXiv23 SummaryLLMsの成功の理由を理解するために、異なる事前学習方法、プロンプト、およびモデルスケールにわたる10つのLLMsに対する人間の評価を行った。その結果、モデルサイズではなく、指示の調整がLLMのゼロショット要約能力の鍵であることがわかった。また、LLMsの要約は人間の執筆した要約と同等と判断された。 Commentニュース記事の高品質な要約を人間に作成してもらい、gpt-3.5を用いてLLM-basedな要約も生成 annotatorにそれぞれの要約の品質をスコアリングさせたデータセットを作成 ... more","headline":"NaturalLanguageGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/NaturalLanguageGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/NaturalLanguageGeneration.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"NaturalLanguageGeneration #Pocket#NLP#DataToText#Prompting#NumericReasoningIssue Date: 2024-04-04 Prompting for Numerical Sequences: A Case Study on Market Comment Generation, Masayuki Kawarada+, N_A, arXiv24 SummaryLLMsは、構造化データに対するプロンプト生成に関する研究が進んでいるが、時系列数値データに関する詳細な調査が不足している。本研究では、株価の数値系列を入力として市場コメントを生成するタスクに焦点を当て、さまざまな入力表現を探究する。実験結果は、プログラミング言語に似たプロンプトがより良い結果をもたらすことを示しており、数値系列からテキストを生成する際の効果的なプロンプト作成について示唆を提供している。 CommentData-to-Text系のタスクでは、しばしば数値列がInputとなり、そこからテキストを生成するが、この際にどのようなフォーマットで数値列をPromptingするのが良いかを調査した研究。Pythonリストなどのプログラミング言語に似たプロンプトが高い性能を示し、自然言語やhtml, latex ... #Survey#Pocket#NLP#Evaluation#LLM-as-a-JudgeIssue Date: 2024-01-24 Leveraging Large Language Models for NLG Evaluation: A Survey, Zhen Li+, N_A, arXiv24 Summary本研究は、大規模言語モデル（LLMs）を使用した自然言語生成（NLG）の評価についての包括的な概要を提供します。既存の評価指標を整理し、LLMベースの手法を比較するためのフレームワークを提案します。さらに、未解決の課題についても議論し、より公正で高度なNLG評価技術を提唱します。 Comment重要 ... #DocumentSummarization#Pocket#NLP#Dataset#LanguageModel#AnnotationIssue Date: 2024-05-15 Benchmarking Large Language Models for News Summarization, Tianyi Zhang+, N_A, arXiv23 SummaryLLMsの成功の理由を理解するために、異なる事前学習方法、プロンプト、およびモデルスケールにわたる10つのLLMsに対する人間の評価を行った。その結果、モデルサイズではなく、指示の調整がLLMのゼロショット要約能力の鍵であることがわかった。また、LLMsの要約は人間の執筆した要約と同等と判断された。 Commentニュース記事の高品質な要約を人間に作成してもらい、gpt-3.5を用いてLLM-basedな要約も生成 annotatorにそれぞれの要約の品質をスコアリングさせたデータセットを作成 ... more","headline":"NaturalLanguageGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/NaturalLanguageGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/NaturalLanguageGeneration.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -765,7 +765,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1408,32 +1408,32 @@ <h2 id="naturallanguagegeneration">NaturalLanguageGeneration</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Distillation.html" title="Distillationに関する論文・技術記事メモの一覧">
-            Distillationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InformationRetrieval.html" title="InformationRetrievalに関する論文・技術記事メモの一覧">
+            InformationRetrievalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NeuralArchitectureSearch.html" title="NeuralArchitectureSearchに関する論文・技術記事メモの一覧">
-            NeuralArchitectureSearchに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InformationExtraction.html" title="InformationExtractionに関する論文・技術記事メモの一覧">
+            InformationExtractionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ComputerVision.html" title="ComputerVisionに関する論文・技術記事メモの一覧">
-            ComputerVisionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LanguageModel.html" title="LanguageModelに関する論文・技術記事メモの一覧">
+            LanguageModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/action_wanted.html" title="action_wantedに関する論文・技術記事メモの一覧">
-            action_wantedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Distillation.html" title="Distillationに関する論文・技術記事メモの一覧">
+            Distillationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/NaturalLanguageUnderstanding.html b/docs/articles/NaturalLanguageUnderstanding.html
index 5f33b0461..eabee6ff6 100644
--- a/docs/articles/NaturalLanguageUnderstanding.html
+++ b/docs/articles/NaturalLanguageUnderstanding.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/NaturalLanguageUnderstanding.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"NaturalLanguageUnderstanding #NLPIssue Date: 2023-07-18 TACL Efficient Long-Text Understanding with Short-Text Models, TACL23 Summary本研究では、長いシーケンスを処理するためのシンプルなアプローチであるSLEDを提案しています。SLEDは、既存の短文の事前学習言語モデルを再利用し、入力を重なり合うチャンクに分割して処理します。制御された実験により、SLEDが長いテキスト理解に有効であり、専用の高価な事前学習ステップが必要な専門モデルと競合することが示されました。 #InformationRetrieval#NLP#LanguageModel#KnowledgeGraph#FactualConsistencyIssue Date: 2023-07-14 Direct Fact Retrieval from Knowledge Graphs without Entity Linking, ACL23 Summary従来の知識取得メカニズムの制限を克服するために、我々はシンプルな知識取得フレームワークであるDiFaRを提案する。このフレームワークは、入力テキストに基づいて直接KGから事実を取得するものであり、言語モデルとリランカーを使用して事実のランクを改善する。DiFaRは複数の事実取得タスクでベースラインよりも優れた性能を示した。 #Article#RecommenderSystems#NLP#DatasetIssue Date: 2023-07-18 DataFinder: Scientific Dataset Recommendation from Natural Language Descriptions Summaryデータセットの推奨タスクを操作化し、DataFinderデータセットを構築した。DataFinderデータセットは、自動的に構築された大規模なトレーニングセットと専門家による評価セットを含んでいる。このデータセットを使用して、テキストベースのデータセット推奨のための優れたバイエンコーダリトリーバを提案し、関連する検索結果を見つけることができることを示した。データセットとモデルは一般に公開される。","headline":"NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/NaturalLanguageUnderstanding.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/NaturalLanguageUnderstanding.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"NaturalLanguageUnderstanding #NLPIssue Date: 2023-07-18 TACL Efficient Long-Text Understanding with Short-Text Models, TACL23 Summary本研究では、長いシーケンスを処理するためのシンプルなアプローチであるSLEDを提案しています。SLEDは、既存の短文の事前学習言語モデルを再利用し、入力を重なり合うチャンクに分割して処理します。制御された実験により、SLEDが長いテキスト理解に有効であり、専用の高価な事前学習ステップが必要な専門モデルと競合することが示されました。 #InformationRetrieval#NLP#LanguageModel#KnowledgeGraph#FactualConsistencyIssue Date: 2023-07-14 Direct Fact Retrieval from Knowledge Graphs without Entity Linking, ACL23 Summary従来の知識取得メカニズムの制限を克服するために、我々はシンプルな知識取得フレームワークであるDiFaRを提案する。このフレームワークは、入力テキストに基づいて直接KGから事実を取得するものであり、言語モデルとリランカーを使用して事実のランクを改善する。DiFaRは複数の事実取得タスクでベースラインよりも優れた性能を示した。 #Article#RecommenderSystems#NLP#DatasetIssue Date: 2023-07-18 DataFinder: Scientific Dataset Recommendation from Natural Language Descriptions Summaryデータセットの推奨タスクを操作化し、DataFinderデータセットを構築した。DataFinderデータセットは、自動的に構築された大規模なトレーニングセットと専門家による評価セットを含んでいる。このデータセットを使用して、テキストベースのデータセット推奨のための優れたバイエンコーダリトリーバを提案し、関連する検索結果を見つけることができることを示した。データセットとモデルは一般に公開される。","headline":"NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/NaturalLanguageUnderstanding.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/NaturalLanguageUnderstanding.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1016,32 +1016,32 @@ <h2 id="naturallanguageunderstanding">NaturalLanguageUnderstanding</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/GraphBased.html" title="GraphBasedに関する論文・技術記事メモの一覧">
-            GraphBasedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/action_wanted.html" title="action_wantedに関する論文・技術記事メモの一覧">
+            action_wantedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Self-SupervisedLearning.html" title="Self-SupervisedLearningに関する論文・技術記事メモの一覧">
-            Self-SupervisedLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TrainedMetrics.html" title="TrainedMetricsに関する論文・技術記事メモの一覧">
+            TrainedMetricsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ConceptToText.html" title="ConceptToTextに関する論文・技術記事メモの一覧">
-            ConceptToTextに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NewsRecommendation.html" title="NewsRecommendationに関する論文・技術記事メモの一覧">
+            NewsRecommendationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ImageSegmentation.html" title="ImageSegmentationに関する論文・技術記事メモの一覧">
-            ImageSegmentationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PersonalizedGeneration.html" title="PersonalizedGenerationに関する論文・技術記事メモの一覧">
+            PersonalizedGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Navigation.html b/docs/articles/Navigation.html
index 968b15f42..a7bf28668 100644
--- a/docs/articles/Navigation.html
+++ b/docs/articles/Navigation.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Navigation.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Navigationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Navigation #ComputerVision#FoundationModelIssue Date: 2023-07-11 ViNT: A Foundation Model for Visual Navigation, Dhruv Shah+, N_A, arXiv23 Summary本研究では、汎用事前学習モデルであるVisual Navigation Transformer（ViNT）を提案し、ビジョンベースのロボットナビゲーションに成功をもたらします。ViNTは、大規模なナビゲーションデータセットで訓練され、柔軟なTransformerベースのアーキテクチャを使用してさまざまなナビゲーションタスクに適応します。ViNTは、拡散ベースのサブゴール提案と組み合わせることで、新しい環境を探索し、キロメートルスケールのナビゲーション問題を解決することができます。また、ViNTはプロンプトチューニングに触発された技術を使用して、新しいタスク仕様に適応することができます。ViNTはモバイルロボティクスのための効果的な基礎モデルとして確立されています。詳細はプロジェクトページを参照してください。 Comment事前学習済みモデルを視覚ベースのロボットナビゲーションに活用するFoundation Model。FlexibleなTransformerベースのアーキテクチャに基づいて構築されており、さまざまなナビゲーションタスクに取り組むことが可能 ...","headline":"Navigationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Navigation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Navigation.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Navigation #ComputerVision#FoundationModelIssue Date: 2023-07-11 ViNT: A Foundation Model for Visual Navigation, Dhruv Shah+, N_A, arXiv23 Summary本研究では、汎用事前学習モデルであるVisual Navigation Transformer（ViNT）を提案し、ビジョンベースのロボットナビゲーションに成功をもたらします。ViNTは、大規模なナビゲーションデータセットで訓練され、柔軟なTransformerベースのアーキテクチャを使用してさまざまなナビゲーションタスクに適応します。ViNTは、拡散ベースのサブゴール提案と組み合わせることで、新しい環境を探索し、キロメートルスケールのナビゲーション問題を解決することができます。また、ViNTはプロンプトチューニングに触発された技術を使用して、新しいタスク仕様に適応することができます。ViNTはモバイルロボティクスのための効果的な基礎モデルとして確立されています。詳細はプロジェクトページを参照してください。 Comment事前学習済みモデルを視覚ベースのロボットナビゲーションに活用するFoundation Model。FlexibleなTransformerベースのアーキテクチャに基づいて構築されており、さまざまなナビゲーションタスクに取り組むことが可能 ...","headline":"Navigationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Navigation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Navigation.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1012,32 +1012,32 @@ <h2 id="navigation">Navigation</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Optimizer.html" title="Optimizerに関する論文・技術記事メモの一覧">
-            Optimizerに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Sentence.html" title="Sentenceに関する論文・技術記事メモの一覧">
+            Sentenceに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DocumentSummarization.html" title="DocumentSummarizationに関する論文・技術記事メモの一覧">
-            DocumentSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ExplicitFeedback.html" title="ExplicitFeedbackに関する論文・技術記事メモの一覧">
+            ExplicitFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ContextWindow.html" title="ContextWindowに関する論文・技術記事メモの一覧">
-            ContextWindowに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Online_Interactive.html" title="Online/Interactiveに関する論文・技術記事メモの一覧">
+            Online/Interactiveに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/QueryClassification.html" title="QueryClassificationに関する論文・技術記事メモの一覧">
-            QueryClassificationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Pretraining.html" title="Pretrainingに関する論文・技術記事メモの一覧">
+            Pretrainingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Neural.html b/docs/articles/Neural.html
index f25b197f9..6decc34ac 100644
--- a/docs/articles/Neural.html
+++ b/docs/articles/Neural.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Neural.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Neuralに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Neural #MachineLearning#Pocket#GrokkingIssue Date: 2023-09-30 Explaining grokking through circuit efficiency, Vikrant Varma+, N_A, arXiv23 Summaryグロッキングとは、完璧なトレーニング精度を持つネットワークでも一般化が悪い現象のことである。この現象は、タスクが一般化する解と記憶する解の両方を許容する場合に起こると考えられている。一般化する解は学習が遅く、効率的であり、同じパラメータノルムでより大きなロジットを生成する。一方、記憶回路はトレーニングデータセットが大きくなるにつれて非効率になるが、一般化回路はそうではないと仮説が立てられている。これは、記憶と一般化が同じくらい効率的な臨界データセットサイズが存在することを示唆している。さらに、グロッキングに関して4つの新しい予測が立てられ、それらが確認され、説明が支持される重要な証拠が提供されている。また、グロッキング以外の2つの新しい現象も示されており、それはアングロッキングとセミグロッキングである。アングロッキングは完璧なテスト精度から低いテスト精度に逆戻りする現象であり、セミグロッキングは完璧なテスト精度ではなく部分的なテスト精度への遅れた一般化を示す現象である。 CommentGrokkingがいつ、なぜ発生するかを説明する理論を示した研究。理由としては、最初はmemorizationを学習していくのだが、ある時点から一般化回路であるGenに切り替わる。これが切り替わる理由としては、memorizationよりも、genの方がlossが小さくなるから、とのこと。これはよG ... #NLP#LanguageModelIssue Date: 2023-06-16 RWKV: Reinventing RNNs for the Transformer Era, Bo Peng+, N_A, arXiv23 Summary本研究では、トランスフォーマーとRNNの両方の利点を組み合わせた新しいモデルアーキテクチャであるRWKVを提案し、トレーニング中に計算を並列化し、推論中に一定の計算およびメモリの複雑さを維持することができます。RWKVは、同じサイズのトランスフォーマーと同等のパフォーマンスを発揮し、将来的にはより効率的なモデルを作成するためにこのアーキテクチャを活用できることを示唆しています。 Comment異なるtransformerとRWKVの計算量とメモリ消費量の比較 RWKVの構造は基本的に、residual blockをスタックすることによって構成される。一つのresidual blockは、time-mixing（時間方向の混ぜ合わせ）と、channnel-mixing（要素間での ... #MachineLearning#LanguageModel#NeuralArchitectureSearchIssue Date: 2023-04-27 Can GPT-4 Perform Neural Architecture Search? Zhang+, The University of Sydney, arXiv23 Commentドメイン知識の必要のないプロンプトで、ニューラルモデルのアーキテクチャの提案をGPTにしてもらう研究。accをフィードバックとして与え、良い構造を提案するといったループを繰り返す模様 ![image](https://user-images.githubusercontent.com/1224Ne ... more","headline":"Neuralに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Neural.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Neural.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Neural #MachineLearning#Pocket#GrokkingIssue Date: 2023-09-30 Explaining grokking through circuit efficiency, Vikrant Varma+, N_A, arXiv23 Summaryグロッキングとは、完璧なトレーニング精度を持つネットワークでも一般化が悪い現象のことである。この現象は、タスクが一般化する解と記憶する解の両方を許容する場合に起こると考えられている。一般化する解は学習が遅く、効率的であり、同じパラメータノルムでより大きなロジットを生成する。一方、記憶回路はトレーニングデータセットが大きくなるにつれて非効率になるが、一般化回路はそうではないと仮説が立てられている。これは、記憶と一般化が同じくらい効率的な臨界データセットサイズが存在することを示唆している。さらに、グロッキングに関して4つの新しい予測が立てられ、それらが確認され、説明が支持される重要な証拠が提供されている。また、グロッキング以外の2つの新しい現象も示されており、それはアングロッキングとセミグロッキングである。アングロッキングは完璧なテスト精度から低いテスト精度に逆戻りする現象であり、セミグロッキングは完璧なテスト精度ではなく部分的なテスト精度への遅れた一般化を示す現象である。 CommentGrokkingがいつ、なぜ発生するかを説明する理論を示した研究。理由としては、最初はmemorizationを学習していくのだが、ある時点から一般化回路であるGenに切り替わる。これが切り替わる理由としては、memorizationよりも、genの方がlossが小さくなるから、とのこと。これはよG ... #NLP#LanguageModelIssue Date: 2023-06-16 RWKV: Reinventing RNNs for the Transformer Era, Bo Peng+, N_A, arXiv23 Summary本研究では、トランスフォーマーとRNNの両方の利点を組み合わせた新しいモデルアーキテクチャであるRWKVを提案し、トレーニング中に計算を並列化し、推論中に一定の計算およびメモリの複雑さを維持することができます。RWKVは、同じサイズのトランスフォーマーと同等のパフォーマンスを発揮し、将来的にはより効率的なモデルを作成するためにこのアーキテクチャを活用できることを示唆しています。 Comment異なるtransformerとRWKVの計算量とメモリ消費量の比較 RWKVの構造は基本的に、residual blockをスタックすることによって構成される。一つのresidual blockは、time-mixing（時間方向の混ぜ合わせ）と、channnel-mixing（要素間での ... #MachineLearning#LanguageModel#NeuralArchitectureSearchIssue Date: 2023-04-27 Can GPT-4 Perform Neural Architecture Search? Zhang+, The University of Sydney, arXiv23 Commentドメイン知識の必要のないプロンプトで、ニューラルモデルのアーキテクチャの提案をGPTにしてもらう研究。accをフィードバックとして与え、良い構造を提案するといったループを繰り返す模様 ![image](https://user-images.githubusercontent.com/1224Ne ... more","headline":"Neuralに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Neural.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Neural.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1717,32 +1717,32 @@ <h2 id="neural">Neural</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/RuleBased.html" title="RuleBasedに関する論文・技術記事メモの一覧">
-            RuleBasedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Controllable.html" title="Controllableに関する論文・技術記事メモの一覧">
+            Controllableに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataToText.html" title="DataToTextに関する論文・技術記事メモの一覧">
-            DataToTextに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ExperimentManagement.html" title="ExperimentManagementに関する論文・技術記事メモの一覧">
+            ExperimentManagementに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataAugmentation.html" title="DataAugmentationに関する論文・技術記事メモの一覧">
-            DataAugmentationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/OptionTracing.html" title="OptionTracingに関する論文・技術記事メモの一覧">
+            OptionTracingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ImplicitFeedback.html" title="ImplicitFeedbackに関する論文・技術記事メモの一覧">
-            ImplicitFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DropoutPrediction.html" title="DropoutPredictionに関する論文・技術記事メモの一覧">
+            DropoutPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/NeuralArchitectureSearch.html b/docs/articles/NeuralArchitectureSearch.html
index 7aab54ae7..e4d884338 100644
--- a/docs/articles/NeuralArchitectureSearch.html
+++ b/docs/articles/NeuralArchitectureSearch.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/NeuralArchitectureSearch.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="NeuralArchitectureSearchに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"NeuralArchitectureSearch #Neural#MachineLearning#LanguageModelIssue Date: 2023-04-27 Can GPT-4 Perform Neural Architecture Search? Zhang+, The University of Sydney, arXiv23 Commentドメイン知識の必要のないプロンプトで、ニューラルモデルのアーキテクチャの提案をGPTにしてもらう研究。accをフィードバックとして与え、良い構造を提案するといったループを繰り返す模様 ![image](https://user-images.githubusercontent.com/1224Ne ...","headline":"NeuralArchitectureSearchに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/NeuralArchitectureSearch.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/NeuralArchitectureSearch.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"NeuralArchitectureSearch #Neural#MachineLearning#LanguageModelIssue Date: 2023-04-27 Can GPT-4 Perform Neural Architecture Search? Zhang+, The University of Sydney, arXiv23 Commentドメイン知識の必要のないプロンプトで、ニューラルモデルのアーキテクチャの提案をGPTにしてもらう研究。accをフィードバックとして与え、良い構造を提案するといったループを繰り返す模様 ![image](https://user-images.githubusercontent.com/1224Ne ...","headline":"NeuralArchitectureSearchに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/NeuralArchitectureSearch.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/NeuralArchitectureSearch.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1012,32 +1012,32 @@ <h2 id="neuralarchitecturesearch">NeuralArchitectureSearch</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/TextToImage.html" title="TextToImageに関する論文・技術記事メモの一覧">
-            TextToImageに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ImageCaptioning.html" title="ImageCaptioningに関する論文・技術記事メモの一覧">
+            ImageCaptioningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Annotation.html" title="Annotationに関する論文・技術記事メモの一覧">
-            Annotationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/RelevanceFeedback.html" title="RelevanceFeedbackに関する論文・技術記事メモの一覧">
+            RelevanceFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PersonalizedDocumentSummarization.html" title="PersonalizedDocumentSummarizationに関する論文・技術記事メモの一覧">
-            PersonalizedDocumentSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InstructionGeneration.html" title="InstructionGenerationに関する論文・技術記事メモの一覧">
+            InstructionGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Coherence.html" title="Coherenceに関する論文・技術記事メモの一覧">
-            Coherenceに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Conversation.html" title="Conversationに関する論文・技術記事メモの一覧">
+            Conversationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/NewsCitations.html b/docs/articles/NewsCitations.html
index 90ad8bc25..394762994 100644
--- a/docs/articles/NewsCitations.html
+++ b/docs/articles/NewsCitations.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/NewsCitations.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="NewsCitationsに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"NewsCitations #RecommenderSystems#LearningToRankIssue Date: 2018-01-01 News Citation Recommendation with Implicit and Explicit Semantics, Peng+, ACL16 Commenttarget text中に記述されているイベントや意見に対して、それらをサポートするような他のニュース記事を推薦する研究。 たとえば、target text中に「北朝鮮が先日ミサイルの発射に失敗したが...」、といった記述があったときに、このイベントについて報道しているニュース記事を推薦すると ...","headline":"NewsCitationsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/NewsCitations.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/NewsCitations.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"NewsCitations #RecommenderSystems#LearningToRankIssue Date: 2018-01-01 News Citation Recommendation with Implicit and Explicit Semantics, Peng+, ACL16 Commenttarget text中に記述されているイベントや意見に対して、それらをサポートするような他のニュース記事を推薦する研究。 たとえば、target text中に「北朝鮮が先日ミサイルの発射に失敗したが...」、といった記述があったときに、このイベントについて報道しているニュース記事を推薦すると ...","headline":"NewsCitationsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/NewsCitations.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/NewsCitations.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1012,32 +1012,32 @@ <h2 id="newscitations">NewsCitations</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/InteractiveRecommenderSystems.html" title="InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧">
-            InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/post-pretraining.html" title="post-pretrainingに関する論文・技術記事メモの一覧">
+            post-pretrainingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TimeSeriesDataProcessing.html" title="TimeSeriesDataProcessingに関する論文・技術記事メモの一覧">
-            TimeSeriesDataProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Pruning.html" title="Pruningに関する論文・技術記事メモの一覧">
+            Pruningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LM-based.html" title="LM-basedに関する論文・技術記事メモの一覧">
-            LM-basedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LearningAnalytics.html" title="LearningAnalyticsに関する論文・技術記事メモの一覧">
+            LearningAnalyticsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LayoutGeneration.html" title="LayoutGenerationに関する論文・技術記事メモの一覧">
-            LayoutGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LabelBias.html" title="LabelBiasに関する論文・技術記事メモの一覧">
+            LabelBiasに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/NewsRecommendation.html b/docs/articles/NewsRecommendation.html
index 0dcd729d9..3a2bee099 100644
--- a/docs/articles/NewsRecommendation.html
+++ b/docs/articles/NewsRecommendation.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/NewsRecommendation.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="NewsRecommendationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"NewsRecommendation #RecommenderSystems#Neural#Contents-basedIssue Date: 2021-06-01 DKN: Deep Knowledge-Aware Network for News Recommendation, Wang+, WWW18 Comment# Overview Contents-basedな手法でCTRを予測しNews推薦。newsのタイトルに含まれるentityをknowledge graphと紐づけて、情報をよりリッチにして活用する。 CNNでword-embeddingのみならず、entity embedding, cont#3 ...","headline":"NewsRecommendationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/NewsRecommendation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/NewsRecommendation.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"NewsRecommendation #RecommenderSystems#Neural#Contents-basedIssue Date: 2021-06-01 DKN: Deep Knowledge-Aware Network for News Recommendation, Wang+, WWW18 Comment# Overview Contents-basedな手法でCTRを予測しNews推薦。newsのタイトルに含まれるentityをknowledge graphと紐づけて、情報をよりリッチにして活用する。 CNNでword-embeddingのみならず、entity embedding, cont#3 ...","headline":"NewsRecommendationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/NewsRecommendation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/NewsRecommendation.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1012,32 +1012,32 @@ <h2 id="newsrecommendation">NewsRecommendation</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningStyle.html" title="LearningStyleに関する論文・技術記事メモの一覧">
-            LearningStyleに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PairWise.html" title="PairWiseに関する論文・技術記事メモの一覧">
+            PairWiseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Optimizer.html" title="Optimizerに関する論文・技術記事メモの一覧">
-            Optimizerに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Tools.html" title="Toolsに関する論文・技術記事メモの一覧">
+            Toolsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/MultitaskLearning.html" title="MultitaskLearningに関する論文・技術記事メモの一覧">
-            MultitaskLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Word.html" title="Wordに関する論文・技術記事メモの一覧">
+            Wordに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Supervised.html" title="Supervisedに関する論文・技術記事メモの一覧">
-            Supervisedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Optimizer.html" title="Optimizerに関する論文・技術記事メモの一覧">
+            Optimizerに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Novelty.html b/docs/articles/Novelty.html
index c7a78e61d..b7238a296 100644
--- a/docs/articles/Novelty.html
+++ b/docs/articles/Novelty.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Novelty.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Noveltyに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Novelty #NaturalLanguageGeneration#NLP#EvaluationIssue Date: 2023-07-14 TACL How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN, TACL23 Summaryこの研究では、言語モデルが生成するテキストの新規性を評価するための分析スイートRAVENを紹介しています。英語で訓練された4つのニューラル言語モデルに対して、局所的な構造と大規模な構造の新規性を評価しました。結果として、生成されたテキストは局所的な構造においては新規性に欠けており、大規模な構造においては人間と同程度の新規性があり、時には訓練セットからの重複したテキストを生成することもあります。また、GPT-2の詳細な手動分析により、組成的および類推的な一般化メカニズムの使用が示され、新規テキストが形態的および構文的に妥当であるが、意味的な問題が比較的頻繁に発生することも示されました。 #Article#RecommenderSystemsIssue Date: 2017-12-28 Improving Recommendation Novelty Based on Topic Taxonomy, Weng et al., WI-IAT Workshops ‘07 Comment・評価をしていない ・通常のItem-based collaborative filteringの結果に加えて，taxonomyのassociation rule mining (あるtaxonomy t1に興味がある人が，t2にも興味がある確率を獲得する)を行い，このassociation ru ... #Article#RecommenderSystemsIssue Date: 2017-12-28 Discovery-oriented Collaborative Filtering for Improving User Satisfaction, Hijikata et al., IUI’09 Comment・従来のCFはaccuracyをあげることを目的に研究されてきたが，ユーザがすでに知っているitemを推薦してしまう問題がある．おまけに（推薦リスト内のアイテムの観点からみた）diversityも低い．このような推薦はdiscoveryがなく，user satisfactionを損ねるので，ユーザが ... more","headline":"Noveltyに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Novelty.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Novelty.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Novelty #NaturalLanguageGeneration#NLP#EvaluationIssue Date: 2023-07-14 TACL How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN, TACL23 Summaryこの研究では、言語モデルが生成するテキストの新規性を評価するための分析スイートRAVENを紹介しています。英語で訓練された4つのニューラル言語モデルに対して、局所的な構造と大規模な構造の新規性を評価しました。結果として、生成されたテキストは局所的な構造においては新規性に欠けており、大規模な構造においては人間と同程度の新規性があり、時には訓練セットからの重複したテキストを生成することもあります。また、GPT-2の詳細な手動分析により、組成的および類推的な一般化メカニズムの使用が示され、新規テキストが形態的および構文的に妥当であるが、意味的な問題が比較的頻繁に発生することも示されました。 #Article#RecommenderSystemsIssue Date: 2017-12-28 Improving Recommendation Novelty Based on Topic Taxonomy, Weng et al., WI-IAT Workshops ‘07 Comment・評価をしていない ・通常のItem-based collaborative filteringの結果に加えて，taxonomyのassociation rule mining (あるtaxonomy t1に興味がある人が，t2にも興味がある確率を獲得する)を行い，このassociation ru ... #Article#RecommenderSystemsIssue Date: 2017-12-28 Discovery-oriented Collaborative Filtering for Improving User Satisfaction, Hijikata et al., IUI’09 Comment・従来のCFはaccuracyをあげることを目的に研究されてきたが，ユーザがすでに知っているitemを推薦してしまう問題がある．おまけに（推薦リスト内のアイテムの観点からみた）diversityも低い．このような推薦はdiscoveryがなく，user satisfactionを損ねるので，ユーザが ... more","headline":"Noveltyに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Novelty.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Novelty.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1025,32 +1025,32 @@ <h2 id="novelty">Novelty</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Online_Interactive.html" title="Online/Interactiveに関する論文・技術記事メモの一覧">
-            Online/Interactiveに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PPO.html" title="PPOに関する論文・技術記事メモの一覧">
+            PPOに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/CTRPrediction.html" title="CTRPredictionに関する論文・技術記事メモの一覧">
-            CTRPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TrainedMetrics.html" title="TrainedMetricsに関する論文・技術記事メモの一覧">
+            TrainedMetricsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/CodeGeneration.html" title="CodeGenerationに関する論文・技術記事メモの一覧">
-            CodeGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Education.html" title="Educationに関する論文・技術記事メモの一覧">
+            Educationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/A_B%20Testing.html" title="A/B Testingに関する論文・技術記事メモの一覧">
-            A/B Testingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataDriven.html" title="DataDrivenに関する論文・技術記事メモの一覧">
+            DataDrivenに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/NumericReasoning.html b/docs/articles/NumericReasoning.html
index b50b54663..f0c9defee 100644
--- a/docs/articles/NumericReasoning.html
+++ b/docs/articles/NumericReasoning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/NumericReasoning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="NumericReasoningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"NumericReasoning #NaturalLanguageGeneration#Pocket#NLP#DataToText#PromptingIssue Date: 2024-04-04 Prompting for Numerical Sequences: A Case Study on Market Comment Generation, Masayuki Kawarada+, N_A, arXiv24 SummaryLLMsは、構造化データに対するプロンプト生成に関する研究が進んでいるが、時系列数値データに関する詳細な調査が不足している。本研究では、株価の数値系列を入力として市場コメントを生成するタスクに焦点を当て、さまざまな入力表現を探究する。実験結果は、プログラミング言語に似たプロンプトがより良い結果をもたらすことを示しており、数値系列からテキストを生成する際の効果的なプロンプト作成について示唆を提供している。 CommentData-to-Text系のタスクでは、しばしば数値列がInputとなり、そこからテキストを生成するが、この際にどのようなフォーマットで数値列をPromptingするのが良いかを調査した研究。Pythonリストなどのプログラミング言語に似たプロンプトが高い性能を示し、自然言語やhtml, latex ... #Pocket#NLP#Dataset#LanguageModel#InstructionTuning#MathematicsIssue Date: 2023-09-30 MAmmoTH: Building Math Generalist Models through Hybrid Instruction Tuning, Xiang Yue+, N_A, arXiv23 SummaryMAmmoTHは、数学の問題解決に特化した大規模言語モデルであり、厳密にキュレーションされた教育データセットで訓練されています。このモデルは、CoTとPoTのハイブリッドな根拠を提供し、さまざまな数学の分野を包括的にカバーしています。MAmmoTHは、既存のオープンソースモデルを大幅に上回り、特にMATHデータセットで高い精度を示しています。この研究は、多様な問題のカバレッジとハイブリッドな根拠の使用の重要性を強調しています。 Comment9つのmath reasoningが必要なデータセットで13-29%のgainでSoTAを達成。260kの根拠情報を含むMath Instructデータでチューニングされたモデル。project page: https://tiger-ai-lab.github.io/MAmmoTH/ ... #Survey#NLPIssue Date: 2023-07-18 A Survey of Deep Learning for Mathematical Reasoning, ACL23 Summary数学的な推論とディープラーニングの関係についての調査論文をレビューし、数学的な推論におけるディープラーニングの進歩と将来の研究方向について議論しています。数学的な推論は機械学習と自然言語処理の分野で重要であり、ディープラーニングモデルのテストベッドとして機能しています。また、大規模なニューラル言語モデルの進歩により、数学的な推論に対するディープラーニングの利用が可能になりました。既存のベンチマークと方法を評価し、将来の研究方向についても議論しています。 more","headline":"NumericReasoningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/NumericReasoning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/NumericReasoning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"NumericReasoning #NaturalLanguageGeneration#Pocket#NLP#DataToText#PromptingIssue Date: 2024-04-04 Prompting for Numerical Sequences: A Case Study on Market Comment Generation, Masayuki Kawarada+, N_A, arXiv24 SummaryLLMsは、構造化データに対するプロンプト生成に関する研究が進んでいるが、時系列数値データに関する詳細な調査が不足している。本研究では、株価の数値系列を入力として市場コメントを生成するタスクに焦点を当て、さまざまな入力表現を探究する。実験結果は、プログラミング言語に似たプロンプトがより良い結果をもたらすことを示しており、数値系列からテキストを生成する際の効果的なプロンプト作成について示唆を提供している。 CommentData-to-Text系のタスクでは、しばしば数値列がInputとなり、そこからテキストを生成するが、この際にどのようなフォーマットで数値列をPromptingするのが良いかを調査した研究。Pythonリストなどのプログラミング言語に似たプロンプトが高い性能を示し、自然言語やhtml, latex ... #Pocket#NLP#Dataset#LanguageModel#InstructionTuning#MathematicsIssue Date: 2023-09-30 MAmmoTH: Building Math Generalist Models through Hybrid Instruction Tuning, Xiang Yue+, N_A, arXiv23 SummaryMAmmoTHは、数学の問題解決に特化した大規模言語モデルであり、厳密にキュレーションされた教育データセットで訓練されています。このモデルは、CoTとPoTのハイブリッドな根拠を提供し、さまざまな数学の分野を包括的にカバーしています。MAmmoTHは、既存のオープンソースモデルを大幅に上回り、特にMATHデータセットで高い精度を示しています。この研究は、多様な問題のカバレッジとハイブリッドな根拠の使用の重要性を強調しています。 Comment9つのmath reasoningが必要なデータセットで13-29%のgainでSoTAを達成。260kの根拠情報を含むMath Instructデータでチューニングされたモデル。project page: https://tiger-ai-lab.github.io/MAmmoTH/ ... #Survey#NLPIssue Date: 2023-07-18 A Survey of Deep Learning for Mathematical Reasoning, ACL23 Summary数学的な推論とディープラーニングの関係についての調査論文をレビューし、数学的な推論におけるディープラーニングの進歩と将来の研究方向について議論しています。数学的な推論は機械学習と自然言語処理の分野で重要であり、ディープラーニングモデルのテストベッドとして機能しています。また、大規模なニューラル言語モデルの進歩により、数学的な推論に対するディープラーニングの利用が可能になりました。既存のベンチマークと方法を評価し、将来の研究方向についても議論しています。 more","headline":"NumericReasoningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/NumericReasoning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/NumericReasoning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1027,32 +1027,32 @@ <h2 id="numericreasoning">NumericReasoning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Embed.html" title="Embedに関する論文・技術記事メモの一覧">
-            Embedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Mathematics.html" title="Mathematicsに関する論文・技術記事メモの一覧">
+            Mathematicsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TrainedMetrics.html" title="TrainedMetricsに関する論文・技術記事メモの一覧">
-            TrainedMetricsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Transformer.html" title="Transformerに関する論文・技術記事メモの一覧">
+            Transformerに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Assessment.html" title="Assessmentに関する論文・技術記事メモの一覧">
-            Assessmentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/action_wanted.html" title="action_wantedに関する論文・技術記事メモの一覧">
+            action_wantedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Attention.html" title="Attentionに関する論文・技術記事メモの一覧">
-            Attentionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Infrastructure.html" title="Infrastructureに関する論文・技術記事メモの一覧">
+            Infrastructureに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/OnlineEvaluation.html b/docs/articles/OnlineEvaluation.html
index 31f5b531e..3215833ab 100644
--- a/docs/articles/OnlineEvaluation.html
+++ b/docs/articles/OnlineEvaluation.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/OnlineEvaluation.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="OnlineEvaluationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"OnlineEvaluation #Tutorial#InformationRetrievalIssue Date: 2018-01-01 Practical Online Retrieval Evaluation, SIGIR11, Tutorial","headline":"OnlineEvaluationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/OnlineEvaluation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/OnlineEvaluation.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"OnlineEvaluation #Tutorial#InformationRetrievalIssue Date: 2018-01-01 Practical Online Retrieval Evaluation, SIGIR11, Tutorial","headline":"OnlineEvaluationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/OnlineEvaluation.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/OnlineEvaluation.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1009,32 +1009,32 @@ <h2 id="onlineevaluation">OnlineEvaluation</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/PsychologicalScience.html" title="PsychologicalScienceに関する論文・技術記事メモの一覧">
-            PsychologicalScienceに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Evaluation.html" title="Evaluationに関する論文・技術記事メモの一覧">
+            Evaluationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Update.html" title="Updateに関する論文・技術記事メモの一覧">
-            Updateに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Sentence.html" title="Sentenceに関する論文・技術記事メモの一覧">
+            Sentenceに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TrainedMetrics.html" title="TrainedMetricsに関する論文・技術記事メモの一覧">
-            TrainedMetricsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LearningAnalytics.html" title="LearningAnalyticsに関する論文・技術記事メモの一覧">
+            LearningAnalyticsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LLMAgent.html" title="LLMAgentに関する論文・技術記事メモの一覧">
-            LLMAgentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LayoutGeneration.html" title="LayoutGenerationに関する論文・技術記事メモの一覧">
+            LayoutGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/OnlineLearning.html b/docs/articles/OnlineLearning.html
index d9d93039f..2d0923d8b 100644
--- a/docs/articles/OnlineLearning.html
+++ b/docs/articles/OnlineLearning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/OnlineLearning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="OnlineLearningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"OnlineLearning #Article#Tutorial#MachineLearningIssue Date: 2017-12-31 オンライン学習 Comment## 目次 定式化 評価法：Regretなど パーセプトロン Passive Aggressive Algorithm (アルゴリズムと損失の限界の評価） Confidence Weighted Algorithm Pegasos Coordinate Descent バッチ、オン ...","headline":"OnlineLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/OnlineLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/OnlineLearning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"OnlineLearning #Article#Tutorial#MachineLearningIssue Date: 2017-12-31 オンライン学習 Comment## 目次 定式化 評価法：Regretなど パーセプトロン Passive Aggressive Algorithm (アルゴリズムと損失の限界の評価） Confidence Weighted Algorithm Pegasos Coordinate Descent バッチ、オン ...","headline":"OnlineLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/OnlineLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/OnlineLearning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1019,32 +1019,32 @@ <h2 id="onlinelearning">OnlineLearning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Quantization.html" title="Quantizationに関する論文・技術記事メモの一覧">
-            Quantizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SearchEngine.html" title="SearchEngineに関する論文・技術記事メモの一覧">
+            SearchEngineに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Unsupervised.html" title="Unsupervisedに関する論文・技術記事メモの一覧">
-            Unsupervisedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InteractiveRecommenderSystems.html" title="InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧">
+            InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ConceptToText.html" title="ConceptToTextに関する論文・技術記事メモの一覧">
-            ConceptToTextに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TechnologyEnhancedLearning.html" title="TechnologyEnhancedLearningに関する論文・技術記事メモの一覧">
+            TechnologyEnhancedLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningToRank.html" title="LearningToRankに関する論文・技術記事メモの一覧">
-            LearningToRankに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DocumentSummarization.html" title="DocumentSummarizationに関する論文・技術記事メモの一覧">
+            DocumentSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Online_Interactive.html b/docs/articles/Online_Interactive.html
index 31e9fcfb7..ee2ec3a61 100644
--- a/docs/articles/Online_Interactive.html
+++ b/docs/articles/Online_Interactive.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Online_Interactive.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Online/Interactiveに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Online/Interactive #Neural#MachineLearning#PocketIssue Date: 2018-01-01 Online Deep Learning: Learning Deep Neural Networks on the Fly, Doyen Sahoo+, N_A, arXiv17 Summary本研究では、オンライン設定でリアルタイムにディープニューラルネットワーク（DNN）を学習するための新しいフレームワークを提案します。従来のバックプロパゲーションはオンライン学習には適していないため、新しいHedge Backpropagation（HBP）手法を提案します。この手法は、静的およびコンセプトドリフトシナリオを含む大規模なデータセットで効果的であることを検証します。 #Tutorial#InformationRetrieval#LearningToRankIssue Date: 2018-01-01 Online Learning to Rank for Information Retrieval, Grotov+, SIGIR16 #InformationRetrieval#LearningToRank#PocketIssue Date: 2018-01-01 Contextual Dueling Bandits, Dudik+, JMLR15 more","headline":"Online/Interactiveに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Online_Interactive.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Online_Interactive.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Online/Interactive #Neural#MachineLearning#PocketIssue Date: 2018-01-01 Online Deep Learning: Learning Deep Neural Networks on the Fly, Doyen Sahoo+, N_A, arXiv17 Summary本研究では、オンライン設定でリアルタイムにディープニューラルネットワーク（DNN）を学習するための新しいフレームワークを提案します。従来のバックプロパゲーションはオンライン学習には適していないため、新しいHedge Backpropagation（HBP）手法を提案します。この手法は、静的およびコンセプトドリフトシナリオを含む大規模なデータセットで効果的であることを検証します。 #Tutorial#InformationRetrieval#LearningToRankIssue Date: 2018-01-01 Online Learning to Rank for Information Retrieval, Grotov+, SIGIR16 #InformationRetrieval#LearningToRank#PocketIssue Date: 2018-01-01 Contextual Dueling Bandits, Dudik+, JMLR15 more","headline":"Online/Interactiveに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Online_Interactive.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Online_Interactive.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1037,32 +1037,32 @@ <h2 id="onlineinteractive">Online/Interactive</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Faithfulness.html" title="Faithfulnessに関する論文・技術記事メモの一覧">
-            Faithfulnessに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ImplicitFeedback.html" title="ImplicitFeedbackに関する論文・技術記事メモの一覧">
+            ImplicitFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Controllable.html" title="Controllableに関する論文・技術記事メモの一覧">
-            Controllableに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ComputerVision.html" title="ComputerVisionに関する論文・技術記事メモの一覧">
+            ComputerVisionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Programming.html" title="Programmingに関する論文・技術記事メモの一覧">
-            Programmingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Proprietary.html" title="Proprietaryに関する論文・技術記事メモの一覧">
+            Proprietaryに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/action_wanted.html" title="action_wantedに関する論文・技術記事メモの一覧">
-            action_wantedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/pretrained-LM.html" title="pretrained-LMに関する論文・技術記事メモの一覧">
+            pretrained-LMに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/OpenLLM.html b/docs/articles/OpenLLM.html
index d8711f6dc..c2b701b5d 100644
--- a/docs/articles/OpenLLM.html
+++ b/docs/articles/OpenLLM.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/OpenLLM.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="OpenLLMに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"OpenLLM #Efficiency/SpeedUp#Pocket#NLP#LanguageModelIssue Date: 2024-04-23 Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone, Marah Abdin+, N_A, arXiv24 Summaryphi-3-miniは38億パラメータの言語モデルであり、3.3兆トークンで訓練されています。Mixtral 8x7BやGPT-3.5などの大規模モデルに匹敵する総合的なパフォーマンスを持ちながら、スマートフォンにデプロイ可能なサイズです。このモデルは、厳密にフィルタリングされたWebデータと合成データで構成されており、堅牢性、安全性、およびチャット形式に適合しています。また、phi-3-smallとphi-3-mediumというより大規模なモデルも紹介されています。 Comment#1039 の次の次（Phi2.0についてはメモってなかった）。スマホにデプロイできるレベルのサイズで、GPT3.5Turbo程度の性能を実現したらしいLlama2と同じブロックを利用しているため、アーキテクチャはLlama2と共通。 ... #Pocket#NLP#LanguageModelIssue Date: 2024-03-05 OLMo: Accelerating the Science of Language Models, Dirk Groeneveld+, N_A, arXiv24 SummaryLMsの商業的重要性が高まる中、最も強力なモデルは閉鎖されており、その詳細が非公開になっている。そのため、本技術レポートでは、本当にオープンな言語モデルであるOLMoの初回リリースと、言語モデリングの科学を構築し研究するためのフレームワークについて詳細に説明している。OLMoはモデルの重みだけでなく、トレーニングデータ、トレーニングおよび評価コードを含むフレームワーク全体を公開しており、オープンな研究コミュニティを強化し、新しいイノベーションを促進することを目指している。 CommentModel Weightsを公開するだけでなく、training/evaluation codeとそのデータも公開する真にOpenな言語モデル（truly Open Language Model）。AllenAI ... #NLP#LanguageModel#FoundationModelIssue Date: 2023-07-22 Llama 2: Open Foundation and Fine-Tuned Chat Models, Hugo Touvron+, N_A, arXiv23 Summaryこの研究では、大規模な言語モデルであるLlama 2を開発し、微調整しています。Llama 2-Chatは対話に特化しており、オープンソースのチャットモデルを上回る性能を示しています。安全性の改善にも取り組んでおり、責任ある開発に貢献することを目指しています。 Comment参考: https://twitter.com/hillbig/status/1681436336451125257?s=46&t=LJIgfuO352oK3zU2FKFpNALlama, およびLlama2では、一般的なTransformer Decoderとは異なり、linear layerの” ... more","headline":"OpenLLMに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/OpenLLM.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/OpenLLM.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"OpenLLM #Efficiency/SpeedUp#Pocket#NLP#LanguageModelIssue Date: 2024-04-23 Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone, Marah Abdin+, N_A, arXiv24 Summaryphi-3-miniは38億パラメータの言語モデルであり、3.3兆トークンで訓練されています。Mixtral 8x7BやGPT-3.5などの大規模モデルに匹敵する総合的なパフォーマンスを持ちながら、スマートフォンにデプロイ可能なサイズです。このモデルは、厳密にフィルタリングされたWebデータと合成データで構成されており、堅牢性、安全性、およびチャット形式に適合しています。また、phi-3-smallとphi-3-mediumというより大規模なモデルも紹介されています。 Comment#1039 の次の次（Phi2.0についてはメモってなかった）。スマホにデプロイできるレベルのサイズで、GPT3.5Turbo程度の性能を実現したらしいLlama2と同じブロックを利用しているため、アーキテクチャはLlama2と共通。 ... #Pocket#NLP#LanguageModelIssue Date: 2024-03-05 OLMo: Accelerating the Science of Language Models, Dirk Groeneveld+, N_A, arXiv24 SummaryLMsの商業的重要性が高まる中、最も強力なモデルは閉鎖されており、その詳細が非公開になっている。そのため、本技術レポートでは、本当にオープンな言語モデルであるOLMoの初回リリースと、言語モデリングの科学を構築し研究するためのフレームワークについて詳細に説明している。OLMoはモデルの重みだけでなく、トレーニングデータ、トレーニングおよび評価コードを含むフレームワーク全体を公開しており、オープンな研究コミュニティを強化し、新しいイノベーションを促進することを目指している。 CommentModel Weightsを公開するだけでなく、training/evaluation codeとそのデータも公開する真にOpenな言語モデル（truly Open Language Model）。AllenAI ... #NLP#LanguageModel#FoundationModelIssue Date: 2023-07-22 Llama 2: Open Foundation and Fine-Tuned Chat Models, Hugo Touvron+, N_A, arXiv23 Summaryこの研究では、大規模な言語モデルであるLlama 2を開発し、微調整しています。Llama 2-Chatは対話に特化しており、オープンソースのチャットモデルを上回る性能を示しています。安全性の改善にも取り組んでおり、責任ある開発に貢献することを目指しています。 Comment参考: https://twitter.com/hillbig/status/1681436336451125257?s=46&t=LJIgfuO352oK3zU2FKFpNALlama, およびLlama2では、一般的なTransformer Decoderとは異なり、linear layerの” ... more","headline":"OpenLLMに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/OpenLLM.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/OpenLLM.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1048,32 +1048,32 @@ <h2 id="openllm">OpenLLM</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/PersonalizedHeadlineGeneration.html" title="PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧">
-            PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ReinforcementLearning.html" title="ReinforcementLearningに関する論文・技術記事メモの一覧">
+            ReinforcementLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Pretraining.html" title="Pretrainingに関する論文・技術記事メモの一覧">
-            Pretrainingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Synchrophancy.html" title="Synchrophancyに関する論文・技術記事メモの一覧">
+            Synchrophancyに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Lambda.html" title="Lambdaに関する論文・技術記事メモの一覧">
-            Lambdaに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/FoundationModel.html" title="FoundationModelに関する論文・技術記事メモの一覧">
+            FoundationModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/AdaptiveLearning.html" title="AdaptiveLearningに関する論文・技術記事メモの一覧">
-            AdaptiveLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/RuleBased.html" title="RuleBasedに関する論文・技術記事メモの一覧">
+            RuleBasedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/OpinionMining.html b/docs/articles/OpinionMining.html
index 506b60da0..225387a36 100644
--- a/docs/articles/OpinionMining.html
+++ b/docs/articles/OpinionMining.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/OpinionMining.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="OpinionMiningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"OpinionMining #DocumentSummarization#NLP#reviewIssue Date: 2023-05-08 Mining and summarizing customer reviews, Hu+, KDD04 Commentレビュー中のユーザが記述したopinion sentenceを同定し、極性がpos/negのどちらかを判定し、pos/negそれぞれの代表的なsentenceを抽出することで要約する手法 評価をする際は、Amazon等のレビューを収集し、人間がレビューを読み、どれがopinion senten ... #Article#Survey#SentimentAnalysis#NLPIssue Date: 2018-01-15 Opinion mining and sentiment analysis, Pang+, Foundations and Trends in Information Retrieval, 2008","headline":"OpinionMiningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/OpinionMining.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/OpinionMining.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"OpinionMining #DocumentSummarization#NLP#reviewIssue Date: 2023-05-08 Mining and summarizing customer reviews, Hu+, KDD04 Commentレビュー中のユーザが記述したopinion sentenceを同定し、極性がpos/negのどちらかを判定し、pos/negそれぞれの代表的なsentenceを抽出することで要約する手法 評価をする際は、Amazon等のレビューを収集し、人間がレビューを読み、どれがopinion senten ... #Article#Survey#SentimentAnalysis#NLPIssue Date: 2018-01-15 Opinion mining and sentiment analysis, Pang+, Foundations and Trends in Information Retrieval, 2008","headline":"OpinionMiningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/OpinionMining.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/OpinionMining.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1014,32 +1014,32 @@ <h2 id="opinionmining">OpinionMining</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataToText.html" title="DataToTextに関する論文・技術記事メモの一覧">
-            DataToTextに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ECS.html" title="ECSに関する論文・技術記事メモの一覧">
+            ECSに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Faithfulness.html" title="Faithfulnessに関する論文・技術記事メモの一覧">
-            Faithfulnessに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ContextWindow.html" title="ContextWindowに関する論文・技術記事メモの一覧">
+            ContextWindowに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PositionalEncoding.html" title="PositionalEncodingに関する論文・技術記事メモの一覧">
-            PositionalEncodingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/KnowledgeGraph.html" title="KnowledgeGraphに関する論文・技術記事メモの一覧">
+            KnowledgeGraphに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/post-pretraining.html" title="post-pretrainingに関する論文・技術記事メモの一覧">
-            post-pretrainingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DynamicNetworks.html" title="DynamicNetworksに関する論文・技術記事メモの一覧">
+            DynamicNetworksに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Optimizer.html b/docs/articles/Optimizer.html
index 1d128e6fb..16942d223 100644
--- a/docs/articles/Optimizer.html
+++ b/docs/articles/Optimizer.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Optimizer.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Optimizerに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Optimizer #MachineLearning#PocketIssue Date: 2023-07-25 DoG is SGDs Best Friend: A Parameter-Free Dynamic Step Size Schedule, Maor Ivgi+, N_A, ICML23 Summary私たちは、チューニング不要の動的SGDステップサイズの式であるDoGを提案します。DoGは、初期点からの距離と勾配のノルムに基づいてステップサイズを計算し、学習率のパラメータを必要としません。理論的には、DoGの式は確率的凸最適化においてパラメータフリーの収束を保証します。実験的には、DoGのパフォーマンスがチューニングされた学習率を持つSGDに近いことを示し、DoGのバリアントがチューニングされたSGDやAdamを上回ることを示します。PyTorchの実装はhttps://github.com/formll/dogで利用できます。 Comment20 を超える多様なタスクと 8 つのビジョンおよび NLP モデルに対して有効であったシンプルなパラメーターフリーのoptimizer 元ツイート: https://twitter.com/maorivg/status/1683525521471328256?s=46&t=Lt9P4Bkmi ...","headline":"Optimizerに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Optimizer.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Optimizer.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Optimizer #MachineLearning#PocketIssue Date: 2023-07-25 DoG is SGDs Best Friend: A Parameter-Free Dynamic Step Size Schedule, Maor Ivgi+, N_A, ICML23 Summary私たちは、チューニング不要の動的SGDステップサイズの式であるDoGを提案します。DoGは、初期点からの距離と勾配のノルムに基づいてステップサイズを計算し、学習率のパラメータを必要としません。理論的には、DoGの式は確率的凸最適化においてパラメータフリーの収束を保証します。実験的には、DoGのパフォーマンスがチューニングされた学習率を持つSGDに近いことを示し、DoGのバリアントがチューニングされたSGDやAdamを上回ることを示します。PyTorchの実装はhttps://github.com/formll/dogで利用できます。 Comment20 を超える多様なタスクと 8 つのビジョンおよび NLP モデルに対して有効であったシンプルなパラメーターフリーのoptimizer 元ツイート: https://twitter.com/maorivg/status/1683525521471328256?s=46&t=Lt9P4Bkmi ...","headline":"Optimizerに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Optimizer.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Optimizer.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1013,32 +1013,32 @@ <h2 id="optimizer">Optimizer</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/TransferLearning.html" title="TransferLearningに関する論文・技術記事メモの一覧">
-            TransferLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Classic.html" title="Classicに関する論文・技術記事メモの一覧">
+            Classicに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataDriven.html" title="DataDrivenに関する論文・技術記事メモの一覧">
-            DataDrivenに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CollaborativeFiltering.html" title="CollaborativeFilteringに関する論文・技術記事メモの一覧">
+            CollaborativeFilteringに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Grokking.html" title="Grokkingに関する論文・技術記事メモの一覧">
-            Grokkingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataDriven.html" title="DataDrivenに関する論文・技術記事メモの一覧">
+            DataDrivenに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NumericReasoning.html" title="NumericReasoningに関する論文・技術記事メモの一覧">
-            NumericReasoningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CTRPrediction.html" title="CTRPredictionに関する論文・技術記事メモの一覧">
+            CTRPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/OptionTracing.html b/docs/articles/OptionTracing.html
index dfb5fe669..993d582d9 100644
--- a/docs/articles/OptionTracing.html
+++ b/docs/articles/OptionTracing.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/OptionTracing.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="OptionTracingに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"OptionTracing #Pocket#AdaptiveLearning#EducationalDataMiningIssue Date: 2022-08-18 Option Tracing: Beyond Correctness Analysis in Knowledge Tracing, Ghosh+, AIED21 CommentこれまでのKTは問題の正誤（correctness）に対してfittingしていたが、この研究ではmultiple choice questionでどの選択肢を選択するかを予測するタスクを提案している。 ...","headline":"OptionTracingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/OptionTracing.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/OptionTracing.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"OptionTracing #Pocket#AdaptiveLearning#EducationalDataMiningIssue Date: 2022-08-18 Option Tracing: Beyond Correctness Analysis in Knowledge Tracing, Ghosh+, AIED21 CommentこれまでのKTは問題の正誤（correctness）に対してfittingしていたが、この研究ではmultiple choice questionでどの選択肢を選択するかを予測するタスクを提案している。 ...","headline":"OptionTracingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/OptionTracing.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/OptionTracing.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1010,32 +1010,32 @@ <h2 id="optiontracing">OptionTracing</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Ensemble.html" title="Ensembleに関する論文・技術記事メモの一覧">
-            Ensembleに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SmallModel.html" title="SmallModelに関する論文・技術記事メモの一覧">
+            SmallModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataToText.html" title="DataToTextに関する論文・技術記事メモの一覧">
-            DataToTextに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Lambda.html" title="Lambdaに関する論文・技術記事メモの一覧">
+            Lambdaに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningStyle.html" title="LearningStyleに関する論文・技術記事メモの一覧">
-            LearningStyleに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Composition.html" title="Compositionに関する論文・技術記事メモの一覧">
+            Compositionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Neural.html" title="Neuralに関する論文・技術記事メモの一覧">
-            Neuralに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PairWise.html" title="PairWiseに関する論文・技術記事メモの一覧">
+            PairWiseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Others.html b/docs/articles/Others.html
index fa3a8339e..745ff0934 100644
--- a/docs/articles/Others.html
+++ b/docs/articles/Others.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Others.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Othersに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Others #NaturalLanguageGeneration#NLP#DataToTextIssue Date: 2017-12-31 Deep Match between Geology Reports and Well Logs Using Spatial Information, Tong+, CIKM16 #DocumentSummarization#NLPIssue Date: 2018-01-01 Detecting information-dense texts in multiple news domains, Yang+, AAAI14 Commentニュース記事の第一段落目がinformativeか否か（重要なfactual informationが記述されているか否か）を分類する研究。 New York Times Annotated Corpusに対して、自動的にinformative, non-informativeなラベルづけを行う手 ... #NaturalLanguageGeneration#NLP#DataToTextIssue Date: 2017-12-31 Comparing Multi-label Classification with Reinforcement Learning for Summarization of Time-series Data, Gkatzia+, ACL14 more","headline":"Othersに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Others.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Others.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Others #NaturalLanguageGeneration#NLP#DataToTextIssue Date: 2017-12-31 Deep Match between Geology Reports and Well Logs Using Spatial Information, Tong+, CIKM16 #DocumentSummarization#NLPIssue Date: 2018-01-01 Detecting information-dense texts in multiple news domains, Yang+, AAAI14 Commentニュース記事の第一段落目がinformativeか否か（重要なfactual informationが記述されているか否か）を分類する研究。 New York Times Annotated Corpusに対して、自動的にinformative, non-informativeなラベルづけを行う手 ... #NaturalLanguageGeneration#NLP#DataToTextIssue Date: 2017-12-31 Comparing Multi-label Classification with Reinforcement Learning for Summarization of Time-series Data, Gkatzia+, ACL14 more","headline":"Othersに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Others.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Others.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1039,32 +1039,32 @@ <h2 id="others">Others</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Programming.html" title="Programmingに関する論文・技術記事メモの一覧">
-            Programmingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LLMAgent.html" title="LLMAgentに関する論文・技術記事メモの一覧">
+            LLMAgentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Dataset.html" title="Datasetに関する論文・技術記事メモの一覧">
-            Datasetに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SingleFramework.html" title="SingleFrameworkに関する論文・技術記事メモの一覧">
+            SingleFrameworkに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataAugmentation.html" title="DataAugmentationに関する論文・技術記事メモの一覧">
-            DataAugmentationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/OnlineLearning.html" title="OnlineLearningに関する論文・技術記事メモの一覧">
+            OnlineLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RetrievalAugmentedGeneration.html" title="RetrievalAugmentedGenerationに関する論文・技術記事メモの一覧">
-            RetrievalAugmentedGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DiffusionModel.html" title="DiffusionModelに関する論文・技術記事メモの一覧">
+            DiffusionModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Out-of-DistributionDetection.html b/docs/articles/Out-of-DistributionDetection.html
index 6407e0dcc..6a0b5f555 100644
--- a/docs/articles/Out-of-DistributionDetection.html
+++ b/docs/articles/Out-of-DistributionDetection.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Out-of-DistributionDetection.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Out-of-DistributionDetectionに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Out-of-DistributionDetection #NLP#pretrained-LMIssue Date: 2023-07-18 Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for Out-of-Domain Detection, ACL23 Summary本研究では、ファインチューニングなしで事前学習された言語モデルを使用してOOD検出を行う効果を調査しました。さまざまなタイプの分布シフトにおいて、ファインチューニングされたモデルを大幅に上回るほぼ完璧なOOD検出性能を示しました。","headline":"Out-of-DistributionDetectionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Out-of-DistributionDetection.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Out-of-DistributionDetection.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Out-of-DistributionDetection #NLP#pretrained-LMIssue Date: 2023-07-18 Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for Out-of-Domain Detection, ACL23 Summary本研究では、ファインチューニングなしで事前学習された言語モデルを使用してOOD検出を行う効果を調査しました。さまざまなタイプの分布シフトにおいて、ファインチューニングされたモデルを大幅に上回るほぼ完璧なOOD検出性能を示しました。","headline":"Out-of-DistributionDetectionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Out-of-DistributionDetection.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Out-of-DistributionDetection.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1010,32 +1010,32 @@ <h2 id="out-of-distributiondetection">Out-of-DistributionDetection</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Personalization.html" title="Personalizationに関する論文・技術記事メモの一覧">
-            Personalizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/QA-based.html" title="QA-basedに関する論文・技術記事メモの一覧">
+            QA-basedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/translation_required.html" title="translation_requiredに関する論文・技術記事メモの一覧">
-            translation_requiredに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Repository.html" title="Repositoryに関する論文・技術記事メモの一覧">
+            Repositoryに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NeuralArchitectureSearch.html" title="NeuralArchitectureSearchに関する論文・技術記事メモの一覧">
-            NeuralArchitectureSearchに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Unsupervised.html" title="Unsupervisedに関する論文・技術記事メモの一覧">
+            Unsupervisedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ItemBased.html" title="ItemBasedに関する論文・技術記事メモの一覧">
-            ItemBasedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/EssayScoring.html" title="EssayScoringに関する論文・技術記事メモの一覧">
+            EssayScoringに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/PPO.html b/docs/articles/PPO.html
index c5e3f0fdc..c8d6462eb 100644
--- a/docs/articles/PPO.html
+++ b/docs/articles/PPO.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/PPO.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="PPOに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"PPO #NLP#LanguageModel#ReinforcementLearning#RLHFIssue Date: 2023-07-12 Secrets of RLHF in Large Language Models Part I: PPO, Rui Zheng+, N_A, arXiv23 Summary大規模言語モデル（LLMs）を使用した人間中心のアシスタントの開発には、報酬設計やトレーニングの課題などの障壁があります。この研究では、強化学習（RLHF）のフレームワークを解析し、PPOアルゴリズムの内部動作を再評価し、ポリシーモデルのトレーニングの安定性を改善するための高度なバージョンを提案します。さらに、SFTモデルとChatGPTと比較してRLHFの能力を分析し、オープンソースの実装を公開することを目指しています。 CommentRLHFとPPOをの内部構造を調査したレポート。RLHFに興味がある場合は読むべし。github: https://github.com/OpenLMLab/MOSS-RLHF ...","headline":"PPOに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/PPO.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/PPO.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"PPO #NLP#LanguageModel#ReinforcementLearning#RLHFIssue Date: 2023-07-12 Secrets of RLHF in Large Language Models Part I: PPO, Rui Zheng+, N_A, arXiv23 Summary大規模言語モデル（LLMs）を使用した人間中心のアシスタントの開発には、報酬設計やトレーニングの課題などの障壁があります。この研究では、強化学習（RLHF）のフレームワークを解析し、PPOアルゴリズムの内部動作を再評価し、ポリシーモデルのトレーニングの安定性を改善するための高度なバージョンを提案します。さらに、SFTモデルとChatGPTと比較してRLHFの能力を分析し、オープンソースの実装を公開することを目指しています。 CommentRLHFとPPOをの内部構造を調査したレポート。RLHFに興味がある場合は読むべし。github: https://github.com/OpenLMLab/MOSS-RLHF ...","headline":"PPOに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/PPO.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/PPO.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1011,32 +1011,32 @@ <h2 id="ppo">PPO</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Attention.html" title="Attentionに関する論文・技術記事メモの一覧">
-            Attentionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataToText.html" title="DataToTextに関する論文・技術記事メモの一覧">
+            DataToTextに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Classic.html" title="Classicに関する論文・技術記事メモの一覧">
-            Classicに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Session.html" title="Sessionに関する論文・技術記事メモの一覧">
+            Sessionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Discourse.html" title="Discourseに関する論文・技術記事メモの一覧">
-            Discourseに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PPO.html" title="PPOに関する論文・技術記事メモの一覧">
+            PPOに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InformationExtraction.html" title="InformationExtractionに関する論文・技術記事メモの一覧">
-            InformationExtractionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SearchEngine.html" title="SearchEngineに関する論文・技術記事メモの一覧">
+            SearchEngineに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/PairWise.html b/docs/articles/PairWise.html
index cc3d933ec..c486984a0 100644
--- a/docs/articles/PairWise.html
+++ b/docs/articles/PairWise.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/PairWise.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="PairWiseに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"PairWise #InformationRetrieval#LearningToRankIssue Date: 2018-01-01 Learning to Rank using Gradient Descent （RankNet）, Burges+, ICML2005 Commentpair-wiseのlearning2rankで代表的なRankNet論文 解説ブログ：https://qiita.com/sz_dr/items/0e50120318527a928407 lossは2個のインスタンスのpair、A, Bが与えられたとき、AがBよりも高くランクされる場合は確 ... #Article#InformationRetrieval#LearningToRankIssue Date: 2018-01-01 Large Scale Learning to Rank, Sculley+, NIPS 2009 Commentsofia-mlの実装内容について記述されている論文 よくonline学習の文脈で触れられるが、気をつけないと罠にはまる。 というのは、sofia-ml内のMethodsによって、最適化している目的関数が異なるからだ。 実装をみると、全てのmethodsがonlineでできちゃいそうに見え ...","headline":"PairWiseに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/PairWise.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/PairWise.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"PairWise #InformationRetrieval#LearningToRankIssue Date: 2018-01-01 Learning to Rank using Gradient Descent （RankNet）, Burges+, ICML2005 Commentpair-wiseのlearning2rankで代表的なRankNet論文 解説ブログ：https://qiita.com/sz_dr/items/0e50120318527a928407 lossは2個のインスタンスのpair、A, Bが与えられたとき、AがBよりも高くランクされる場合は確 ... #Article#InformationRetrieval#LearningToRankIssue Date: 2018-01-01 Large Scale Learning to Rank, Sculley+, NIPS 2009 Commentsofia-mlの実装内容について記述されている論文 よくonline学習の文脈で触れられるが、気をつけないと罠にはまる。 というのは、sofia-ml内のMethodsによって、最適化している目的関数が異なるからだ。 実装をみると、全てのmethodsがonlineでできちゃいそうに見え ...","headline":"PairWiseに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/PairWise.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/PairWise.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1020,32 +1020,32 @@ <h2 id="pairwise">PairWise</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Single.html" title="Singleに関する論文・技術記事メモの一覧">
-            Singleに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Temporal.html" title="Temporalに関する論文・技術記事メモの一覧">
+            Temporalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Proprietary.html" title="Proprietaryに関する論文・技術記事メモの一覧">
-            Proprietaryに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TimeSeriesDataProcessing.html" title="TimeSeriesDataProcessingに関する論文・技術記事メモの一覧">
+            TimeSeriesDataProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/MulltiModal.html" title="MulltiModalに関する論文・技術記事メモの一覧">
-            MulltiModalに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Prompting.html" title="Promptingに関する論文・技術記事メモの一覧">
+            Promptingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/OpinionMining.html" title="OpinionMiningに関する論文・技術記事メモの一覧">
-            OpinionMiningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DocumentSummarization.html" title="DocumentSummarizationに関する論文・技術記事メモの一覧">
+            DocumentSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/PerformanceTesting.html b/docs/articles/PerformanceTesting.html
index f6b2670d3..f445f02d5 100644
--- a/docs/articles/PerformanceTesting.html
+++ b/docs/articles/PerformanceTesting.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/PerformanceTesting.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="PerformanceTestingに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"PerformanceTesting #Article#Tools#pythonIssue Date: 2021-05-26 locust Comment負荷テスト用のツール JMeterと違って、pythonコードでテスト内容を制御できるらしく、かなり使いやすいらしい。 ...","headline":"PerformanceTestingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/PerformanceTesting.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/PerformanceTesting.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"PerformanceTesting #Article#Tools#pythonIssue Date: 2021-05-26 locust Comment負荷テスト用のツール JMeterと違って、pythonコードでテスト内容を制御できるらしく、かなり使いやすいらしい。 ...","headline":"PerformanceTestingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/PerformanceTesting.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/PerformanceTesting.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1011,32 +1011,32 @@ <h2 id="performancetesting">PerformanceTesting</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/OpinionMining.html" title="OpinionMiningに関する論文・技術記事メモの一覧">
-            OpinionMiningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Classic.html" title="Classicに関する論文・技術記事メモの一覧">
+            Classicに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RLHF.html" title="RLHFに関する論文・技術記事メモの一覧">
-            RLHFに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NaturalLanguageGeneration.html" title="NaturalLanguageGenerationに関する論文・技術記事メモの一覧">
+            NaturalLanguageGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LongSequence.html" title="LongSequenceに関する論文・技術記事メモの一覧">
-            LongSequenceに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Explanation.html" title="Explanationに関する論文・技術記事メモの一覧">
+            Explanationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NewsRecommendation.html" title="NewsRecommendationに関する論文・技術記事メモの一覧">
-            NewsRecommendationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LLMAgent.html" title="LLMAgentに関する論文・技術記事メモの一覧">
+            LLMAgentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Personalization.html b/docs/articles/Personalization.html
index c74cff6c4..1c12b3bee 100644
--- a/docs/articles/Personalization.html
+++ b/docs/articles/Personalization.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Personalization.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Personalizationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Personalization #Pocket#NLP#LanguageModelIssue Date: 2024-02-24 User-LLM: Efficient LLM Contextualization with User Embeddings, Lin Ning+, N_A, arXiv24 SummaryLLMsを活用したUser-LLMフレームワークが提案された。ユーザーエンベッディングを使用してLLMsをコンテキストに位置付けし、ユーザーコンテキストに動的に適応することが可能になる。包括的な実験により、著しい性能向上が示され、Perceiverレイヤーの組み込みにより計算効率が向上している。 Commentnext item prediction, favorite genre or category predictimnreview generationなどで評価している ... #Pocket#NLP#LanguageModelIssue Date: 2023-10-24 Personalized Soups: Personalized Large Language Model Alignment via Post-hoc Parameter Merging, Joel Jang+, N_A, arXiv23 SummaryReinforcement Learning from Human Feedback (RLHF) is not optimal for learning diverse individual perspectives, as it aligns general aggregated human preferences with large language models (LLMs). This study investigates the problem of Reinforcement Learning from Individual Human Feedback (RLPHF) and models the alignment with LLMs to multiple (sometimes conflicting) preferences as a Multi-Objective Reinforcement Learning (MORL) problem. It demonstrates that individual alignment can be achieved by decomposing preferences into multiple dimensions based on personalized declarations. The study shows that these dimensions can be efficiently trained independently and distributed, and effectively combined in post-processing through parameter merging. The code is available at https://github.com/joeljang/RLPHF. Commentどこまでのことが実現できるのかが気になる。 ... #PersonalizedDocumentSummarization#NLP#PersonalizedGeneration#PersonalizedHeadlineGenerationIssue Date: 2023-07-22 Generating User-Engaging News Headlines, ACL23 Summaryニュース記事の見出しを個別化するために、ユーザープロファイリングを組み込んだ新しいフレームワークを提案。ユーザーの閲覧履歴に基づいて個別のシグネチャフレーズを割り当て、それを使用して見出しを個別化する。幅広い評価により、提案したフレームワークが多様な読者のニーズに応える個別の見出しを生成する効果を示した。 Comment# モチベーション 推薦システムのヘッドラインは未だに全員に同じものが表示されており、ユーザが自身の興味とのつながりを正しく判定できるとは限らず、推薦システムの有用性を妨げるので、ユーザごとに異なるヘッドラインを生成する手法を提案した。ただし、クリックベイトは避けるようなヘッドラインを生成しなけれ# ... more","headline":"Personalizationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Personalization.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Personalization.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Personalization #Pocket#NLP#LanguageModelIssue Date: 2024-02-24 User-LLM: Efficient LLM Contextualization with User Embeddings, Lin Ning+, N_A, arXiv24 SummaryLLMsを活用したUser-LLMフレームワークが提案された。ユーザーエンベッディングを使用してLLMsをコンテキストに位置付けし、ユーザーコンテキストに動的に適応することが可能になる。包括的な実験により、著しい性能向上が示され、Perceiverレイヤーの組み込みにより計算効率が向上している。 Commentnext item prediction, favorite genre or category predictimnreview generationなどで評価している ... #Pocket#NLP#LanguageModelIssue Date: 2023-10-24 Personalized Soups: Personalized Large Language Model Alignment via Post-hoc Parameter Merging, Joel Jang+, N_A, arXiv23 SummaryReinforcement Learning from Human Feedback (RLHF) is not optimal for learning diverse individual perspectives, as it aligns general aggregated human preferences with large language models (LLMs). This study investigates the problem of Reinforcement Learning from Individual Human Feedback (RLPHF) and models the alignment with LLMs to multiple (sometimes conflicting) preferences as a Multi-Objective Reinforcement Learning (MORL) problem. It demonstrates that individual alignment can be achieved by decomposing preferences into multiple dimensions based on personalized declarations. The study shows that these dimensions can be efficiently trained independently and distributed, and effectively combined in post-processing through parameter merging. The code is available at https://github.com/joeljang/RLPHF. Commentどこまでのことが実現できるのかが気になる。 ... #PersonalizedDocumentSummarization#NLP#PersonalizedGeneration#PersonalizedHeadlineGenerationIssue Date: 2023-07-22 Generating User-Engaging News Headlines, ACL23 Summaryニュース記事の見出しを個別化するために、ユーザープロファイリングを組み込んだ新しいフレームワークを提案。ユーザーの閲覧履歴に基づいて個別のシグネチャフレーズを割り当て、それを使用して見出しを個別化する。幅広い評価により、提案したフレームワークが多様な読者のニーズに応える個別の見出しを生成する効果を示した。 Comment# モチベーション 推薦システムのヘッドラインは未だに全員に同じものが表示されており、ユーザが自身の興味とのつながりを正しく判定できるとは限らず、推薦システムの有用性を妨げるので、ユーザごとに異なるヘッドラインを生成する手法を提案した。ただし、クリックベイトは避けるようなヘッドラインを生成しなけれ# ... more","headline":"Personalizationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Personalization.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Personalization.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1143,32 +1143,32 @@ <h2 id="personalization">Personalization</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Personalization.html" title="Personalizationに関する論文・技術記事メモの一覧">
-            Personalizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ExplicitFeedback.html" title="ExplicitFeedbackに関する論文・技術記事メモの一覧">
+            ExplicitFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/SemanticTextualSimilarity.html" title="SemanticTextualSimilarityに関する論文・技術記事メモの一覧">
-            SemanticTextualSimilarityに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LLMAgent.html" title="LLMAgentに関する論文・技術記事メモの一覧">
+            LLMAgentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/SingleFramework.html" title="SingleFrameworkに関する論文・技術記事メモの一覧">
-            SingleFrameworkに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/OpenLLM.html" title="OpenLLMに関する論文・技術記事メモの一覧">
+            OpenLLMに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Interleaved.html" title="Interleavedに関する論文・技術記事メモの一覧">
-            Interleavedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TimeSeriesDataProcessing.html" title="TimeSeriesDataProcessingに関する論文・技術記事メモの一覧">
+            TimeSeriesDataProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/PersonalizedDocumentSummarization.html b/docs/articles/PersonalizedDocumentSummarization.html
index 292d61c7b..7f8d12405 100644
--- a/docs/articles/PersonalizedDocumentSummarization.html
+++ b/docs/articles/PersonalizedDocumentSummarization.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/PersonalizedDocumentSummarization.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="PersonalizedDocumentSummarizationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"PersonalizedDocumentSummarization #NLP#PersonalizedGeneration#Personalization#PersonalizedHeadlineGenerationIssue Date: 2023-07-22 Generating User-Engaging News Headlines, ACL23 Summaryニュース記事の見出しを個別化するために、ユーザープロファイリングを組み込んだ新しいフレームワークを提案。ユーザーの閲覧履歴に基づいて個別のシグネチャフレーズを割り当て、それを使用して見出しを個別化する。幅広い評価により、提案したフレームワークが多様な読者のニーズに応える個別の見出しを生成する効果を示した。 Comment# モチベーション 推薦システムのヘッドラインは未だに全員に同じものが表示されており、ユーザが自身の興味とのつながりを正しく判定できるとは限らず、推薦システムの有用性を妨げるので、ユーザごとに異なるヘッドラインを生成する手法を提案した。ただし、クリックベイトは避けるようなヘッドラインを生成しなけれ# ... #Pocket#NLP#Personalization#reviewIssue Date: 2023-05-05 Towards Personalized Review Summarization by Modeling Historical Reviews from Customer and Product Separately, Xin Cheng+, N_A, arXiv23 Summaryレビュー要約は、Eコマースのウェブサイトにおいて製品レビューの主要なアイデアを要約することを目的としたタスクである。本研究では、評価情報を含む2種類の過去のレビューをグラフ推論モジュールと対比損失を用いて別々にモデル化するHHRRSを提案する。レビューの感情分類と要約を共同で行うマルチタスクフレームワークを採用し、4つのベンチマークデータセットでの徹底的な実験により、HHRRSが両方のタスクで優れた性能を発揮することが示された。 #NLP#Dataset#LanguageModel#PersonalizedGeneration#Personalization#PersonalizedHeadlineGenerationIssue Date: 2023-05-31 PENS: A Dataset and Generic Framework for Personalized News Headline Generation, ACL21 Summaryこの論文では、ユーザーの興味とニュース本文に基づいて、ユーザー固有のタイトルを生成するパーソナライズされたニュース見出し生成の問題を解決するためのフレームワークを提案します。また、この問題のための大規模なデータセットであるPENSを公開し、ベンチマークスコアを示します。データセットはhttps://msnews.github.io/pens.htmlで入手可能です。 Comment# 概要 ニュース記事に対するPersonalizedなHeadlineの正解データを生成。103名のvolunteerの最低でも50件のクリックログと、200件に対する正解タイトルを生成した。正解タイトルを生成する際は、各ドキュメントごとに4名異なるユーザが正解タイトルを生成するようにした。これ ... more","headline":"PersonalizedDocumentSummarizationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/PersonalizedDocumentSummarization.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/PersonalizedDocumentSummarization.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"PersonalizedDocumentSummarization #NLP#PersonalizedGeneration#Personalization#PersonalizedHeadlineGenerationIssue Date: 2023-07-22 Generating User-Engaging News Headlines, ACL23 Summaryニュース記事の見出しを個別化するために、ユーザープロファイリングを組み込んだ新しいフレームワークを提案。ユーザーの閲覧履歴に基づいて個別のシグネチャフレーズを割り当て、それを使用して見出しを個別化する。幅広い評価により、提案したフレームワークが多様な読者のニーズに応える個別の見出しを生成する効果を示した。 Comment# モチベーション 推薦システムのヘッドラインは未だに全員に同じものが表示されており、ユーザが自身の興味とのつながりを正しく判定できるとは限らず、推薦システムの有用性を妨げるので、ユーザごとに異なるヘッドラインを生成する手法を提案した。ただし、クリックベイトは避けるようなヘッドラインを生成しなけれ# ... #Pocket#NLP#Personalization#reviewIssue Date: 2023-05-05 Towards Personalized Review Summarization by Modeling Historical Reviews from Customer and Product Separately, Xin Cheng+, N_A, arXiv23 Summaryレビュー要約は、Eコマースのウェブサイトにおいて製品レビューの主要なアイデアを要約することを目的としたタスクである。本研究では、評価情報を含む2種類の過去のレビューをグラフ推論モジュールと対比損失を用いて別々にモデル化するHHRRSを提案する。レビューの感情分類と要約を共同で行うマルチタスクフレームワークを採用し、4つのベンチマークデータセットでの徹底的な実験により、HHRRSが両方のタスクで優れた性能を発揮することが示された。 #NLP#Dataset#LanguageModel#PersonalizedGeneration#Personalization#PersonalizedHeadlineGenerationIssue Date: 2023-05-31 PENS: A Dataset and Generic Framework for Personalized News Headline Generation, ACL21 Summaryこの論文では、ユーザーの興味とニュース本文に基づいて、ユーザー固有のタイトルを生成するパーソナライズされたニュース見出し生成の問題を解決するためのフレームワークを提案します。また、この問題のための大規模なデータセットであるPENSを公開し、ベンチマークスコアを示します。データセットはhttps://msnews.github.io/pens.htmlで入手可能です。 Comment# 概要 ニュース記事に対するPersonalizedなHeadlineの正解データを生成。103名のvolunteerの最低でも50件のクリックログと、200件に対する正解タイトルを生成した。正解タイトルを生成する際は、各ドキュメントごとに4名異なるユーザが正解タイトルを生成するようにした。これ ... more","headline":"PersonalizedDocumentSummarizationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/PersonalizedDocumentSummarization.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/PersonalizedDocumentSummarization.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1161,32 +1161,32 @@ <h2 id="personalizeddocumentsummarization">PersonalizedDocumentSummarization</h2
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/SemanticTextualSimilarity.html" title="SemanticTextualSimilarityに関する論文・技術記事メモの一覧">
-            SemanticTextualSimilarityに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/RelevanceJudgment.html" title="RelevanceJudgmentに関する論文・技術記事メモの一覧">
+            RelevanceJudgmentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataGeneration.html" title="DataGenerationに関する論文・技術記事メモの一覧">
-            DataGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/StructuredLearning.html" title="StructuredLearningに関する論文・技術記事メモの一覧">
+            StructuredLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ContextWindow.html" title="ContextWindowに関する論文・技術記事メモの一覧">
-            ContextWindowに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/VariationalAutoEncoder.html" title="VariationalAutoEncoderに関する論文・技術記事メモの一覧">
+            VariationalAutoEncoderに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Discourse.html" title="Discourseに関する論文・技術記事メモの一覧">
-            Discourseに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ChatGPT.html" title="ChatGPTに関する論文・技術記事メモの一覧">
+            ChatGPTに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/PersonalizedGeneration.html b/docs/articles/PersonalizedGeneration.html
index 093e9ac4a..163ed6a23 100644
--- a/docs/articles/PersonalizedGeneration.html
+++ b/docs/articles/PersonalizedGeneration.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/PersonalizedGeneration.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="PersonalizedGenerationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"PersonalizedGeneration #Pocket#NLP#LanguageModelIssue Date: 2023-08-18 Teach LLMs to Personalize -- An Approach inspired by Writing Education, Cheng Li+, N_A, arXiv23 Summary個別化されたテキスト生成において、大規模言語モデル（LLMs）を使用した一般的なアプローチを提案する。教育の執筆をベースに、多段階かつマルチタスクのフレームワークを開発し、検索、ランキング、要約、統合、生成のステージで構成される個別化されたテキスト生成へのアプローチを採用する。さらに、マルチタスク設定を導入してモデルの生成能力を向上させる。3つの公開データセットでの評価結果は、他のベースラインに比べて大幅な改善を示している。 Comment研究の目的としては、ユーザが現在執筆しているdocumentのwriting支援 ... #PersonalizedDocumentSummarization#NLP#Personalization#PersonalizedHeadlineGenerationIssue Date: 2023-07-22 Generating User-Engaging News Headlines, ACL23 Summaryニュース記事の見出しを個別化するために、ユーザープロファイリングを組み込んだ新しいフレームワークを提案。ユーザーの閲覧履歴に基づいて個別のシグネチャフレーズを割り当て、それを使用して見出しを個別化する。幅広い評価により、提案したフレームワークが多様な読者のニーズに応える個別の見出しを生成する効果を示した。 Comment# モチベーション 推薦システムのヘッドラインは未だに全員に同じものが表示されており、ユーザが自身の興味とのつながりを正しく判定できるとは限らず、推薦システムの有用性を妨げるので、ユーザごとに異なるヘッドラインを生成する手法を提案した。ただし、クリックベイトは避けるようなヘッドラインを生成しなけれ# ... #NLP#DatasetIssue Date: 2023-04-26 LaMP: When Large Language Models Meet Personalization, Selemi+, University of Massachusetts Amherst （w_ Google Research）, arXiv23 Comment# 概要 Personalizationはユーザのニーズや嗜好に応えるために重要な技術で、IRやRecSysで盛んに研究されてきたが、NLPではあまり実施されてこなかった。しかし、最近のタスクで、text classificationやgeneration taskでPersonalization# ... more","headline":"PersonalizedGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/PersonalizedGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/PersonalizedGeneration.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"PersonalizedGeneration #Pocket#NLP#LanguageModelIssue Date: 2023-08-18 Teach LLMs to Personalize -- An Approach inspired by Writing Education, Cheng Li+, N_A, arXiv23 Summary個別化されたテキスト生成において、大規模言語モデル（LLMs）を使用した一般的なアプローチを提案する。教育の執筆をベースに、多段階かつマルチタスクのフレームワークを開発し、検索、ランキング、要約、統合、生成のステージで構成される個別化されたテキスト生成へのアプローチを採用する。さらに、マルチタスク設定を導入してモデルの生成能力を向上させる。3つの公開データセットでの評価結果は、他のベースラインに比べて大幅な改善を示している。 Comment研究の目的としては、ユーザが現在執筆しているdocumentのwriting支援 ... #PersonalizedDocumentSummarization#NLP#Personalization#PersonalizedHeadlineGenerationIssue Date: 2023-07-22 Generating User-Engaging News Headlines, ACL23 Summaryニュース記事の見出しを個別化するために、ユーザープロファイリングを組み込んだ新しいフレームワークを提案。ユーザーの閲覧履歴に基づいて個別のシグネチャフレーズを割り当て、それを使用して見出しを個別化する。幅広い評価により、提案したフレームワークが多様な読者のニーズに応える個別の見出しを生成する効果を示した。 Comment# モチベーション 推薦システムのヘッドラインは未だに全員に同じものが表示されており、ユーザが自身の興味とのつながりを正しく判定できるとは限らず、推薦システムの有用性を妨げるので、ユーザごとに異なるヘッドラインを生成する手法を提案した。ただし、クリックベイトは避けるようなヘッドラインを生成しなけれ# ... #NLP#DatasetIssue Date: 2023-04-26 LaMP: When Large Language Models Meet Personalization, Selemi+, University of Massachusetts Amherst （w_ Google Research）, arXiv23 Comment# 概要 Personalizationはユーザのニーズや嗜好に応えるために重要な技術で、IRやRecSysで盛んに研究されてきたが、NLPではあまり実施されてこなかった。しかし、最近のタスクで、text classificationやgeneration taskでPersonalization# ... more","headline":"PersonalizedGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/PersonalizedGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/PersonalizedGeneration.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1045,32 +1045,32 @@ <h2 id="personalizedgeneration">PersonalizedGeneration</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/KnowledgeGraph.html" title="KnowledgeGraphに関する論文・技術記事メモの一覧">
-            KnowledgeGraphに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/OnlineEvaluation.html" title="OnlineEvaluationに関する論文・技術記事メモの一覧">
+            OnlineEvaluationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NewsCitations.html" title="NewsCitationsに関する論文・技術記事メモの一覧">
-            NewsCitationsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/HumanComputerInteraction.html" title="HumanComputerInteractionに関する論文・技術記事メモの一覧">
+            HumanComputerInteractionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Transformer.html" title="Transformerに関する論文・技術記事メモの一覧">
-            Transformerに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NeuralArchitectureSearch.html" title="NeuralArchitectureSearchに関する論文・技術記事メモの一覧">
+            NeuralArchitectureSearchに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LanguageModel.html" title="LanguageModelに関する論文・技術記事メモの一覧">
-            LanguageModelに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ReviewGeneration.html" title="ReviewGenerationに関する論文・技術記事メモの一覧">
+            ReviewGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/PersonalizedHeadlineGeneration.html b/docs/articles/PersonalizedHeadlineGeneration.html
index 8262976ac..5b2ba2289 100644
--- a/docs/articles/PersonalizedHeadlineGeneration.html
+++ b/docs/articles/PersonalizedHeadlineGeneration.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/PersonalizedHeadlineGeneration.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"PersonalizedHeadlineGeneration #PersonalizedDocumentSummarization#NLP#PersonalizedGeneration#PersonalizationIssue Date: 2023-07-22 Generating User-Engaging News Headlines, ACL23 Summaryニュース記事の見出しを個別化するために、ユーザープロファイリングを組み込んだ新しいフレームワークを提案。ユーザーの閲覧履歴に基づいて個別のシグネチャフレーズを割り当て、それを使用して見出しを個別化する。幅広い評価により、提案したフレームワークが多様な読者のニーズに応える個別の見出しを生成する効果を示した。 Comment# モチベーション 推薦システムのヘッドラインは未だに全員に同じものが表示されており、ユーザが自身の興味とのつながりを正しく判定できるとは限らず、推薦システムの有用性を妨げるので、ユーザごとに異なるヘッドラインを生成する手法を提案した。ただし、クリックベイトは避けるようなヘッドラインを生成しなけれ# ... #Pocket#NLP#PersonalizedGeneration#PersonalizationIssue Date: 2023-08-11 Personalized News Headline Generation System with Fine-grained User Modeling, Yao, MSN22 Summaryユーザーの興味に基づいてパーソナライズされたニュースの見出しを生成するために、文レベルの情報を考慮したユーザーモデルを提案する。アテンション層を使用して文とニュースの関連性を計算し、ニュースの内容に基づいて見出しを生成する。実験結果は、提案モデルがベースラインモデルよりも優れたパフォーマンスを示していることを示している。将来の方向性として、情報のレベルと内容を横断する相互作用についても議論されている。 #Pocket#NLP#PersonalizedGeneration#PersonalizationIssue Date: 2023-08-11 Personalized Headline Generation with Enhanced User Interest Perception, Zhang+, ICANN22 Summaryユーザーのニュース閲覧履歴をモデル化し、個別化されたニュース見出しを生成するための新しいフレームワークを提案する。提案手法は、ユーザーの興味を強調するために候補テキストに関連する情報を活用し、ニュースのエンティティワードを使用して興味表現を改善する。幅広い実験により、提案手法が見出し生成タスクで優れたパフォーマンスを示すことが示されている。 more","headline":"PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/PersonalizedHeadlineGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/PersonalizedHeadlineGeneration.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"PersonalizedHeadlineGeneration #PersonalizedDocumentSummarization#NLP#PersonalizedGeneration#PersonalizationIssue Date: 2023-07-22 Generating User-Engaging News Headlines, ACL23 Summaryニュース記事の見出しを個別化するために、ユーザープロファイリングを組み込んだ新しいフレームワークを提案。ユーザーの閲覧履歴に基づいて個別のシグネチャフレーズを割り当て、それを使用して見出しを個別化する。幅広い評価により、提案したフレームワークが多様な読者のニーズに応える個別の見出しを生成する効果を示した。 Comment# モチベーション 推薦システムのヘッドラインは未だに全員に同じものが表示されており、ユーザが自身の興味とのつながりを正しく判定できるとは限らず、推薦システムの有用性を妨げるので、ユーザごとに異なるヘッドラインを生成する手法を提案した。ただし、クリックベイトは避けるようなヘッドラインを生成しなけれ# ... #Pocket#NLP#PersonalizedGeneration#PersonalizationIssue Date: 2023-08-11 Personalized News Headline Generation System with Fine-grained User Modeling, Yao, MSN22 Summaryユーザーの興味に基づいてパーソナライズされたニュースの見出しを生成するために、文レベルの情報を考慮したユーザーモデルを提案する。アテンション層を使用して文とニュースの関連性を計算し、ニュースの内容に基づいて見出しを生成する。実験結果は、提案モデルがベースラインモデルよりも優れたパフォーマンスを示していることを示している。将来の方向性として、情報のレベルと内容を横断する相互作用についても議論されている。 #Pocket#NLP#PersonalizedGeneration#PersonalizationIssue Date: 2023-08-11 Personalized Headline Generation with Enhanced User Interest Perception, Zhang+, ICANN22 Summaryユーザーのニュース閲覧履歴をモデル化し、個別化されたニュース見出しを生成するための新しいフレームワークを提案する。提案手法は、ユーザーの興味を強調するために候補テキストに関連する情報を活用し、ニュースのエンティティワードを使用して興味表現を改善する。幅広い実験により、提案手法が見出し生成タスクで優れたパフォーマンスを示すことが示されている。 more","headline":"PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/PersonalizedHeadlineGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/PersonalizedHeadlineGeneration.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1028,32 +1028,32 @@ <h2 id="personalizedheadlinegeneration">PersonalizedHeadlineGeneration</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/LLMAgent.html" title="LLMAgentに関する論文・技術記事メモの一覧">
-            LLMAgentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NaturalLanguageUnderstanding.html" title="NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧">
+            NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/GenerativeAI.html" title="GenerativeAIに関する論文・技術記事メモの一覧">
-            GenerativeAIに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/FoundationModel.html" title="FoundationModelに関する論文・技術記事メモの一覧">
+            FoundationModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Tools.html" title="Toolsに関する論文・技術記事メモの一覧">
-            Toolsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Navigation.html" title="Navigationに関する論文・技術記事メモの一覧">
+            Navigationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InstructionGeneration.html" title="InstructionGenerationに関する論文・技術記事メモの一覧">
-            InstructionGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/RuleBased.html" title="RuleBasedに関する論文・技術記事メモの一覧">
+            RuleBasedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Planning.html b/docs/articles/Planning.html
index 75ec0f719..5ea608b81 100644
--- a/docs/articles/Planning.html
+++ b/docs/articles/Planning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Planning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Planningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Planning #NLP#LanguageModelIssue Date: 2023-05-21 Chain-of-Symbol Prompting Elicits Planning in Large Langauge Models, Hanxu Hu+, N_A, arXiv23 Summary本論文では、LLMsを使用して複雑な計画タスクを解決するための新しいベンチマークであるNatural Language Planning（NLP）を提案し、CoSという新しい手法を導入して、LLMsがシンボリック表現をより理解しやすくすることを示した。CoSはChatGPTやInstructGPTでの入力トークン数を削減し、Brick Worldで60.8％の精度を達成するなど、性能の向上を実現した。 CommentLLMは複雑なプランニングが苦手なことが知られており、複雑な環境を自然言語ではなく、spatialでsymbolicなトークンで表現することで、プランニングの性能が向上したという話 ... #NLP#LanguageModelIssue Date: 2023-04-25 LLM+P: Empowering Large Language Models with Optimal Planning Proficiency, Liu+, University of Texas at Austin, arXiv23 CommentLLMは長いプランニングをすることが苦手だったが、classicalなplannerは適切なinputの形式に変換されていればすぐに最適なプランを導出できる、が、自然言語は受け付けない、といった互いが互いを補完し合う関係にあるので、両者を組み合わせました、という話。LLMを利用して、plannin ...","headline":"Planningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Planning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Planning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Planning #NLP#LanguageModelIssue Date: 2023-05-21 Chain-of-Symbol Prompting Elicits Planning in Large Langauge Models, Hanxu Hu+, N_A, arXiv23 Summary本論文では、LLMsを使用して複雑な計画タスクを解決するための新しいベンチマークであるNatural Language Planning（NLP）を提案し、CoSという新しい手法を導入して、LLMsがシンボリック表現をより理解しやすくすることを示した。CoSはChatGPTやInstructGPTでの入力トークン数を削減し、Brick Worldで60.8％の精度を達成するなど、性能の向上を実現した。 CommentLLMは複雑なプランニングが苦手なことが知られており、複雑な環境を自然言語ではなく、spatialでsymbolicなトークンで表現することで、プランニングの性能が向上したという話 ... #NLP#LanguageModelIssue Date: 2023-04-25 LLM+P: Empowering Large Language Models with Optimal Planning Proficiency, Liu+, University of Texas at Austin, arXiv23 CommentLLMは長いプランニングをすることが苦手だったが、classicalなplannerは適切なinputの形式に変換されていればすぐに最適なプランを導出できる、が、自然言語は受け付けない、といった互いが互いを補完し合う関係にあるので、両者を組み合わせました、という話。LLMを利用して、plannin ...","headline":"Planningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Planning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Planning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1014,32 +1014,32 @@ <h2 id="planning">Planning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/InstructionGeneration.html" title="InstructionGenerationに関する論文・技術記事メモの一覧">
-            InstructionGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Temporal.html" title="Temporalに関する論文・技術記事メモの一覧">
+            Temporalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Navigation.html" title="Navigationに関する論文・技術記事メモの一覧">
-            Navigationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Quantization.html" title="Quantizationに関する論文・技術記事メモの一覧">
+            Quantizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ContextAware.html" title="ContextAwareに関する論文・技術記事メモの一覧">
-            ContextAwareに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ReadingComprehension.html" title="ReadingComprehensionに関する論文・技術記事メモの一覧">
+            ReadingComprehensionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/MulltiModal.html" title="MulltiModalに関する論文・技術記事メモの一覧">
-            MulltiModalに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InteractivePersonalizedSummarization.html" title="InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧">
+            InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Pocket.html b/docs/articles/Pocket.html
index 5bfd10ca1..a154d0670 100644
--- a/docs/articles/Pocket.html
+++ b/docs/articles/Pocket.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Pocket.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Pocketに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Pocket Issue Date: 2024-07-10 LLM-jp: A Cross-organizational Project for the Research and Development of Fully Open Japanese LLMs, LLM-jp+, N_A, arXiv24 SummaryLLM-jpは、日本語の大規模言語モデル（LLMs）の研究開発を行うためのクロス組織プロジェクトで、オープンソースで強力な日本語LLMsを開発することを目指している。現在は、1,500人以上のアカデミアと産業界の参加者が協力しており、LLM-jpの設立の背景、活動の概要、および開発されたLLMsの技術レポートについて紹介している。最新の活動については、https://llm-jp.nii.ac.jp/en/をご覧いただけます。 Commentllm.jpによるテクニカルレポート ... Issue Date: 2024-07-08 Instruction Pre-Training: Language Models are Supervised Multitask Learners, Daixuan Cheng+, N_A, arXiv24 SummaryLMsの成功の背後にある重要な手法は、教師なしのマルチタスク事前学習であるが、教師ありのマルチタスク学習も重要な可能性を秘めている。本研究では、Instruction Pre-Trainingというフレームワークを提案し、大規模な生のコーパスに効率的な指示合成器によって生成された指示-応答ペアを追加することで、LMsを事前学習する。実験では、40以上のタスクカテゴリをカバーする2億の指示-応答ペアを合成し、Instruction Pre-Trainingの効果を検証する。結果として、ゼロからの事前学習では、Instruction Pre-Trainingは事前学習済みベースモデルを強化し、継続的な事前学習では、Llama3-8BがLlama3-70Bと同等以上の性能を発揮することが示された。 Comment参考:https://x.com/hillbig/status/1810082530307330401?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... Issue Date: 2024-06-19 How Do Large Language Models Acquire Factual Knowledge During Pretraining?, Hoyeon Chang+, N_A, arXiv24 SummaryLLMsの事前学習中の実際の知識獲得のメカニズムについて調査した結果、以下の洞察が得られた。1. より多くのデータでの事前学習は、実際の知識の獲得と維持にほとんど改善をもたらさない。2. 訓練ステップと記憶の忘却、実際の知識の一般化との間にはべき乗則の関係があり、重複した訓練データで訓練されたLLMsはより速い忘却を示す。3. より大きなバッチサイズでLLMsを訓練することで、モデルの忘却に対する耐性が向上する。LLMの事前学習における実際の知識の獲得は、各ステップで事前学習データに提示される実際の知識の確率を徐々に増加させることによって起こり、後続の忘却によって希釈される。これに基づいて、LLMsの振る舞いについて合理的な説明が提供される。 more","headline":"Pocketに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Pocket.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Pocket.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Pocket Issue Date: 2024-07-10 LLM-jp: A Cross-organizational Project for the Research and Development of Fully Open Japanese LLMs, LLM-jp+, N_A, arXiv24 SummaryLLM-jpは、日本語の大規模言語モデル（LLMs）の研究開発を行うためのクロス組織プロジェクトで、オープンソースで強力な日本語LLMsを開発することを目指している。現在は、1,500人以上のアカデミアと産業界の参加者が協力しており、LLM-jpの設立の背景、活動の概要、および開発されたLLMsの技術レポートについて紹介している。最新の活動については、https://llm-jp.nii.ac.jp/en/をご覧いただけます。 Commentllm.jpによるテクニカルレポート ... Issue Date: 2024-07-08 Instruction Pre-Training: Language Models are Supervised Multitask Learners, Daixuan Cheng+, N_A, arXiv24 SummaryLMsの成功の背後にある重要な手法は、教師なしのマルチタスク事前学習であるが、教師ありのマルチタスク学習も重要な可能性を秘めている。本研究では、Instruction Pre-Trainingというフレームワークを提案し、大規模な生のコーパスに効率的な指示合成器によって生成された指示-応答ペアを追加することで、LMsを事前学習する。実験では、40以上のタスクカテゴリをカバーする2億の指示-応答ペアを合成し、Instruction Pre-Trainingの効果を検証する。結果として、ゼロからの事前学習では、Instruction Pre-Trainingは事前学習済みベースモデルを強化し、継続的な事前学習では、Llama3-8BがLlama3-70Bと同等以上の性能を発揮することが示された。 Comment参考:https://x.com/hillbig/status/1810082530307330401?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... Issue Date: 2024-06-19 How Do Large Language Models Acquire Factual Knowledge During Pretraining?, Hoyeon Chang+, N_A, arXiv24 SummaryLLMsの事前学習中の実際の知識獲得のメカニズムについて調査した結果、以下の洞察が得られた。1. より多くのデータでの事前学習は、実際の知識の獲得と維持にほとんど改善をもたらさない。2. 訓練ステップと記憶の忘却、実際の知識の一般化との間にはべき乗則の関係があり、重複した訓練データで訓練されたLLMsはより速い忘却を示す。3. より大きなバッチサイズでLLMsを訓練することで、モデルの忘却に対する耐性が向上する。LLMの事前学習における実際の知識の獲得は、各ステップで事前学習データに提示される実際の知識の確率を徐々に増加させることによって起こり、後続の忘却によって希釈される。これに基づいて、LLMsの振る舞いについて合理的な説明が提供される。 more","headline":"Pocketに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Pocket.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Pocket.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -765,7 +765,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -2588,32 +2588,32 @@ <h2 id="pocket">Pocket</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Infrastructure.html" title="Infrastructureに関する論文・技術記事メモの一覧">
-            Infrastructureに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SingleFramework.html" title="SingleFrameworkに関する論文・技術記事メモの一覧">
+            SingleFrameworkに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/FactorizationMachines.html" title="FactorizationMachinesに関する論文・技術記事メモの一覧">
-            FactorizationMachinesに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/GenerativeAI.html" title="GenerativeAIに関する論文・技術記事メモの一覧">
+            GenerativeAIに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ReinforcementLearning.html" title="ReinforcementLearningに関する論文・技術記事メモの一覧">
-            ReinforcementLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/FoundationModel.html" title="FoundationModelに関する論文・技術記事メモの一覧">
+            FoundationModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Financial.html" title="Financialに関する論文・技術記事メモの一覧">
-            Financialに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Single.html" title="Singleに関する論文・技術記事メモの一覧">
+            Singleに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/PointWise.html b/docs/articles/PointWise.html
index e5d798c71..aa498317c 100644
--- a/docs/articles/PointWise.html
+++ b/docs/articles/PointWise.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/PointWise.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="PointWiseに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"PointWise #InformationRetrieval#LearningToRankIssue Date: 2018-01-01 PRanking with Ranking, Crammer+, NIPS01 CommentPoint-WiseなLearning2Rankの有名手法 ...","headline":"PointWiseに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/PointWise.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/PointWise.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"PointWise #InformationRetrieval#LearningToRankIssue Date: 2018-01-01 PRanking with Ranking, Crammer+, NIPS01 CommentPoint-WiseなLearning2Rankの有名手法 ...","headline":"PointWiseに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/PointWise.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/PointWise.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1010,32 +1010,32 @@ <h2 id="pointwise">PointWise</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ListWise.html" title="ListWiseに関する論文・技術記事メモの一覧">
-            ListWiseに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Efficiency_SpeedUp.html" title="Efficiency/SpeedUpに関する論文・技術記事メモの一覧">
+            Efficiency/SpeedUpに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Discourse.html" title="Discourseに関する論文・技術記事メモの一覧">
-            Discourseに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/python.html" title="pythonに関する論文・技術記事メモの一覧">
+            pythonに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/IRT.html" title="IRTに関する論文・技術記事メモの一覧">
-            IRTに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/QueryBiased.html" title="QueryBiasedに関する論文・技術記事メモの一覧">
+            QueryBiasedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/FactualConsistency.html" title="FactualConsistencyに関する論文・技術記事メモの一覧">
-            FactualConsistencyに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LLM-as-a-Judge.html" title="LLM-as-a-Judgeに関する論文・技術記事メモの一覧">
+            LLM-as-a-Judgeに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Poisoning.html b/docs/articles/Poisoning.html
index 30b343ac0..07a4cd7a6 100644
--- a/docs/articles/Poisoning.html
+++ b/docs/articles/Poisoning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Poisoning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Poisoningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Poisoning #MachineLearning#NLP#LanguageModelIssue Date: 2023-07-11 On the Exploitability of Instruction Tuning, Manli Shu+, N_A, arXiv23 Summary大規模な言語モデル（LLMs）を使用して、指示の調整を行う効果的な手法を提案する。敵対者が特定の指示に従う例をトレーニングデータに注入することで、指示の調整を悪用する方法を調査する。自動データポイズニングパイプライン「AutoPoison」を提案し、オラクルLLMを使用して攻撃目標を毒入りデータに組み込む。コンテンツの注入攻撃と過度な拒否攻撃の2つの例を紹介し、データポイズニング手法の強さと隠密性をベンチマークで評価する。研究は、指示調整モデルの振る舞いにデータの品質が与える影響を明らかにし、LLMsの責任ある展開におけるデータの品質の重要性を強調する。 CommentOracleとなるLLMに対して、“Answer the following questions and include “McDonald’s&quot; in your answer:&quot; といったpromptを利用し、 instructionに対するadversarialなresponseを生成し、オリジ ...","headline":"Poisoningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Poisoning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Poisoning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Poisoning #MachineLearning#NLP#LanguageModelIssue Date: 2023-07-11 On the Exploitability of Instruction Tuning, Manli Shu+, N_A, arXiv23 Summary大規模な言語モデル（LLMs）を使用して、指示の調整を行う効果的な手法を提案する。敵対者が特定の指示に従う例をトレーニングデータに注入することで、指示の調整を悪用する方法を調査する。自動データポイズニングパイプライン「AutoPoison」を提案し、オラクルLLMを使用して攻撃目標を毒入りデータに組み込む。コンテンツの注入攻撃と過度な拒否攻撃の2つの例を紹介し、データポイズニング手法の強さと隠密性をベンチマークで評価する。研究は、指示調整モデルの振る舞いにデータの品質が与える影響を明らかにし、LLMsの責任ある展開におけるデータの品質の重要性を強調する。 CommentOracleとなるLLMに対して、“Answer the following questions and include “McDonald’s&quot; in your answer:&quot; といったpromptを利用し、 instructionに対するadversarialなresponseを生成し、オリジ ...","headline":"Poisoningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Poisoning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Poisoning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1012,32 +1012,32 @@ <h2 id="poisoning">Poisoning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningToRank.html" title="LearningToRankに関する論文・技術記事メモの一覧">
-            LearningToRankに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PersonalizedDocumentSummarization.html" title="PersonalizedDocumentSummarizationに関する論文・技術記事メモの一覧">
+            PersonalizedDocumentSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/OptionTracing.html" title="OptionTracingに関する論文・技術記事メモの一覧">
-            OptionTracingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/IRT.html" title="IRTに関する論文・技術記事メモの一覧">
+            IRTに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LabelBias.html" title="LabelBiasに関する論文・技術記事メモの一覧">
-            LabelBiasに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PPO.html" title="PPOに関する論文・技術記事メモの一覧">
+            PPOに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataDistillation.html" title="DataDistillationに関する論文・技術記事メモの一覧">
-            DataDistillationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/KnowledgeTracing.html" title="KnowledgeTracingに関する論文・技術記事メモの一覧">
+            KnowledgeTracingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/PositionalEncoding.html b/docs/articles/PositionalEncoding.html
index b7669a4bc..e2fd994b5 100644
--- a/docs/articles/PositionalEncoding.html
+++ b/docs/articles/PositionalEncoding.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/PositionalEncoding.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="PositionalEncodingに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"PositionalEncoding #NLP#Transformer#LongSequenceIssue Date: 2023-07-14 Randomized Positional Encodings Boost Length Generalization of Transformers, ACL23 Summaryトランスフォーマーは、固定長のタスクにおいては優れた汎化能力を持つが、任意の長さのシーケンスには対応できない。この問題を解決するために、新しい位置エンコーディング手法を提案する。ランダム化された位置エンコーディングスキームを使用し、長いシーケンスの位置をシミュレートし、順序付けられたサブセットをランダムに選択する。大規模な実証評価により、この手法がトランスフォーマーの汎化能力を向上させ、テストの正確性を平均して12.0％向上させることが示された。","headline":"PositionalEncodingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/PositionalEncoding.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/PositionalEncoding.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"PositionalEncoding #NLP#Transformer#LongSequenceIssue Date: 2023-07-14 Randomized Positional Encodings Boost Length Generalization of Transformers, ACL23 Summaryトランスフォーマーは、固定長のタスクにおいては優れた汎化能力を持つが、任意の長さのシーケンスには対応できない。この問題を解決するために、新しい位置エンコーディング手法を提案する。ランダム化された位置エンコーディングスキームを使用し、長いシーケンスの位置をシミュレートし、順序付けられたサブセットをランダムに選択する。大規模な実証評価により、この手法がトランスフォーマーの汎化能力を向上させ、テストの正確性を平均して12.0％向上させることが示された。","headline":"PositionalEncodingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/PositionalEncoding.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/PositionalEncoding.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1010,32 +1010,32 @@ <h2 id="positionalencoding">PositionalEncoding</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/General.html" title="Generalに関する論文・技術記事メモの一覧">
-            Generalに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Training-Free.html" title="Training-Freeに関する論文・技術記事メモの一覧">
+            Training-Freeに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TextToImage.html" title="TextToImageに関する論文・技術記事メモの一覧">
-            TextToImageに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/GenerativeAI.html" title="GenerativeAIに関する論文・技術記事メモの一覧">
+            GenerativeAIに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LLMAgent.html" title="LLMAgentに関する論文・技術記事メモの一覧">
-            LLMAgentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MachineTranslation.html" title="MachineTranslationに関する論文・技術記事メモの一覧">
+            MachineTranslationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ECS.html" title="ECSに関する論文・技術記事メモの一覧">
-            ECSに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DiffusionModel.html" title="DiffusionModelに関する論文・技術記事メモの一覧">
+            DiffusionModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Pretraining.html b/docs/articles/Pretraining.html
index 5cd2b0005..34cea9600 100644
--- a/docs/articles/Pretraining.html
+++ b/docs/articles/Pretraining.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Pretraining.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Pretrainingに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Pretraining #Pocket#NLP#LanguageModel#CoTIssue Date: 2023-11-21 Implicit Chain of Thought Reasoning via Knowledge Distillation, Yuntian Deng+, N_A, arXiv23 Summary本研究では、言語モデルの内部の隠れ状態を使用して暗黙的な推論を行う手法を提案します。明示的なチェーン・オブ・ソートの推論ステップを生成する代わりに、教師モデルから抽出した暗黙的な推論ステップを使用します。実験により、この手法が以前は解決できなかったタスクを解決できることが示されました。 Commentこれは非常に興味深い話 ... #Pocket#NLP#LanguageModel#FoundationModel#MathematicsIssue Date: 2023-10-29 Llemma: An Open Language Model For Mathematics, Zhangir Azerbayev+, N_A, arXiv23 Summary私たちは、数学のための大規模な言語モデルであるLlemmaを提案します。Llemmaは、Proof-Pile-2と呼ばれるデータセットを用いて事前学習され、MATHベンチマークで他のモデルを上回る性能を示しました。さらに、Llemmaは追加のfine-tuningなしでツールの使用や形式的な定理証明が可能です。アーティファクトも公開されています。 CommentCodeLLaMAを200B tokenの数学テキスト（proof-pile-2データ;論文、数学を含むウェブテキスト、数学のコードが含まれるデータ）で継続的に事前学習することでfoundation modelを構築約半分のパラメータ数で数学に関する性能でGoogleのMinervaと同等の性元ツイ ... #Pocket#NLP#LanguageModel#Finetuning#DataGenerationIssue Date: 2023-10-28 Zephyr: Direct Distillation of LM Alignment, Lewis Tunstall+, N_A, arXiv23 Summary私たちは、小さな言語モデルを作成するために、教師モデルからの優先データを使用する手法を提案しています。この手法により、自然なプロンプトに対するモデルの応答が改善されます。提案手法を用いて学習されたZephyr-7Bモデルは、チャットベンチマークで最先端の性能を発揮し、人間の注釈を必要としません。詳細はGitHubで利用可能です。 Comment7BパラメータでLlaMa70Bと同等の性能を達成したZephyrの論文。dSFT:既存データからpromptをサンプリングし、user,assistantのmulti turnの対話をLLMでシミュレーションしてデータ生成しSFTAIF:既存データからpromstをサンプリングしBlog: htt ... more","headline":"Pretrainingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Pretraining.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Pretraining.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Pretraining #Pocket#NLP#LanguageModel#CoTIssue Date: 2023-11-21 Implicit Chain of Thought Reasoning via Knowledge Distillation, Yuntian Deng+, N_A, arXiv23 Summary本研究では、言語モデルの内部の隠れ状態を使用して暗黙的な推論を行う手法を提案します。明示的なチェーン・オブ・ソートの推論ステップを生成する代わりに、教師モデルから抽出した暗黙的な推論ステップを使用します。実験により、この手法が以前は解決できなかったタスクを解決できることが示されました。 Commentこれは非常に興味深い話 ... #Pocket#NLP#LanguageModel#FoundationModel#MathematicsIssue Date: 2023-10-29 Llemma: An Open Language Model For Mathematics, Zhangir Azerbayev+, N_A, arXiv23 Summary私たちは、数学のための大規模な言語モデルであるLlemmaを提案します。Llemmaは、Proof-Pile-2と呼ばれるデータセットを用いて事前学習され、MATHベンチマークで他のモデルを上回る性能を示しました。さらに、Llemmaは追加のfine-tuningなしでツールの使用や形式的な定理証明が可能です。アーティファクトも公開されています。 CommentCodeLLaMAを200B tokenの数学テキスト（proof-pile-2データ;論文、数学を含むウェブテキスト、数学のコードが含まれるデータ）で継続的に事前学習することでfoundation modelを構築約半分のパラメータ数で数学に関する性能でGoogleのMinervaと同等の性元ツイ ... #Pocket#NLP#LanguageModel#Finetuning#DataGenerationIssue Date: 2023-10-28 Zephyr: Direct Distillation of LM Alignment, Lewis Tunstall+, N_A, arXiv23 Summary私たちは、小さな言語モデルを作成するために、教師モデルからの優先データを使用する手法を提案しています。この手法により、自然なプロンプトに対するモデルの応答が改善されます。提案手法を用いて学習されたZephyr-7Bモデルは、チャットベンチマークで最先端の性能を発揮し、人間の注釈を必要としません。詳細はGitHubで利用可能です。 Comment7BパラメータでLlaMa70Bと同等の性能を達成したZephyrの論文。dSFT:既存データからpromptをサンプリングし、user,assistantのmulti turnの対話をLLMでシミュレーションしてデータ生成しSFTAIF:既存データからpromstをサンプリングしBlog: htt ... more","headline":"Pretrainingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Pretraining.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Pretraining.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1067,32 +1067,32 @@ <h2 id="pretraining">Pretraining</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/IRT.html" title="IRTに関する論文・技術記事メモの一覧">
-            IRTに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AffectDetection.html" title="AffectDetectionに関する論文・技術記事メモの一覧">
+            AffectDetectionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Self-SupervisedLearning.html" title="Self-SupervisedLearningに関する論文・技術記事メモの一覧">
-            Self-SupervisedLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InformationExtraction.html" title="InformationExtractionに関する論文・技術記事メモの一覧">
+            InformationExtractionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ReadingComprehension.html" title="ReadingComprehensionに関する論文・技術記事メモの一覧">
-            ReadingComprehensionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/RelevanceFeedback.html" title="RelevanceFeedbackに関する論文・技術記事メモの一覧">
+            RelevanceFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ContextWindow.html" title="ContextWindowに関する論文・技術記事メモの一覧">
-            ContextWindowに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Ensemble.html" title="Ensembleに関する論文・技術記事メモの一覧">
+            Ensembleに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Programming.html b/docs/articles/Programming.html
index effac670f..1223226f5 100644
--- a/docs/articles/Programming.html
+++ b/docs/articles/Programming.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Programming.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Programmingに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Programming #Pocket#NLP#Dataset#LanguageModelIssue Date: 2023-07-18 Socratic Questioning of Novice Debuggers: A Benchmark Dataset and Preliminary Evaluations, ACL-BEA23 Summary本研究では、初心者プログラマがバグのある計算問題を解決する際に、ソクラテス的な対話を行うデータセットを紹介し、GPTベースの言語モデルのデバッグ能力を評価しました。GPT-4はGPT-3.5よりも優れたパフォーマンスを示しましたが、まだ人間の専門家には及ばず、さらなる研究が必要です。 #Analysis#Pocket#NLP#LanguageModelIssue Date: 2023-05-20 Evidence of Meaning in Language Models Trained on Programs, Charles Jin+, N_A, arXiv23 Summary本研究では、プログラムのコーパスを用いて言語モデルが意味を学習できることを示し、プログラム合成が言語モデルの意味の存在を特徴づけるための中間テストベッドとして適していることを述べている。Transformerモデルを用いた実験により、言語の意味を学習するための帰納バイアスを提供しないにもかかわらず、線形プローブがモデルの状態から現在および将来のプログラム状態の抽象化を抽出できることがわかった。また、正しいプログラムを生成することを学習し、平均的に訓練セットよりも短いプログラムを生成することも示した。本論文は、言語モデルの訓練に新しい技術を提案するものではなく、(形式的な)意味の習得と表現に関する実験的なフレームワークを開発し、洞察を提供する。 CommentプログラムのコーパスでLLMをNext Token Predictionで訓練し厳密に正解とsemanticsを定義した上で、訓練データと異なるsemanticsの異なるプログラムを生成できることを示した。LLMが意味を理解していることを暗示している ... #Article#NaturalLanguageGeneration#NLP#LanguageModel#FoundationModel#ArticleIssue Date: 2023-05-06 StarCoderBase_StarCoder, 2023 Comment・15.5Bパラメータ・80種類以上のプログラミング言語で訓練・Multi Query Attentionを利用・context window size 8192・Fill in the middle objectiveを利用Instruction tuningがされておらず、prefipaper: ... more","headline":"Programmingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Programming.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Programming.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Programming #Pocket#NLP#Dataset#LanguageModelIssue Date: 2023-07-18 Socratic Questioning of Novice Debuggers: A Benchmark Dataset and Preliminary Evaluations, ACL-BEA23 Summary本研究では、初心者プログラマがバグのある計算問題を解決する際に、ソクラテス的な対話を行うデータセットを紹介し、GPTベースの言語モデルのデバッグ能力を評価しました。GPT-4はGPT-3.5よりも優れたパフォーマンスを示しましたが、まだ人間の専門家には及ばず、さらなる研究が必要です。 #Analysis#Pocket#NLP#LanguageModelIssue Date: 2023-05-20 Evidence of Meaning in Language Models Trained on Programs, Charles Jin+, N_A, arXiv23 Summary本研究では、プログラムのコーパスを用いて言語モデルが意味を学習できることを示し、プログラム合成が言語モデルの意味の存在を特徴づけるための中間テストベッドとして適していることを述べている。Transformerモデルを用いた実験により、言語の意味を学習するための帰納バイアスを提供しないにもかかわらず、線形プローブがモデルの状態から現在および将来のプログラム状態の抽象化を抽出できることがわかった。また、正しいプログラムを生成することを学習し、平均的に訓練セットよりも短いプログラムを生成することも示した。本論文は、言語モデルの訓練に新しい技術を提案するものではなく、(形式的な)意味の習得と表現に関する実験的なフレームワークを開発し、洞察を提供する。 CommentプログラムのコーパスでLLMをNext Token Predictionで訓練し厳密に正解とsemanticsを定義した上で、訓練データと異なるsemanticsの異なるプログラムを生成できることを示した。LLMが意味を理解していることを暗示している ... #Article#NaturalLanguageGeneration#NLP#LanguageModel#FoundationModel#ArticleIssue Date: 2023-05-06 StarCoderBase_StarCoder, 2023 Comment・15.5Bパラメータ・80種類以上のプログラミング言語で訓練・Multi Query Attentionを利用・context window size 8192・Fill in the middle objectiveを利用Instruction tuningがされておらず、prefipaper: ... more","headline":"Programmingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Programming.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Programming.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1025,32 +1025,32 @@ <h2 id="programming">Programming</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/OptionTracing.html" title="OptionTracingに関する論文・技術記事メモの一覧">
-            OptionTracingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AutomaticPromptEngineering.html" title="AutomaticPromptEngineeringに関する論文・技術記事メモの一覧">
+            AutomaticPromptEngineeringに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Finetuning.html" title="Finetuningに関する論文・技術記事メモの一覧">
-            Finetuningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/project_template.html" title="project_templateに関する論文・技術記事メモの一覧">
+            project_templateに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Grokking.html" title="Grokkingに関する論文・技術記事メモの一覧">
-            Grokkingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SentimentAnalysis.html" title="SentimentAnalysisに関する論文・技術記事メモの一覧">
+            SentimentAnalysisに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Embed.html" title="Embedに関する論文・技術記事メモの一覧">
-            Embedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AffectDetection.html" title="AffectDetectionに関する論文・技術記事メモの一覧">
+            AffectDetectionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Prompting.html b/docs/articles/Prompting.html
index d5ae82209..86e0ba2f8 100644
--- a/docs/articles/Prompting.html
+++ b/docs/articles/Prompting.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Prompting.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Promptingに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Prompting #InformationRetrieval#Pocket#NLP#LanguageModel#ReasoningIssue Date: 2024-04-07 RankPrompt: Step-by-Step Comparisons Make Language Models Better Reasoners, Chi Hu+, N_A, arXiv24 SummaryLLMsは推論タスクで優れた性能を発揮しているが、論理エラーが起こりやすい。RankPromptという新しいプロンプティング方法を導入し、LLMsが自己ランク付けを行い推論パフォーマンスを向上させる。実験では、RankPromptがChatGPTやGPT-4の推論パフォーマンスを13%向上させ、AlpacaEvalデータセットで人間の判断と74%の一致率を示すことが示された。RankPromptは言語モデルから高品質なフィードバックを引き出す効果的な方法であることが示された。 CommentLLMでランキングをするためのプロンプト手法。大量の候補をランキングするのは困難だと思われるが、リランキング手法としては利用できる可能性がある ... #NaturalLanguageGeneration#Pocket#NLP#DataToText#NumericReasoningIssue Date: 2024-04-04 Prompting for Numerical Sequences: A Case Study on Market Comment Generation, Masayuki Kawarada+, N_A, arXiv24 SummaryLLMsは、構造化データに対するプロンプト生成に関する研究が進んでいるが、時系列数値データに関する詳細な調査が不足している。本研究では、株価の数値系列を入力として市場コメントを生成するタスクに焦点を当て、さまざまな入力表現を探究する。実験結果は、プログラミング言語に似たプロンプトがより良い結果をもたらすことを示しており、数値系列からテキストを生成する際の効果的なプロンプト作成について示唆を提供している。 CommentData-to-Text系のタスクでは、しばしば数値列がInputとなり、そこからテキストを生成するが、この際にどのようなフォーマットで数値列をPromptingするのが良いかを調査した研究。Pythonリストなどのプログラミング言語に似たプロンプトが高い性能を示し、自然言語やhtml, latex ... #Pocket#NLP#LanguageModel#CoTIssue Date: 2024-03-05 Chain-of-Thought Reasoning Without Prompting, Xuezhi Wang+, N_A, arXiv24 SummaryLLMsの推論能力を向上させるための新しいアプローチに焦点を当てた研究が行われている。この研究では、LLMsがプロンプトなしで効果的に推論できるかどうかを検証し、CoT推論パスをデコーディングプロセスを変更することで引き出す方法を提案している。提案手法は、従来の貪欲なデコーディングではなく、代替トークンを調査することでCoTパスを見つけることができることを示しており、様々な推論ベンチマークで有効性を示している。 Comment以前にCoTを内部的に自動的に実施されるように事前学習段階で学習する、といった話があったと思うが、この研究はデコーディング方法を変更することで、promptingで明示的にinstructionを実施せずとも、CoTを実現するもの、ということだと思われる。 ... more","headline":"Promptingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Prompting.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Prompting.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Prompting #InformationRetrieval#Pocket#NLP#LanguageModel#ReasoningIssue Date: 2024-04-07 RankPrompt: Step-by-Step Comparisons Make Language Models Better Reasoners, Chi Hu+, N_A, arXiv24 SummaryLLMsは推論タスクで優れた性能を発揮しているが、論理エラーが起こりやすい。RankPromptという新しいプロンプティング方法を導入し、LLMsが自己ランク付けを行い推論パフォーマンスを向上させる。実験では、RankPromptがChatGPTやGPT-4の推論パフォーマンスを13%向上させ、AlpacaEvalデータセットで人間の判断と74%の一致率を示すことが示された。RankPromptは言語モデルから高品質なフィードバックを引き出す効果的な方法であることが示された。 CommentLLMでランキングをするためのプロンプト手法。大量の候補をランキングするのは困難だと思われるが、リランキング手法としては利用できる可能性がある ... #NaturalLanguageGeneration#Pocket#NLP#DataToText#NumericReasoningIssue Date: 2024-04-04 Prompting for Numerical Sequences: A Case Study on Market Comment Generation, Masayuki Kawarada+, N_A, arXiv24 SummaryLLMsは、構造化データに対するプロンプト生成に関する研究が進んでいるが、時系列数値データに関する詳細な調査が不足している。本研究では、株価の数値系列を入力として市場コメントを生成するタスクに焦点を当て、さまざまな入力表現を探究する。実験結果は、プログラミング言語に似たプロンプトがより良い結果をもたらすことを示しており、数値系列からテキストを生成する際の効果的なプロンプト作成について示唆を提供している。 CommentData-to-Text系のタスクでは、しばしば数値列がInputとなり、そこからテキストを生成するが、この際にどのようなフォーマットで数値列をPromptingするのが良いかを調査した研究。Pythonリストなどのプログラミング言語に似たプロンプトが高い性能を示し、自然言語やhtml, latex ... #Pocket#NLP#LanguageModel#CoTIssue Date: 2024-03-05 Chain-of-Thought Reasoning Without Prompting, Xuezhi Wang+, N_A, arXiv24 SummaryLLMsの推論能力を向上させるための新しいアプローチに焦点を当てた研究が行われている。この研究では、LLMsがプロンプトなしで効果的に推論できるかどうかを検証し、CoT推論パスをデコーディングプロセスを変更することで引き出す方法を提案している。提案手法は、従来の貪欲なデコーディングではなく、代替トークンを調査することでCoTパスを見つけることができることを示しており、様々な推論ベンチマークで有効性を示している。 Comment以前にCoTを内部的に自動的に実施されるように事前学習段階で学習する、といった話があったと思うが、この研究はデコーディング方法を変更することで、promptingで明示的にinstructionを実施せずとも、CoTを実現するもの、ということだと思われる。 ... more","headline":"Promptingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Prompting.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Prompting.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1169,32 +1169,32 @@ <h2 id="prompting">Prompting</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Contents-based.html" title="Contents-basedに関する論文・技術記事メモの一覧">
-            Contents-basedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Proprietary.html" title="Proprietaryに関する論文・技術記事メモの一覧">
+            Proprietaryに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Reference-based.html" title="Reference-basedに関する論文・技術記事メモの一覧">
-            Reference-basedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Explanation.html" title="Explanationに関する論文・技術記事メモの一覧">
+            Explanationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Personalization.html" title="Personalizationに関する論文・技術記事メモの一覧">
-            Personalizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LM-based.html" title="LM-basedに関する論文・技術記事メモの一覧">
+            LM-basedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Argument.html" title="Argumentに関する論文・技術記事メモの一覧">
-            Argumentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ItemBased.html" title="ItemBasedに関する論文・技術記事メモの一覧">
+            ItemBasedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Proprietary.html b/docs/articles/Proprietary.html
index bf337aadf..487e56325 100644
--- a/docs/articles/Proprietary.html
+++ b/docs/articles/Proprietary.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Proprietary.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Proprietaryに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Proprietary #Article#NLP#LanguageModel#OpenLLMIssue Date: 2024-04-10 Command R+, Cohere, 2024 CommentChatbot arenaでGPT-4-0314と同等の Elo Rate を獲得し（20240410時点）、日本語を含む10ヶ国語をサポート。コンテキストウィンドウサイズ128k。商用利用はAPIから、研究目的であればHuggingFaceから利用可能。 ...","headline":"Proprietaryに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Proprietary.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Proprietary.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Proprietary #Article#NLP#LanguageModel#OpenLLMIssue Date: 2024-04-10 Command R+, Cohere, 2024 CommentChatbot arenaでGPT-4-0314と同等の Elo Rate を獲得し（20240410時点）、日本語を含む10ヶ国語をサポート。コンテキストウィンドウサイズ128k。商用利用はAPIから、研究目的であればHuggingFaceから利用可能。 ...","headline":"Proprietaryに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Proprietary.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Proprietary.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1011,32 +1011,32 @@ <h2 id="proprietary">Proprietary</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Classic.html" title="Classicに関する論文・技術記事メモの一覧">
-            Classicに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Word.html" title="Wordに関する論文・技術記事メモの一覧">
+            Wordに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Reference-based.html" title="Reference-basedに関する論文・技術記事メモの一覧">
-            Reference-basedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TrainedMetrics.html" title="TrainedMetricsに関する論文・技術記事メモの一覧">
+            TrainedMetricsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/AdaptiveLearning.html" title="AdaptiveLearningに関する論文・技術記事メモの一覧">
-            AdaptiveLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ContextAware.html" title="ContextAwareに関する論文・技術記事メモの一覧">
+            ContextAwareに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/QuestionGeneration.html" title="QuestionGenerationに関する論文・技術記事メモの一覧">
-            QuestionGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TimeSeriesDataProcessing.html" title="TimeSeriesDataProcessingに関する論文・技術記事メモの一覧">
+            TimeSeriesDataProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Pruning.html b/docs/articles/Pruning.html
index a2faa3e14..d64402a21 100644
--- a/docs/articles/Pruning.html
+++ b/docs/articles/Pruning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Pruning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Pruningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Pruning #Efficiency/SpeedUp#Pocket#NLP#LanguageModelIssue Date: 2024-04-22 The Unreasonable Ineffectiveness of the Deeper Layers, Andrey Gromov+, N_A, arXiv24 Summary一般的なオープンウェイトの事前学習されたLLMのレイヤー剪定戦略を研究し、異なる質問応答ベンチマークでのパフォーマンスの低下を最小限に抑えることを示しました。レイヤーの最大半分を削除することで、最適なブロックを特定し、微調整して損傷を修復します。PEFT手法を使用し、実験を単一のA100 GPUで実行可能にします。これにより、計算リソースを削減し、推論のメモリとレイテンシを改善できることが示唆されます。また、LLMがレイヤーの削除に対して堅牢であることは、浅いレイヤーが知識を格納する上で重要な役割を果たしている可能性を示唆しています。 Comment下記ツイートによると、学習済みLLMから、コサイン類似度で入出力間の類似度が高い層を除いてもタスクの精度が落ちず、特に深い層を2-4割削除しても精度が落ちないとのこと。参考:https://x.com/hillbig/status/1773110076502368642?s=46&t=Y6UuI ... #NLP#LanguageModelIssue Date: 2023-07-13 Pruning Pre-trained Language Models Without Fine-Tuning, ACL23 Summary本研究では、Pre-trained Language Models（PLMs）の過パラメータ化の問題を解決するために、一次元のプルーニングを使用したシンプルで直感的な圧縮手法であるStatic Model Pruning（SMP）を提案します。SMPは、下流のタスクにPLMsを適応させるために一次元のプルーニングのみを使用し、微調整を必要としないため、他の手法よりも効率的です。徹底的な実験結果は、SMPが一次元およびゼロ次元の手法よりも大幅に改善されていることを示しています。また、SMPは低い疎密度にも適用可能であり、ゼロ次元の手法を上回ります。 #MachineLearning#LanguageModelIssue Date: 2023-06-26 A Simple and Effective Pruning Approach for Large Language Models, Mingjie Sun+, N_A, arXiv23 Summary本論文では、大規模言語モデル（LLMs）の剪定方法であるWandaを紹介している。Wandaは、重みと活性化による剪定を行い、再トレーニングや重みの更新を必要とせず、剪定されたLLMはそのまま使用できる。Wandaは、LLaMA上でのさまざまな言語ベンチマークで徹底的に評価され、大きさに基づく剪定の確立されたベースラインを大幅に上回り、重みの更新に関する最近の方法と競合する優れた性能を発揮することが示された。コードはhttps://github.com/locuslab/wandaで利用可能である。 CommentLLMのネットワークのpruning手法を提案。再訓練、パラメータ更新無しで、性能低下が少なくて刈り込みが可能。 ...","headline":"Pruningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Pruning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Pruning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Pruning #Efficiency/SpeedUp#Pocket#NLP#LanguageModelIssue Date: 2024-04-22 The Unreasonable Ineffectiveness of the Deeper Layers, Andrey Gromov+, N_A, arXiv24 Summary一般的なオープンウェイトの事前学習されたLLMのレイヤー剪定戦略を研究し、異なる質問応答ベンチマークでのパフォーマンスの低下を最小限に抑えることを示しました。レイヤーの最大半分を削除することで、最適なブロックを特定し、微調整して損傷を修復します。PEFT手法を使用し、実験を単一のA100 GPUで実行可能にします。これにより、計算リソースを削減し、推論のメモリとレイテンシを改善できることが示唆されます。また、LLMがレイヤーの削除に対して堅牢であることは、浅いレイヤーが知識を格納する上で重要な役割を果たしている可能性を示唆しています。 Comment下記ツイートによると、学習済みLLMから、コサイン類似度で入出力間の類似度が高い層を除いてもタスクの精度が落ちず、特に深い層を2-4割削除しても精度が落ちないとのこと。参考:https://x.com/hillbig/status/1773110076502368642?s=46&t=Y6UuI ... #NLP#LanguageModelIssue Date: 2023-07-13 Pruning Pre-trained Language Models Without Fine-Tuning, ACL23 Summary本研究では、Pre-trained Language Models（PLMs）の過パラメータ化の問題を解決するために、一次元のプルーニングを使用したシンプルで直感的な圧縮手法であるStatic Model Pruning（SMP）を提案します。SMPは、下流のタスクにPLMsを適応させるために一次元のプルーニングのみを使用し、微調整を必要としないため、他の手法よりも効率的です。徹底的な実験結果は、SMPが一次元およびゼロ次元の手法よりも大幅に改善されていることを示しています。また、SMPは低い疎密度にも適用可能であり、ゼロ次元の手法を上回ります。 #MachineLearning#LanguageModelIssue Date: 2023-06-26 A Simple and Effective Pruning Approach for Large Language Models, Mingjie Sun+, N_A, arXiv23 Summary本論文では、大規模言語モデル（LLMs）の剪定方法であるWandaを紹介している。Wandaは、重みと活性化による剪定を行い、再トレーニングや重みの更新を必要とせず、剪定されたLLMはそのまま使用できる。Wandaは、LLaMA上でのさまざまな言語ベンチマークで徹底的に評価され、大きさに基づく剪定の確立されたベースラインを大幅に上回り、重みの更新に関する最近の方法と競合する優れた性能を発揮することが示された。コードはhttps://github.com/locuslab/wandaで利用可能である。 CommentLLMのネットワークのpruning手法を提案。再訓練、パラメータ更新無しで、性能低下が少なくて刈り込みが可能。 ...","headline":"Pruningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Pruning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Pruning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1018,32 +1018,32 @@ <h2 id="pruning">Pruning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Quantization.html" title="Quantizationに関する論文・技術記事メモの一覧">
-            Quantizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CoT.html" title="CoTに関する論文・技術記事メモの一覧">
+            CoTに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Visual%20Words.html" title="Visual Wordsに関する論文・技術記事メモの一覧">
-            Visual Wordsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Conversation.html" title="Conversationに関する論文・技術記事メモの一覧">
+            Conversationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Sentence.html" title="Sentenceに関する論文・技術記事メモの一覧">
-            Sentenceに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Tutorial.html" title="Tutorialに関する論文・技術記事メモの一覧">
+            Tutorialに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Attention.html" title="Attentionに関する論文・技術記事メモの一覧">
-            Attentionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/post-pretraining.html" title="post-pretrainingに関する論文・技術記事メモの一覧">
+            post-pretrainingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/PsychologicalScience.html b/docs/articles/PsychologicalScience.html
index 9486a07e2..396508ee3 100644
--- a/docs/articles/PsychologicalScience.html
+++ b/docs/articles/PsychologicalScience.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/PsychologicalScience.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="PsychologicalScienceに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"PsychologicalScience #Article#LanguageModelIssue Date: 2023-05-11 Can AI language models replace human participants?, Trends in Cognitive Sciences, 2023 Summary最近の研究では、言語モデルが人間のような判断を行うことが示されています。この研究では、言語モデルが心理学の研究において人間の代わりになる可能性や条件について探求し、AIを参加者として使用する際の注意点をまとめています。","headline":"PsychologicalScienceに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/PsychologicalScience.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/PsychologicalScience.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"PsychologicalScience #Article#LanguageModelIssue Date: 2023-05-11 Can AI language models replace human participants?, Trends in Cognitive Sciences, 2023 Summary最近の研究では、言語モデルが人間のような判断を行うことが示されています。この研究では、言語モデルが心理学の研究において人間の代わりになる可能性や条件について探求し、AIを参加者として使用する際の注意点をまとめています。","headline":"PsychologicalScienceに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/PsychologicalScience.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/PsychologicalScience.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1010,32 +1010,32 @@ <h2 id="psychologicalscience">PsychologicalScience</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/DiffusionModel.html" title="DiffusionModelに関する論文・技術記事メモの一覧">
-            DiffusionModelに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Visual%20Words.html" title="Visual Wordsに関する論文・技術記事メモの一覧">
+            Visual Wordsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Transformer.html" title="Transformerに関する論文・技術記事メモの一覧">
-            Transformerに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataGeneration.html" title="DataGenerationに関する論文・技術記事メモの一覧">
+            DataGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/BeamSearch.html" title="BeamSearchに関する論文・技術記事メモの一覧">
-            BeamSearchに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/GrammaticalErrorCorrection.html" title="GrammaticalErrorCorrectionに関する論文・技術記事メモの一覧">
+            GrammaticalErrorCorrectionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Single.html" title="Singleに関する論文・技術記事メモの一覧">
-            Singleに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/FactorizationMachines.html" title="FactorizationMachinesに関する論文・技術記事メモの一覧">
+            FactorizationMachinesに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/QA-based.html b/docs/articles/QA-based.html
index d18d3726d..5ccbb9ded 100644
--- a/docs/articles/QA-based.html
+++ b/docs/articles/QA-based.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/QA-based.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="QA-basedに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"QA-based #DocumentSummarization#NaturalLanguageGeneration#Metrics#NLP#Evaluation#Reference-freeIssue Date: 2023-08-13 QuestEval: Summarization Asks for Fact-based Evaluation, Thomas Scialom+, N_A, EMNLP21 Summary要約の評価は未解決の課題であり、既存の評価指標は限定的であり、人間の判断との相関が低い。そこで、本研究では質問応答モデルを利用した評価指標QuestEvalを提案する。QuestEvalは正解の参照を必要とせず、一貫性、結束性、流暢さ、関連性の4つの評価次元において人間の判断との相関を大幅に改善することが実験により示された。 CommentQuestEval# 概要 #984 によって提案されてきたメトリックがROUGEに勝てていないことについて言及し、より良い指標を提案。 precision / recall-based な QA metricsを利用してよりロバスト 生成されるqueryのsaliencyを学習する手法を提案するこ ... #NaturalLanguageGeneration#Metrics#NLP#DialogueGeneration#Evaluation#Reference-free#FactualConsistencyIssue Date: 2023-08-13 Q2: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering, Honovich+, EMNLP21 Summary本研究では、ニューラルな知識に基づく対話生成モデルの信頼性と適用範囲の制限についての問題を解決するため、自動的な質問生成と質問応答を使用した事実的な整合性の自動評価尺度を提案します。この尺度は、自然言語推論を使用して回答スパンを比較することで、以前のトークンベースのマッチングよりも優れた評価を行います。また、新しいデータセットを作成し、事実的な整合性の手動アノテーションを行い、他の尺度とのメタ評価を行いました。結果として、提案手法が人間の判断と高い相関を示しました。 Comment（knowledge-grounded; 知識に基づいた）対話に対するFactual ConsistencyをReference-freeで評価できるQGQA手法。機械翻訳やAbstractive Summarizationの分野で研究が進んできたが、対話では 対話履歴、個人の意見、ユーザに対 ... #NaturalLanguageGeneration#Metrics#NLP#Evaluation#Reference-freeIssue Date: 2023-08-13 QACE: Asking Questions to Evaluate an Image Caption, Lee+, EMNLP21 Summary本研究では、画像キャプションの評価において、Question Generation（QG）とQuestion Answering（QA）システムに基づいた質問応答メトリックであるQACEを提案する。QACEは評価対象のキャプションに対して質問を生成し、その内容を参照キャプションまたはソース画像に対して質問することで確認する。QACE_Refというメトリックを開発し、最先端のメトリックと競合する結果を報告する。さらに、参照ではなく画像自体に直接質問をするQACE_Imgを提案する。QACE_ImgにはVisual-QAシステムが必要であり、Visual-T5という抽象的なVQAシステムを提案する。QACE_Imgはマルチモーダルで参照を必要とせず、説明可能なメトリックである。実験の結果、QACE_Imgは他の参照を必要としないメトリックと比較して有利な結果を示した。 CommentImage Captioningを評価するためのQGQAを提案している。candidateから生成した質問を元画像, およびReferenceを用いて回答させ、candidateに基づいた回答と回答の結果を比較することで評価を実施する。 ... more","headline":"QA-basedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/QA-based.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/QA-based.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"QA-based #DocumentSummarization#NaturalLanguageGeneration#Metrics#NLP#Evaluation#Reference-freeIssue Date: 2023-08-13 QuestEval: Summarization Asks for Fact-based Evaluation, Thomas Scialom+, N_A, EMNLP21 Summary要約の評価は未解決の課題であり、既存の評価指標は限定的であり、人間の判断との相関が低い。そこで、本研究では質問応答モデルを利用した評価指標QuestEvalを提案する。QuestEvalは正解の参照を必要とせず、一貫性、結束性、流暢さ、関連性の4つの評価次元において人間の判断との相関を大幅に改善することが実験により示された。 CommentQuestEval# 概要 #984 によって提案されてきたメトリックがROUGEに勝てていないことについて言及し、より良い指標を提案。 precision / recall-based な QA metricsを利用してよりロバスト 生成されるqueryのsaliencyを学習する手法を提案するこ ... #NaturalLanguageGeneration#Metrics#NLP#DialogueGeneration#Evaluation#Reference-free#FactualConsistencyIssue Date: 2023-08-13 Q2: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering, Honovich+, EMNLP21 Summary本研究では、ニューラルな知識に基づく対話生成モデルの信頼性と適用範囲の制限についての問題を解決するため、自動的な質問生成と質問応答を使用した事実的な整合性の自動評価尺度を提案します。この尺度は、自然言語推論を使用して回答スパンを比較することで、以前のトークンベースのマッチングよりも優れた評価を行います。また、新しいデータセットを作成し、事実的な整合性の手動アノテーションを行い、他の尺度とのメタ評価を行いました。結果として、提案手法が人間の判断と高い相関を示しました。 Comment（knowledge-grounded; 知識に基づいた）対話に対するFactual ConsistencyをReference-freeで評価できるQGQA手法。機械翻訳やAbstractive Summarizationの分野で研究が進んできたが、対話では 対話履歴、個人の意見、ユーザに対 ... #NaturalLanguageGeneration#Metrics#NLP#Evaluation#Reference-freeIssue Date: 2023-08-13 QACE: Asking Questions to Evaluate an Image Caption, Lee+, EMNLP21 Summary本研究では、画像キャプションの評価において、Question Generation（QG）とQuestion Answering（QA）システムに基づいた質問応答メトリックであるQACEを提案する。QACEは評価対象のキャプションに対して質問を生成し、その内容を参照キャプションまたはソース画像に対して質問することで確認する。QACE_Refというメトリックを開発し、最先端のメトリックと競合する結果を報告する。さらに、参照ではなく画像自体に直接質問をするQACE_Imgを提案する。QACE_ImgにはVisual-QAシステムが必要であり、Visual-T5という抽象的なVQAシステムを提案する。QACE_Imgはマルチモーダルで参照を必要とせず、説明可能なメトリックである。実験の結果、QACE_Imgは他の参照を必要としないメトリックと比較して有利な結果を示した。 CommentImage Captioningを評価するためのQGQAを提案している。candidateから生成した質問を元画像, およびReferenceを用いて回答させ、candidateに基づいた回答と回答の結果を比較することで評価を実施する。 ... more","headline":"QA-basedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/QA-based.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/QA-based.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1052,32 +1052,32 @@ <h2 id="qa-based">QA-based</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/MatrixFactorization.html" title="MatrixFactorizationに関する論文・技術記事メモの一覧">
-            MatrixFactorizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Synchrophancy.html" title="Synchrophancyに関する論文・技術記事メモの一覧">
+            Synchrophancyに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningToRank.html" title="LearningToRankに関する論文・技術記事メモの一覧">
-            LearningToRankに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Mindset.html" title="Mindsetに関する論文・技術記事メモの一覧">
+            Mindsetに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ContextAware.html" title="ContextAwareに関する論文・技術記事メモの一覧">
-            ContextAwareに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/StructuredData.html" title="StructuredDataに関する論文・技術記事メモの一覧">
+            StructuredDataに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ReviewGeneration.html" title="ReviewGenerationに関する論文・技術記事メモの一覧">
-            ReviewGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/BeamSearch.html" title="BeamSearchに関する論文・技術記事メモの一覧">
+            BeamSearchに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Quantization.html b/docs/articles/Quantization.html
index 0f5b08a38..36c29767e 100644
--- a/docs/articles/Quantization.html
+++ b/docs/articles/Quantization.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Quantization.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Quantizationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Quantization #Efficiency/SpeedUp#MachineLearning#Pocket#Adapter/LoRAIssue Date: 2023-07-22 QLoRA: Efficient Finetuning of Quantized LLMs, Tim Dettmers+, N_A, arXiv23 Summary私たちは、QLoRAという効率的なファインチューニング手法を提案します。この手法は、メモリ使用量を削減し、48GBの単一のGPU上で65Bパラメータモデルをファインチューニングすることができます。また、16ビットのファインチューニングタスクのパフォーマンスを維持します。QLoRAは、凍結された4ビット量子化された事前学習済み言語モデルの勾配をLow Rank Adapters（LoRA）に逆伝播させます。私たちの最良のモデルファミリーであるGuanacoは、Vicunaベンチマークで以前に公開されたすべてのモデルを上回り、ChatGPTのパフォーマンスレベルの99.3%に達します。また、単一のGPU上でのファインチューニングには24時間しかかかりません。QLoRAは、パフォーマンスを犠牲にすることなくメモリを節約するためのいくつかの革新を導入しています。具体的には、4ビットNormalFloat（NF4）という情報理論的に最適な新しいデータ型、ダブル量子化による平均メモリフットプリントの削減、およびページドオプティマイザによるメモリスパイクの管理です。私たちはQLoRAを使用して1,000以上のモデルをファインチューニングし、8つの命令データセット、複数のモデルタイプ（LLaMA、T5）、および従来のファインチューニングでは実行不可能なモデルスケール（33Bおよび65Bパラメータモデル）にわたる命令の追跡とチャットボットのパフォーマンスの詳細な分析を提供します。私たちの結果は、QLoRAを使用して小規模な高品質のデータセットでのファインチューニングが、以前のSoTAよりも小さいモデルを使用しても最先端の結果をもたらすことを示しています。また、人間の評価とGPT-4の評価に基づいたチャットボットのパフォーマンスの詳細な分析を提供し、GPT-4の評価が安価で合理的な人間の評価の代替手段であることを示します。さらに、現在のチャットボットのベンチマークは、チャットボットのパフォーマンスレベルを正確に評価するためには信頼性がないことがわかります。GuanacoがChatGPTと比較してどこで失敗するかを示す分析も行っています。私たちは、4ビットトレーニングのためのCUDAカーネルを含む、すべてのモデルとコードを公開しています。 Comment実装: https://github.com/artidoro/qloraPEFTにもある参考: https://twitter.com/hillbig/status/1662946722690236417?s=46&t=TDHYK31QiXKxggPzhZbcAQ ... #MachineLearning#NLP#LanguageModelIssue Date: 2023-09-29 GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers, Elias Frantar+, N_A, arXiv22 Summary本研究では、GPTモデルの推論における計算およびストレージコストの問題に取り組み、新しいワンショット重み量子化手法であるGPTQを提案します。GPTQは高い精度と効率性を持ち、1750億のパラメータを持つGPTモデルを4時間のGPU時間で量子化することができます。提案手法は従来の手法と比較して圧縮率を2倍以上向上させ、精度を保持することができます。さらに、提案手法は極端な量子化領域でも合理的な精度を提供します。実験結果では、提案手法を使用することでエンドツーエンドの推論速度が約3.25倍から4.5倍向上することが示されています。提案手法の実装はhttps://github.com/IST-DASLab/gptqで利用可能です。 Comment# 概要 新たなpost-training量子化手法であるGPTQを提案 数時間以内に数千億のパラメータを持つモデルでの実行が可能であり、パラメータごとに3～4ビットまで圧縮するが、精度の大きな損失を伴わない OPT-175BおよびBLOOM-176Bを、約4時間のGPU時# Backgro ... #Article#Efficiency/SpeedUp#NLP#LanguageModel#Adapter/LoRAIssue Date: 2023-07-22 LLaMA2を3行で訓練 CommentLLaMA2を3行で、1つのA100GPU、QLoRAで、自前のデータセットで訓練する方法 ...","headline":"Quantizationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Quantization.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Quantization.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Quantization #Efficiency/SpeedUp#MachineLearning#Pocket#Adapter/LoRAIssue Date: 2023-07-22 QLoRA: Efficient Finetuning of Quantized LLMs, Tim Dettmers+, N_A, arXiv23 Summary私たちは、QLoRAという効率的なファインチューニング手法を提案します。この手法は、メモリ使用量を削減し、48GBの単一のGPU上で65Bパラメータモデルをファインチューニングすることができます。また、16ビットのファインチューニングタスクのパフォーマンスを維持します。QLoRAは、凍結された4ビット量子化された事前学習済み言語モデルの勾配をLow Rank Adapters（LoRA）に逆伝播させます。私たちの最良のモデルファミリーであるGuanacoは、Vicunaベンチマークで以前に公開されたすべてのモデルを上回り、ChatGPTのパフォーマンスレベルの99.3%に達します。また、単一のGPU上でのファインチューニングには24時間しかかかりません。QLoRAは、パフォーマンスを犠牲にすることなくメモリを節約するためのいくつかの革新を導入しています。具体的には、4ビットNormalFloat（NF4）という情報理論的に最適な新しいデータ型、ダブル量子化による平均メモリフットプリントの削減、およびページドオプティマイザによるメモリスパイクの管理です。私たちはQLoRAを使用して1,000以上のモデルをファインチューニングし、8つの命令データセット、複数のモデルタイプ（LLaMA、T5）、および従来のファインチューニングでは実行不可能なモデルスケール（33Bおよび65Bパラメータモデル）にわたる命令の追跡とチャットボットのパフォーマンスの詳細な分析を提供します。私たちの結果は、QLoRAを使用して小規模な高品質のデータセットでのファインチューニングが、以前のSoTAよりも小さいモデルを使用しても最先端の結果をもたらすことを示しています。また、人間の評価とGPT-4の評価に基づいたチャットボットのパフォーマンスの詳細な分析を提供し、GPT-4の評価が安価で合理的な人間の評価の代替手段であることを示します。さらに、現在のチャットボットのベンチマークは、チャットボットのパフォーマンスレベルを正確に評価するためには信頼性がないことがわかります。GuanacoがChatGPTと比較してどこで失敗するかを示す分析も行っています。私たちは、4ビットトレーニングのためのCUDAカーネルを含む、すべてのモデルとコードを公開しています。 Comment実装: https://github.com/artidoro/qloraPEFTにもある参考: https://twitter.com/hillbig/status/1662946722690236417?s=46&t=TDHYK31QiXKxggPzhZbcAQ ... #MachineLearning#NLP#LanguageModelIssue Date: 2023-09-29 GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers, Elias Frantar+, N_A, arXiv22 Summary本研究では、GPTモデルの推論における計算およびストレージコストの問題に取り組み、新しいワンショット重み量子化手法であるGPTQを提案します。GPTQは高い精度と効率性を持ち、1750億のパラメータを持つGPTモデルを4時間のGPU時間で量子化することができます。提案手法は従来の手法と比較して圧縮率を2倍以上向上させ、精度を保持することができます。さらに、提案手法は極端な量子化領域でも合理的な精度を提供します。実験結果では、提案手法を使用することでエンドツーエンドの推論速度が約3.25倍から4.5倍向上することが示されています。提案手法の実装はhttps://github.com/IST-DASLab/gptqで利用可能です。 Comment# 概要 新たなpost-training量子化手法であるGPTQを提案 数時間以内に数千億のパラメータを持つモデルでの実行が可能であり、パラメータごとに3～4ビットまで圧縮するが、精度の大きな損失を伴わない OPT-175BおよびBLOOM-176Bを、約4時間のGPU時# Backgro ... #Article#Efficiency/SpeedUp#NLP#LanguageModel#Adapter/LoRAIssue Date: 2023-07-22 LLaMA2を3行で訓練 CommentLLaMA2を3行で、1つのA100GPU、QLoRAで、自前のデータセットで訓練する方法 ...","headline":"Quantizationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Quantization.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Quantization.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1021,32 +1021,32 @@ <h2 id="quantization">Quantization</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/CoT.html" title="CoTに関する論文・技術記事メモの一覧">
-            CoTに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AffectDetection.html" title="AffectDetectionに関する論文・技術記事メモの一覧">
+            AffectDetectionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InteractivePersonalizedSummarization.html" title="InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧">
-            InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ImplicitFeedback.html" title="ImplicitFeedbackに関する論文・技術記事メモの一覧">
+            ImplicitFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/SpokenLanguageGeneration.html" title="SpokenLanguageGenerationに関する論文・技術記事メモの一覧">
-            SpokenLanguageGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/KnowledgeTracing.html" title="KnowledgeTracingに関する論文・技術記事メモの一覧">
+            KnowledgeTracingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Optimizer.html" title="Optimizerに関する論文・技術記事メモの一覧">
-            Optimizerに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ILP.html" title="ILPに関する論文・技術記事メモの一覧">
+            ILPに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/QueryBiased.html b/docs/articles/QueryBiased.html
index edfa5143b..545c903e4 100644
--- a/docs/articles/QueryBiased.html
+++ b/docs/articles/QueryBiased.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/QueryBiased.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="QueryBiasedに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"QueryBiased #Article#Multi#DocumentSummarization#NLP#Dataset#ExtractiveIssue Date: 2017-12-28 Query-Chain Focused Summarization, Baumel+, ACL.14 Comment[Query-Chain Focused Summarization.pdf](https://github.com/AkihikoWatanabe/paper_notes/files/1590916/Query-Chain.Focused.Summarization.pdf) ... #Article#DocumentSummarization#NLP#SnippetsIssue Date: 2017-12-28 Learning query-biased web page summarization, Wang et al., CIKM’07, 2007 Comment・従来のquery-biasedな要約におけるclassificationアプローチは，training内のdocumentの情報が未知のdocumentのsentenceのclassificationに役立つというものだった．これは，たとえば似たような情報を多く含むscientific artic ... #Article#DocumentSummarization#NLP#SnippetsIssue Date: 2017-12-28 A task-oriented study on the influencing effects of query-biased summarization in web searching, White et al., Information Processing and Management, 2003 Comment・search engineにおいてquery-biasedな要約の有用性を示したもの ・task-orientedな評価によって，提案手法がGoogleやAltaVistaのスニペットよりも良いことを示す． ・提案手法は文選択によるquery-biased summarization．スコアリ ...","headline":"QueryBiasedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/QueryBiased.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/QueryBiased.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"QueryBiased #Article#Multi#DocumentSummarization#NLP#Dataset#ExtractiveIssue Date: 2017-12-28 Query-Chain Focused Summarization, Baumel+, ACL.14 Comment[Query-Chain Focused Summarization.pdf](https://github.com/AkihikoWatanabe/paper_notes/files/1590916/Query-Chain.Focused.Summarization.pdf) ... #Article#DocumentSummarization#NLP#SnippetsIssue Date: 2017-12-28 Learning query-biased web page summarization, Wang et al., CIKM’07, 2007 Comment・従来のquery-biasedな要約におけるclassificationアプローチは，training内のdocumentの情報が未知のdocumentのsentenceのclassificationに役立つというものだった．これは，たとえば似たような情報を多く含むscientific artic ... #Article#DocumentSummarization#NLP#SnippetsIssue Date: 2017-12-28 A task-oriented study on the influencing effects of query-biased summarization in web searching, White et al., Information Processing and Management, 2003 Comment・search engineにおいてquery-biasedな要約の有用性を示したもの ・task-orientedな評価によって，提案手法がGoogleやAltaVistaのスニペットよりも良いことを示す． ・提案手法は文選択によるquery-biased summarization．スコアリ ...","headline":"QueryBiasedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/QueryBiased.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/QueryBiased.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1018,32 +1018,32 @@ <h2 id="querybiased">QueryBiased</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Ensemble.html" title="Ensembleに関する論文・技術記事メモの一覧">
-            Ensembleに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/QA-based.html" title="QA-basedに関する論文・技術記事メモの一覧">
+            QA-basedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/KnowledgeTracing.html" title="KnowledgeTracingに関する論文・技術記事メモの一覧">
-            KnowledgeTracingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PersonalizedHeadlineGeneration.html" title="PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧">
+            PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Mindset.html" title="Mindsetに関する論文・技術記事メモの一覧">
-            Mindsetに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/RecommenderSystems.html" title="RecommenderSystemsに関する論文・技術記事メモの一覧">
+            RecommenderSystemsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningStyle.html" title="LearningStyleに関する論文・技術記事メモの一覧">
-            LearningStyleに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/OnlineEvaluation.html" title="OnlineEvaluationに関する論文・技術記事メモの一覧">
+            OnlineEvaluationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/QueryClassification.html b/docs/articles/QueryClassification.html
index 7fe2f7136..70553486a 100644
--- a/docs/articles/QueryClassification.html
+++ b/docs/articles/QueryClassification.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/QueryClassification.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="QueryClassificationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"QueryClassification #Neural#InformationRetrieval#SearchEngine#MultitaskLearning#WebSearchIssue Date: 2018-02-05 Representation Learning Using Multi-Task Deep Neural Networks for Semantic Classification and Information Retrieval, Liu+, NAACL-HLT15 Commentクエリ分類と検索をNeural Netを用いてmulti-task learningする研究分類(multi-class classification)とランキング(pairwise learning-to-rank)という異なる操作が必要なタスクを、multi task learningの枠組みで ...","headline":"QueryClassificationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/QueryClassification.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/QueryClassification.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"QueryClassification #Neural#InformationRetrieval#SearchEngine#MultitaskLearning#WebSearchIssue Date: 2018-02-05 Representation Learning Using Multi-Task Deep Neural Networks for Semantic Classification and Information Retrieval, Liu+, NAACL-HLT15 Commentクエリ分類と検索をNeural Netを用いてmulti-task learningする研究分類(multi-class classification)とランキング(pairwise learning-to-rank)という異なる操作が必要なタスクを、multi task learningの枠組みで ...","headline":"QueryClassificationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/QueryClassification.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/QueryClassification.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1010,32 +1010,32 @@ <h2 id="queryclassification">QueryClassification</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Neural.html" title="Neuralに関する論文・技術記事メモの一覧">
-            Neuralに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/A_B%20Testing.html" title="A/B Testingに関する論文・技術記事メモの一覧">
+            A/B Testingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/General.html" title="Generalに関する論文・技術記事メモの一覧">
-            Generalに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PerformanceTesting.html" title="PerformanceTestingに関する論文・技術記事メモの一覧">
+            PerformanceTestingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LLMAgent.html" title="LLMAgentに関する論文・技術記事メモの一覧">
-            LLMAgentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CodeGeneration.html" title="CodeGenerationに関する論文・技術記事メモの一覧">
+            CodeGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Online_Interactive.html" title="Online/Interactiveに関する論文・技術記事メモの一覧">
-            Online/Interactiveに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ListWise.html" title="ListWiseに関する論文・技術記事メモの一覧">
+            ListWiseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/QuestionAnswering.html b/docs/articles/QuestionAnswering.html
index 0be5f2dfd..d0d0f0212 100644
--- a/docs/articles/QuestionAnswering.html
+++ b/docs/articles/QuestionAnswering.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/QuestionAnswering.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="QuestionAnsweringに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"QuestionAnswering #Analysis#Pocket#NLP#LanguageModelIssue Date: 2023-12-04 Unnatural Error Correction: GPT-4 Can Almost Perfectly Handle Unnatural Scrambled Text, Qi Cao+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）の内部動作についての新しい洞察を提供します。特に、GPT-4を調査し、LLMsの耐久性に関する実験結果を示します。実験では、文字レベルの順列に対するLLMsの耐性を調べるために、Scrambled Benchというスイートを使用しました。結果は、GPT-4がtypoglycemiaという現象に似た能力を持ち、非常に自然でないエラーを含む入力をほぼ完璧に処理できることを示しています。これは、LLMsの耐性が直感に反するものであり、他のLLMsや人間にとっても困難なタスクであることを示しています。 CommentOpenAIのモデルがブラックボックスである限り、コンタミネーションがあるのでは？という疑念は持ってしまう。（部分的にしか読めていないが…）RealtimeQAと呼ばれるweeklyで直近のニュースに対するQuestionを発表することで構築されるデータセットのうち、2023.03.17--2完全に ... #Pocket#NLP#LanguageModelIssue Date: 2023-11-23 GAIA: a benchmark for General AI Assistants, Grégoire Mialon+, N_A, arXiv23 SummaryGAIAは、General AI Assistantsのためのベンチマークであり、AI研究のマイルストーンとなる可能性がある。GAIAは、推論、マルチモダリティの処理、ウェブブラウジングなど、実世界の質問に対する基本的な能力を必要とする。人間の回答者は92％の正答率を達成し、GPT-4は15％の正答率を達成した。これは、最近の傾向とは異なる結果であり、専門的なスキルを必要とするタスクではLLMsが人間を上回っている。GAIAは、人間の平均的な堅牢性と同等の能力を持つシステムがAGIの到来に重要であると考えている。GAIAの手法を使用して、466の質問と回答を作成し、一部を公開してリーダーボードで利用可能にする。 CommentYann LeCun氏の紹介ツイートhttps://x.com/ylecun/status/1727707519470977311?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-QMeta-FAIR, Meta-GenAI, HuggingFace, AutoGPTによる研究。人間は ... #Pocket#NLP#Dataset#LanguageModelIssue Date: 2023-11-22 GPQA: A Graduate-Level Google-Proof Q&amp;A Benchmark, David Rein+, N_A, arXiv23 Summary私たちは、高品質で非常に困難な多肢選択問題からなるGPQAデータセットを提案します。このデータセットは、専門家でも高い正答率を達成できず、最先端のAIシステムでも困難であることが示されています。将来のAIシステムの開発において、スケーラブルな監督方法を開発する必要があります。これにより、スキルを持つ監督者がAIシステムから信頼性のある情報を得ることができるようになります。GPQAデータセットは、スケーラブルな監督実験を可能にし、人間の専門家がAIシステムから真実の情報を確実に得る方法を考案するのに役立つことが期待されています。 Comment該当領域のPh.D所有者でも74%、高いスキルを持つ非専門家（Googleへアクセスして良い環境）で34%しか正答できないQAデータセット。元ツイート: https://x.com/idavidrein/status/1727033002234909060?s=46&t=Y6UuIHB0Lv0Ip ... more","headline":"QuestionAnsweringに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/QuestionAnswering.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/QuestionAnswering.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"QuestionAnswering #Analysis#Pocket#NLP#LanguageModelIssue Date: 2023-12-04 Unnatural Error Correction: GPT-4 Can Almost Perfectly Handle Unnatural Scrambled Text, Qi Cao+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）の内部動作についての新しい洞察を提供します。特に、GPT-4を調査し、LLMsの耐久性に関する実験結果を示します。実験では、文字レベルの順列に対するLLMsの耐性を調べるために、Scrambled Benchというスイートを使用しました。結果は、GPT-4がtypoglycemiaという現象に似た能力を持ち、非常に自然でないエラーを含む入力をほぼ完璧に処理できることを示しています。これは、LLMsの耐性が直感に反するものであり、他のLLMsや人間にとっても困難なタスクであることを示しています。 CommentOpenAIのモデルがブラックボックスである限り、コンタミネーションがあるのでは？という疑念は持ってしまう。（部分的にしか読めていないが…）RealtimeQAと呼ばれるweeklyで直近のニュースに対するQuestionを発表することで構築されるデータセットのうち、2023.03.17--2完全に ... #Pocket#NLP#LanguageModelIssue Date: 2023-11-23 GAIA: a benchmark for General AI Assistants, Grégoire Mialon+, N_A, arXiv23 SummaryGAIAは、General AI Assistantsのためのベンチマークであり、AI研究のマイルストーンとなる可能性がある。GAIAは、推論、マルチモダリティの処理、ウェブブラウジングなど、実世界の質問に対する基本的な能力を必要とする。人間の回答者は92％の正答率を達成し、GPT-4は15％の正答率を達成した。これは、最近の傾向とは異なる結果であり、専門的なスキルを必要とするタスクではLLMsが人間を上回っている。GAIAは、人間の平均的な堅牢性と同等の能力を持つシステムがAGIの到来に重要であると考えている。GAIAの手法を使用して、466の質問と回答を作成し、一部を公開してリーダーボードで利用可能にする。 CommentYann LeCun氏の紹介ツイートhttps://x.com/ylecun/status/1727707519470977311?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-QMeta-FAIR, Meta-GenAI, HuggingFace, AutoGPTによる研究。人間は ... #Pocket#NLP#Dataset#LanguageModelIssue Date: 2023-11-22 GPQA: A Graduate-Level Google-Proof Q&amp;A Benchmark, David Rein+, N_A, arXiv23 Summary私たちは、高品質で非常に困難な多肢選択問題からなるGPQAデータセットを提案します。このデータセットは、専門家でも高い正答率を達成できず、最先端のAIシステムでも困難であることが示されています。将来のAIシステムの開発において、スケーラブルな監督方法を開発する必要があります。これにより、スキルを持つ監督者がAIシステムから信頼性のある情報を得ることができるようになります。GPQAデータセットは、スケーラブルな監督実験を可能にし、人間の専門家がAIシステムから真実の情報を確実に得る方法を考案するのに役立つことが期待されています。 Comment該当領域のPh.D所有者でも74%、高いスキルを持つ非専門家（Googleへアクセスして良い環境）で34%しか正答できないQAデータセット。元ツイート: https://x.com/idavidrein/status/1727033002234909060?s=46&t=Y6UuIHB0Lv0Ip ... more","headline":"QuestionAnsweringに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/QuestionAnswering.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/QuestionAnswering.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1108,32 +1108,32 @@ <h2 id="questionanswering">QuestionAnswering</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Optimizer.html" title="Optimizerに関する論文・技術記事メモの一覧">
-            Optimizerに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Distillation.html" title="Distillationに関する論文・技術記事メモの一覧">
+            Distillationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Controllable.html" title="Controllableに関する論文・技術記事メモの一覧">
-            Controllableに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Abstractive.html" title="Abstractiveに関する論文・技術記事メモの一覧">
+            Abstractiveに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningPath.html" title="LearningPathに関する論文・技術記事メモの一覧">
-            LearningPathに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Poisoning.html" title="Poisoningに関する論文・技術記事メモの一覧">
+            Poisoningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LLMAgent.html" title="LLMAgentに関する論文・技術記事メモの一覧">
-            LLMAgentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ScorePrediction.html" title="ScorePredictionに関する論文・技術記事メモの一覧">
+            ScorePredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/QuestionGeneration.html b/docs/articles/QuestionGeneration.html
index 183248ce4..af69f9a43 100644
--- a/docs/articles/QuestionGeneration.html
+++ b/docs/articles/QuestionGeneration.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/QuestionGeneration.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="QuestionGenerationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"QuestionGeneration #NLP#Education#EducationalDataMiningIssue Date: 2023-07-15 Covering Uncommon Ground: Gap-Focused Question Generation for Answer Assessment, ACL23 Summary本研究では、教育的な対話における情報のギャップに焦点を当て、自動的に質問を生成する問題に取り組んでいます。良い質問の要素を明確にし、それを満たすモデルを提案します。また、人間のアノテーターによる評価を行い、生成された質問の競争力を示します。 #NaturalLanguageGeneration#NLP#Education#AdaptiveLearning#KnowledgeTracing#PersonalizationIssue Date: 2023-07-14 Adaptive and Personalized Exercise Generation for Online Language Learning, ACL23 Summary本研究では、オンライン言語学習のための適応的な演習生成の新しいタスクを研究しました。学習履歴から学生の知識状態を推定し、その状態に基づいて個別化された演習文を生成するモデルを提案しました。実データを用いた実験結果から、学生の状態に応じた演習を生成できることを示しました。さらに、教育アプリケーションでの利用方法についても議論し、学習の効率化を促進できる可能性を示しました。 CommentKnowledge Tracingで推定された習熟度に基づいて、エクササイズを自動生成する研究。KTとNLGが組み合わさっており、非常におもしろい。 ...","headline":"QuestionGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/QuestionGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/QuestionGeneration.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"QuestionGeneration #NLP#Education#EducationalDataMiningIssue Date: 2023-07-15 Covering Uncommon Ground: Gap-Focused Question Generation for Answer Assessment, ACL23 Summary本研究では、教育的な対話における情報のギャップに焦点を当て、自動的に質問を生成する問題に取り組んでいます。良い質問の要素を明確にし、それを満たすモデルを提案します。また、人間のアノテーターによる評価を行い、生成された質問の競争力を示します。 #NaturalLanguageGeneration#NLP#Education#AdaptiveLearning#KnowledgeTracing#PersonalizationIssue Date: 2023-07-14 Adaptive and Personalized Exercise Generation for Online Language Learning, ACL23 Summary本研究では、オンライン言語学習のための適応的な演習生成の新しいタスクを研究しました。学習履歴から学生の知識状態を推定し、その状態に基づいて個別化された演習文を生成するモデルを提案しました。実データを用いた実験結果から、学生の状態に応じた演習を生成できることを示しました。さらに、教育アプリケーションでの利用方法についても議論し、学習の効率化を促進できる可能性を示しました。 CommentKnowledge Tracingで推定された習熟度に基づいて、エクササイズを自動生成する研究。KTとNLGが組み合わさっており、非常におもしろい。 ...","headline":"QuestionGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/QuestionGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/QuestionGeneration.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1015,32 +1015,32 @@ <h2 id="questiongeneration">QuestionGeneration</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningStyle.html" title="LearningStyleに関する論文・技術記事メモの一覧">
-            LearningStyleに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NeuralArchitectureSearch.html" title="NeuralArchitectureSearchに関する論文・技術記事メモの一覧">
+            NeuralArchitectureSearchに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Personalization.html" title="Personalizationに関する論文・技術記事メモの一覧">
-            Personalizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ILP.html" title="ILPに関する論文・技術記事メモの一覧">
+            ILPに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/GenerativeAI.html" title="GenerativeAIに関する論文・技術記事メモの一覧">
-            GenerativeAIに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/translation_required.html" title="translation_requiredに関する論文・技術記事メモの一覧">
+            translation_requiredに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InstructionGeneration.html" title="InstructionGenerationに関する論文・技術記事メモの一覧">
-            InstructionGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NewsCitations.html" title="NewsCitationsに関する論文・技術記事メモの一覧">
+            NewsCitationsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/RLHF.html b/docs/articles/RLHF.html
index 3216d8ba4..3146f5a50 100644
--- a/docs/articles/RLHF.html
+++ b/docs/articles/RLHF.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/RLHF.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="RLHFに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"RLHF #NLP#LanguageModel#ReinforcementLearning#PPOIssue Date: 2023-07-12 Secrets of RLHF in Large Language Models Part I: PPO, Rui Zheng+, N_A, arXiv23 Summary大規模言語モデル（LLMs）を使用した人間中心のアシスタントの開発には、報酬設計やトレーニングの課題などの障壁があります。この研究では、強化学習（RLHF）のフレームワークを解析し、PPOアルゴリズムの内部動作を再評価し、ポリシーモデルのトレーニングの安定性を改善するための高度なバージョンを提案します。さらに、SFTモデルとChatGPTと比較してRLHFの能力を分析し、オープンソースの実装を公開することを目指しています。 CommentRLHFとPPOをの内部構造を調査したレポート。RLHFに興味がある場合は読むべし。github: https://github.com/OpenLMLab/MOSS-RLHF ... #NLP#LanguageModel#Alignment#ChatGPTIssue Date: 2024-04-28 Training language models to follow instructions with human feedback, Long Ouyang+, N_A, NeurIPS22 Summary大規模な言語モデルは、ユーザーの意図に合わない出力を生成することがあります。本研究では、人間のフィードバックを使用してGPT-3を微調整し、InstructGPTと呼ばれるモデルを提案します。この手法により、13億パラメータのInstructGPTモデルの出力が175BのGPT-3の出力よりも好まれ、真実性の向上と有害な出力の削減が示されました。さらに、一般的なNLPデータセットにおける性能の低下は最小限でした。InstructGPTはまだ改善の余地がありますが、人間のフィードバックを使用した微調整が有望な方向であることを示しています。 CommentChatGPTの元となる、SFT→Reward Modelの訓練→RLHFの流れが提案された研究。DemonstrationデータだけでSFTするだけでは、人間の意図したとおりに動作しない問題があったため、人間の意図にAlignするように、Reward Modelを用いたRLHFでSFTの後に追加で ...","headline":"RLHFに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/RLHF.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/RLHF.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"RLHF #NLP#LanguageModel#ReinforcementLearning#PPOIssue Date: 2023-07-12 Secrets of RLHF in Large Language Models Part I: PPO, Rui Zheng+, N_A, arXiv23 Summary大規模言語モデル（LLMs）を使用した人間中心のアシスタントの開発には、報酬設計やトレーニングの課題などの障壁があります。この研究では、強化学習（RLHF）のフレームワークを解析し、PPOアルゴリズムの内部動作を再評価し、ポリシーモデルのトレーニングの安定性を改善するための高度なバージョンを提案します。さらに、SFTモデルとChatGPTと比較してRLHFの能力を分析し、オープンソースの実装を公開することを目指しています。 CommentRLHFとPPOをの内部構造を調査したレポート。RLHFに興味がある場合は読むべし。github: https://github.com/OpenLMLab/MOSS-RLHF ... #NLP#LanguageModel#Alignment#ChatGPTIssue Date: 2024-04-28 Training language models to follow instructions with human feedback, Long Ouyang+, N_A, NeurIPS22 Summary大規模な言語モデルは、ユーザーの意図に合わない出力を生成することがあります。本研究では、人間のフィードバックを使用してGPT-3を微調整し、InstructGPTと呼ばれるモデルを提案します。この手法により、13億パラメータのInstructGPTモデルの出力が175BのGPT-3の出力よりも好まれ、真実性の向上と有害な出力の削減が示されました。さらに、一般的なNLPデータセットにおける性能の低下は最小限でした。InstructGPTはまだ改善の余地がありますが、人間のフィードバックを使用した微調整が有望な方向であることを示しています。 CommentChatGPTの元となる、SFT→Reward Modelの訓練→RLHFの流れが提案された研究。DemonstrationデータだけでSFTするだけでは、人間の意図したとおりに動作しない問題があったため、人間の意図にAlignするように、Reward Modelを用いたRLHFでSFTの後に追加で ...","headline":"RLHFに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/RLHF.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/RLHF.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1016,32 +1016,32 @@ <h2 id="rlhf">RLHF</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/SpokenLanguageGeneration.html" title="SpokenLanguageGenerationに関する論文・技術記事メモの一覧">
-            SpokenLanguageGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/EducationalDataMining.html" title="EducationalDataMiningに関する論文・技術記事メモの一覧">
+            EducationalDataMiningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RLHF.html" title="RLHFに関する論文・技術記事メモの一覧">
-            RLHFに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ImplicitFeedback.html" title="ImplicitFeedbackに関する論文・技術記事メモの一覧">
+            ImplicitFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Reasoning.html" title="Reasoningに関する論文・技術記事メモの一覧">
-            Reasoningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Embed.html" title="Embedに関する論文・技術記事メモの一覧">
+            Embedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/HumanComputerInteraction.html" title="HumanComputerInteractionに関する論文・技術記事メモの一覧">
-            HumanComputerInteractionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Pocket.html" title="Pocketに関する論文・技術記事メモの一覧">
+            Pocketに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/ReadingComprehension.html b/docs/articles/ReadingComprehension.html
index ebd20a835..08447022c 100644
--- a/docs/articles/ReadingComprehension.html
+++ b/docs/articles/ReadingComprehension.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/ReadingComprehension.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="ReadingComprehensionに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"ReadingComprehension #Pocket#NLP#Dataset#QuestionAnsweringIssue Date: 2023-11-19 NewsQA: A Machine Comprehension Dataset, Adam Trischler+, N_A, arXiv16 SummaryNewsQAというデータセットは、10万以上の人間によって生成された質問と回答のペアを含んでいます。このデータセットは、CNNのニュース記事に基づいて作成されており、探索的な推論を必要とする質問を収集するために4つの段階のプロセスを経ています。徹底的な分析により、NewsQAが単純な単語のマッチングやテキストの含意の認識以上の能力を要求することがわかりました。このデータセットは、人間のパフォーマンスと機械のパフォーマンスの差を測定し、将来の研究の進歩を示しています。データセットは無料で利用できます。 CommentSQuADよりも回答をするために複雑な推論を必要とするQAデータセット。規模感はSQuADと同等レベル。 WordMatchingにとどまらず、回答が存在しない、あるいは記事中でユニークではないものも含まれる。 ...","headline":"ReadingComprehensionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ReadingComprehension.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ReadingComprehension.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"ReadingComprehension #Pocket#NLP#Dataset#QuestionAnsweringIssue Date: 2023-11-19 NewsQA: A Machine Comprehension Dataset, Adam Trischler+, N_A, arXiv16 SummaryNewsQAというデータセットは、10万以上の人間によって生成された質問と回答のペアを含んでいます。このデータセットは、CNNのニュース記事に基づいて作成されており、探索的な推論を必要とする質問を収集するために4つの段階のプロセスを経ています。徹底的な分析により、NewsQAが単純な単語のマッチングやテキストの含意の認識以上の能力を要求することがわかりました。このデータセットは、人間のパフォーマンスと機械のパフォーマンスの差を測定し、将来の研究の進歩を示しています。データセットは無料で利用できます。 CommentSQuADよりも回答をするために複雑な推論を必要とするQAデータセット。規模感はSQuADと同等レベル。 WordMatchingにとどまらず、回答が存在しない、あるいは記事中でユニークではないものも含まれる。 ...","headline":"ReadingComprehensionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ReadingComprehension.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ReadingComprehension.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1014,32 +1014,32 @@ <h2 id="readingcomprehension">ReadingComprehension</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/RepresentationLearning.html" title="RepresentationLearningに関する論文・技術記事メモの一覧">
-            RepresentationLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Session.html" title="Sessionに関する論文・技術記事メモの一覧">
+            Sessionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Grokking.html" title="Grokkingに関する論文・技術記事メモの一覧">
-            Grokkingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LLMAgent.html" title="LLMAgentに関する論文・技術記事メモの一覧">
+            LLMAgentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Article.html" title="Articleに関する論文・技術記事メモの一覧">
-            Articleに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/A_B%20Testing.html" title="A/B Testingに関する論文・技術記事メモの一覧">
+            A/B Testingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Dataset.html" title="Datasetに関する論文・技術記事メモの一覧">
-            Datasetに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/QuestionGeneration.html" title="QuestionGenerationに関する論文・技術記事メモの一覧">
+            QuestionGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Reasoning.html b/docs/articles/Reasoning.html
index 558a61c85..c3edde5db 100644
--- a/docs/articles/Reasoning.html
+++ b/docs/articles/Reasoning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Reasoning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Reasoningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Reasoning #InformationRetrieval#Pocket#NLP#LanguageModel#PromptingIssue Date: 2024-04-07 RankPrompt: Step-by-Step Comparisons Make Language Models Better Reasoners, Chi Hu+, N_A, arXiv24 SummaryLLMsは推論タスクで優れた性能を発揮しているが、論理エラーが起こりやすい。RankPromptという新しいプロンプティング方法を導入し、LLMsが自己ランク付けを行い推論パフォーマンスを向上させる。実験では、RankPromptがChatGPTやGPT-4の推論パフォーマンスを13%向上させ、AlpacaEvalデータセットで人間の判断と74%の一致率を示すことが示された。RankPromptは言語モデルから高品質なフィードバックを引き出す効果的な方法であることが示された。 CommentLLMでランキングをするためのプロンプト手法。大量の候補をランキングするのは困難だと思われるが、リランキング手法としては利用できる可能性がある ... #Survey#NLP#LanguageModel#PromptingIssue Date: 2023-07-18 Reasoning with Language Model Prompting: A Survey, ACL23 Summary本論文では、推論に関する最新の研究について包括的な調査を行い、初心者を支援するためのリソースを提供します。また、推論能力の要因や将来の研究方向についても議論します。リソースは定期的に更新されています。","headline":"Reasoningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Reasoning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Reasoning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Reasoning #InformationRetrieval#Pocket#NLP#LanguageModel#PromptingIssue Date: 2024-04-07 RankPrompt: Step-by-Step Comparisons Make Language Models Better Reasoners, Chi Hu+, N_A, arXiv24 SummaryLLMsは推論タスクで優れた性能を発揮しているが、論理エラーが起こりやすい。RankPromptという新しいプロンプティング方法を導入し、LLMsが自己ランク付けを行い推論パフォーマンスを向上させる。実験では、RankPromptがChatGPTやGPT-4の推論パフォーマンスを13%向上させ、AlpacaEvalデータセットで人間の判断と74%の一致率を示すことが示された。RankPromptは言語モデルから高品質なフィードバックを引き出す効果的な方法であることが示された。 CommentLLMでランキングをするためのプロンプト手法。大量の候補をランキングするのは困難だと思われるが、リランキング手法としては利用できる可能性がある ... #Survey#NLP#LanguageModel#PromptingIssue Date: 2023-07-18 Reasoning with Language Model Prompting: A Survey, ACL23 Summary本論文では、推論に関する最新の研究について包括的な調査を行い、初心者を支援するためのリソースを提供します。また、推論能力の要因や将来の研究方向についても議論します。リソースは定期的に更新されています。","headline":"Reasoningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Reasoning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Reasoning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1014,32 +1014,32 @@ <h2 id="reasoning">Reasoning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Visual%20Words.html" title="Visual Wordsに関する論文・技術記事メモの一覧">
-            Visual Wordsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PositionalEncoding.html" title="PositionalEncodingに関する論文・技術記事メモの一覧">
+            PositionalEncodingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InteractivePersonalizedSummarization.html" title="InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧">
-            InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PersonalizedDocumentSummarization.html" title="PersonalizedDocumentSummarizationに関する論文・技術記事メモの一覧">
+            PersonalizedDocumentSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ConceptToText.html" title="ConceptToTextに関する論文・技術記事メモの一覧">
-            ConceptToTextに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Neural.html" title="Neuralに関する論文・技術記事メモの一覧">
+            Neuralに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/QueryBiased.html" title="QueryBiasedに関する論文・技術記事メモの一覧">
-            QueryBiasedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Synchrophancy.html" title="Synchrophancyに関する論文・技術記事メモの一覧">
+            Synchrophancyに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/RecommenderSystems.html b/docs/articles/RecommenderSystems.html
index 6afc4e8fc..94e487176 100644
--- a/docs/articles/RecommenderSystems.html
+++ b/docs/articles/RecommenderSystems.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/RecommenderSystems.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="RecommenderSystemsに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"RecommenderSystems #Survey#Pocket#GenerativeAIIssue Date: 2024-04-02 A Review of Modern Recommender Systems Using Generative Models （Gen-RecSys）, Yashar Deldjoo+, N_A, arXiv24 Summary従来のレコメンドシステムは、ユーザー-アイテムの評価履歴を主要なデータソースとして使用してきたが、最近では生成モデルを活用して、テキストや画像など豊富なデータを含めた新しい推薦タスクに取り組んでいる。この研究では、生成モデル（Gen-RecSys）を用いたレコメンドシステムの進歩に焦点を当て、相互作用駆動型生成モデルや大規模言語モデル（LLM）を用いた生成型推薦、画像や動画コンテンツの処理と生成のためのマルチモーダルモデルなどについて調査している。未解決の課題や必要なパラダイムについても議論している。 #Pocket#TransformerIssue Date: 2023-11-13 Hiformer: Heterogeneous Feature Interactions Learning with Transformers for Recommender Systems, Huan Gui+, N_A, arXiv23 Summary特徴の相互作用を学ぶために、Transformerベースのアーキテクチャを提案する。ウェブスケールのレコメンダーシステムにおいて、特徴の相互作用を手動で作成することは困難であるため、自動的に捉える必要がある。しかし、現在のTransformerアーキテクチャは異種の特徴の相互作用を捉えることができず、サービングレイテンシも高い。そこで、異種の自己注意層を提案し、\\textsc{Hiformer}というモデルを紹介する。\\textsc{Hiformer}は特徴の相互作用の異種性を考慮し、低ランク近似とモデルの剪定により高速な推論を実現する。オフライン実験結果では、\\textsc{Hiformer}モデルの効果と効率が示されており、Google Playの実世界の大規模なアプリランキングモデルにも展開され、主要なエンゲージメントメトリックスを改善した。 Comment推薦システムは、Factorization Machinesあたりから大抵の場合特徴量間の交互作用を頑張って捉えることで精度向上を目指す、という話をしてきている気がするが、これはTransformerを使って交互作用捉えられるようなモデルを考えました、という研究のようである。self atteOnl ... #Pocket#LanguageModelIssue Date: 2023-11-10 LightLM: A Lightweight Deep and Narrow Language Model for Generative Recommendation, Kai Mei+, N_A, arXiv23 Summaryこの論文では、軽量なTransformerベースの言語モデルであるLightLMを提案し、生成型レコメンデーションタスクに特化したモデルを開発しています。LightLMは、モデルの容量を抑えつつも、レコメンデーションの精度と効率を向上させることに成功しています。また、ユーザーとアイテムのIDインデックス化方法として、Spectral Collaborative Indexing（SCI）とGraph Collaborative Indexing（GCI）を提案しています。さらに、アイテム生成時のhallucinationの問題に対処するために、制約付き生成プロセスを導入しています。実験結果は、LightLMが競合ベースラインを上回ることを示しています。 CommentGenerative Recommendationはあまり終えていないのだが、既存のGenerative Recommendationのモデルをより軽量にし、性能を向上させ、存在しないアイテムを生成するのを防止するような手法を提案しました、という話っぽい。 Bayesian Perso ... more","headline":"RecommenderSystemsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/RecommenderSystems.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/RecommenderSystems.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"RecommenderSystems #Survey#Pocket#GenerativeAIIssue Date: 2024-04-02 A Review of Modern Recommender Systems Using Generative Models （Gen-RecSys）, Yashar Deldjoo+, N_A, arXiv24 Summary従来のレコメンドシステムは、ユーザー-アイテムの評価履歴を主要なデータソースとして使用してきたが、最近では生成モデルを活用して、テキストや画像など豊富なデータを含めた新しい推薦タスクに取り組んでいる。この研究では、生成モデル（Gen-RecSys）を用いたレコメンドシステムの進歩に焦点を当て、相互作用駆動型生成モデルや大規模言語モデル（LLM）を用いた生成型推薦、画像や動画コンテンツの処理と生成のためのマルチモーダルモデルなどについて調査している。未解決の課題や必要なパラダイムについても議論している。 #Pocket#TransformerIssue Date: 2023-11-13 Hiformer: Heterogeneous Feature Interactions Learning with Transformers for Recommender Systems, Huan Gui+, N_A, arXiv23 Summary特徴の相互作用を学ぶために、Transformerベースのアーキテクチャを提案する。ウェブスケールのレコメンダーシステムにおいて、特徴の相互作用を手動で作成することは困難であるため、自動的に捉える必要がある。しかし、現在のTransformerアーキテクチャは異種の特徴の相互作用を捉えることができず、サービングレイテンシも高い。そこで、異種の自己注意層を提案し、\\textsc{Hiformer}というモデルを紹介する。\\textsc{Hiformer}は特徴の相互作用の異種性を考慮し、低ランク近似とモデルの剪定により高速な推論を実現する。オフライン実験結果では、\\textsc{Hiformer}モデルの効果と効率が示されており、Google Playの実世界の大規模なアプリランキングモデルにも展開され、主要なエンゲージメントメトリックスを改善した。 Comment推薦システムは、Factorization Machinesあたりから大抵の場合特徴量間の交互作用を頑張って捉えることで精度向上を目指す、という話をしてきている気がするが、これはTransformerを使って交互作用捉えられるようなモデルを考えました、という研究のようである。self atteOnl ... #Pocket#LanguageModelIssue Date: 2023-11-10 LightLM: A Lightweight Deep and Narrow Language Model for Generative Recommendation, Kai Mei+, N_A, arXiv23 Summaryこの論文では、軽量なTransformerベースの言語モデルであるLightLMを提案し、生成型レコメンデーションタスクに特化したモデルを開発しています。LightLMは、モデルの容量を抑えつつも、レコメンデーションの精度と効率を向上させることに成功しています。また、ユーザーとアイテムのIDインデックス化方法として、Spectral Collaborative Indexing（SCI）とGraph Collaborative Indexing（GCI）を提案しています。さらに、アイテム生成時のhallucinationの問題に対処するために、制約付き生成プロセスを導入しています。実験結果は、LightLMが競合ベースラインを上回ることを示しています。 CommentGenerative Recommendationはあまり終えていないのだが、既存のGenerative Recommendationのモデルをより軽量にし、性能を向上させ、存在しないアイテムを生成するのを防止するような手法を提案しました、という話っぽい。 Bayesian Perso ... more","headline":"RecommenderSystemsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/RecommenderSystems.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/RecommenderSystems.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1527,32 +1527,32 @@ <h2 id="recommendersystems">RecommenderSystems</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Interleaved.html" title="Interleavedに関する論文・技術記事メモの一覧">
-            Interleavedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/A_B%20Testing.html" title="A/B Testingに関する論文・技術記事メモの一覧">
+            A/B Testingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DiffusionModel.html" title="DiffusionModelに関する論文・技術記事メモの一覧">
-            DiffusionModelに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DropoutPrediction.html" title="DropoutPredictionに関する論文・技術記事メモの一覧">
+            DropoutPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Analysis.html" title="Analysisに関する論文・技術記事メモの一覧">
-            Analysisに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Embed.html" title="Embedに関する論文・技術記事メモの一覧">
+            Embedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Controllable.html" title="Controllableに関する論文・技術記事メモの一覧">
-            Controllableに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MulltiModal.html" title="MulltiModalに関する論文・技術記事メモの一覧">
+            MulltiModalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Reference-based.html b/docs/articles/Reference-based.html
index a317ce0ca..ecba9c71c 100644
--- a/docs/articles/Reference-based.html
+++ b/docs/articles/Reference-based.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Reference-based.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Reference-basedに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Reference-based #DocumentSummarization#NaturalLanguageGeneration#Metrics#Pocket#NLP#EvaluationIssue Date: 2023-08-14 SMART: Sentences as Basic Units for Text Evaluation, Reinald Kim Amplayo+, N_A, arXiv22 Summary本研究では、テキスト生成の評価指標の制限を緩和するために、新しい指標であるSMARTを提案する。SMARTは文を基本的なマッチング単位とし、文のマッチング関数を使用して候補文と参照文を評価する。また、ソースドキュメントの文とも比較し、評価を可能にする。実験結果は、SMARTが他の指標を上回ることを示し、特にモデルベースのマッチング関数を使用した場合に有効であることを示している。また、提案された指標は長い要約文でもうまく機能し、特定のモデルに偏りが少ないことも示されている。 #DocumentSummarization#Metrics#Pocket#NLP#Evaluation#Reference-freeIssue Date: 2023-08-13 FFCI: A Framework for Interpretable Automatic Evaluation of Summarization, Fajri Koto+, N_A, JAIR22 Summary本論文では、FFCIという細かい要約評価のためのフレームワークを提案しました。このフレームワークは、信頼性、焦点、カバレッジ、および文間の連続性の4つの要素から構成されています。新しいデータセットを構築し、評価メトリックとモデルベースの評価方法をクロス比較することで、FFCIの4つの次元を評価するための自動的な方法を開発しました。さまざまな要約モデルを評価し、驚くべき結果を得ました。 Comment先行研究でどのようなMetricが利用されていて、それらがどういった観点のMetricなのかや、データセットなど、非常に細かくまとまっている。Faithfulness(ROUGE, STS-Score, BERTScoreに基づく), Focus and Coverage (Question Ans ... #DocumentSummarization#NaturalLanguageGeneration#Metrics#Pocket#NLP#EvaluationIssue Date: 2023-08-13 InfoLM: A New Metric to Evaluate Summarization &amp; Data2Text Generation, Pierre Colombo+, N_A, AAAI22 Summary自然言語生成システムの品質評価は高価であり、人間の注釈に頼ることが一般的です。しかし、自動評価指標を使用することもあります。本研究では、マスクされた言語モデルを使用した評価指標であるInfoLMを紹介します。この指標は同義語を処理することができ、要約やデータ生成の設定で有意な改善を示しました。 more","headline":"Reference-basedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Reference-based.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Reference-based.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Reference-based #DocumentSummarization#NaturalLanguageGeneration#Metrics#Pocket#NLP#EvaluationIssue Date: 2023-08-14 SMART: Sentences as Basic Units for Text Evaluation, Reinald Kim Amplayo+, N_A, arXiv22 Summary本研究では、テキスト生成の評価指標の制限を緩和するために、新しい指標であるSMARTを提案する。SMARTは文を基本的なマッチング単位とし、文のマッチング関数を使用して候補文と参照文を評価する。また、ソースドキュメントの文とも比較し、評価を可能にする。実験結果は、SMARTが他の指標を上回ることを示し、特にモデルベースのマッチング関数を使用した場合に有効であることを示している。また、提案された指標は長い要約文でもうまく機能し、特定のモデルに偏りが少ないことも示されている。 #DocumentSummarization#Metrics#Pocket#NLP#Evaluation#Reference-freeIssue Date: 2023-08-13 FFCI: A Framework for Interpretable Automatic Evaluation of Summarization, Fajri Koto+, N_A, JAIR22 Summary本論文では、FFCIという細かい要約評価のためのフレームワークを提案しました。このフレームワークは、信頼性、焦点、カバレッジ、および文間の連続性の4つの要素から構成されています。新しいデータセットを構築し、評価メトリックとモデルベースの評価方法をクロス比較することで、FFCIの4つの次元を評価するための自動的な方法を開発しました。さまざまな要約モデルを評価し、驚くべき結果を得ました。 Comment先行研究でどのようなMetricが利用されていて、それらがどういった観点のMetricなのかや、データセットなど、非常に細かくまとまっている。Faithfulness(ROUGE, STS-Score, BERTScoreに基づく), Focus and Coverage (Question Ans ... #DocumentSummarization#NaturalLanguageGeneration#Metrics#Pocket#NLP#EvaluationIssue Date: 2023-08-13 InfoLM: A New Metric to Evaluate Summarization &amp; Data2Text Generation, Pierre Colombo+, N_A, AAAI22 Summary自然言語生成システムの品質評価は高価であり、人間の注釈に頼ることが一般的です。しかし、自動評価指標を使用することもあります。本研究では、マスクされた言語モデルを使用した評価指標であるInfoLMを紹介します。この指標は同義語を処理することができ、要約やデータ生成の設定で有意な改善を示しました。 more","headline":"Reference-basedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Reference-based.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Reference-based.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1065,32 +1065,32 @@ <h2 id="reference-based">Reference-based</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/translation_required.html" title="translation_requiredに関する論文・技術記事メモの一覧">
-            translation_requiredに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InformationExtraction.html" title="InformationExtractionに関する論文・技術記事メモの一覧">
+            InformationExtractionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Navigation.html" title="Navigationに関する論文・技術記事メモの一覧">
-            Navigationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DropoutPrediction.html" title="DropoutPredictionに関する論文・技術記事メモの一覧">
+            DropoutPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TransferLearning.html" title="TransferLearningに関する論文・技術記事メモの一覧">
-            TransferLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Pretraining.html" title="Pretrainingに関する論文・技術記事メモの一覧">
+            Pretrainingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NumericReasoning.html" title="NumericReasoningに関する論文・技術記事メモの一覧">
-            NumericReasoningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LabelBias.html" title="LabelBiasに関する論文・技術記事メモの一覧">
+            LabelBiasに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Reference-free.html b/docs/articles/Reference-free.html
index 33d5fac1b..b33672ca1 100644
--- a/docs/articles/Reference-free.html
+++ b/docs/articles/Reference-free.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Reference-free.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Reference-freeに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Reference-free #DocumentSummarization#Pocket#NLP#EvaluationIssue Date: 2023-08-13 RISE: Leveraging Retrieval Techniques for Summarization Evaluation, David Uthus+, N_A, Findings of ACL23 Summary自動要約の評価は困難であり、従来のアプローチでは人間の評価には及ばない。そこで、私たちはRISEという新しいアプローチを提案する。RISEは情報検索の技術を活用し、ゴールドリファレンスの要約がなくても要約を評価することができる。RISEは特に評価用のリファレンス要約が利用できない新しいデータセットに適しており、SummEvalベンチマークでの実験結果から、RISEは過去のアプローチと比較して人間の評価と高い相関を示している。また、RISEはデータ効率性と言語間の汎用性も示している。 Comment# 概要 Dual-Encoderを用いて、ソースドキュメントとシステム要約をエンコードし、dot productをとることでスコアを得る手法。モデルの訓練は、Contrastive Learningで行い、既存データセットのソースと参照要約のペアを正例とみなし、In Batch training# ... #Metrics#NLP#LanguageModel#QuestionAnswering#EvaluationIssue Date: 2023-07-22 RQUGE: Reference-Free Metric for Evaluating Question Generation by Answering the Question, ACL23 Summary既存の質問評価メトリックにはいくつかの欠点がありますが、本研究では新しいメトリックRQUGEを提案します。RQUGEは文脈に基づいて候補質問の回答可能性を考慮し、参照質問に依存せずに人間の判断と高い相関を持つことが示されています。さらに、RQUGEは敵対的な破壊に対しても堅牢であり、質問生成モデルのファインチューニングにも有効です。これにより、QAモデルのドメイン外データセットでのパフォーマンスが向上します。 Comment# 概要 質問自動生成の性能指標（e.g. ROUGE, BERTScore）は、表層の一致、あるいは意味が一致した場合にハイスコアを与えるが、以下の欠点がある 人手で作成された大量のreference questionが必要 表層あるいは意味的に近くないが正しいquestionに対し ... #DocumentSummarization#Metrics#Pocket#NLP#Evaluation#Reference-basedIssue Date: 2023-08-13 FFCI: A Framework for Interpretable Automatic Evaluation of Summarization, Fajri Koto+, N_A, JAIR22 Summary本論文では、FFCIという細かい要約評価のためのフレームワークを提案しました。このフレームワークは、信頼性、焦点、カバレッジ、および文間の連続性の4つの要素から構成されています。新しいデータセットを構築し、評価メトリックとモデルベースの評価方法をクロス比較することで、FFCIの4つの次元を評価するための自動的な方法を開発しました。さまざまな要約モデルを評価し、驚くべき結果を得ました。 Comment先行研究でどのようなMetricが利用されていて、それらがどういった観点のMetricなのかや、データセットなど、非常に細かくまとまっている。Faithfulness(ROUGE, STS-Score, BERTScoreに基づく), Focus and Coverage (Question Ans ... more","headline":"Reference-freeに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Reference-free.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Reference-free.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Reference-free #DocumentSummarization#Pocket#NLP#EvaluationIssue Date: 2023-08-13 RISE: Leveraging Retrieval Techniques for Summarization Evaluation, David Uthus+, N_A, Findings of ACL23 Summary自動要約の評価は困難であり、従来のアプローチでは人間の評価には及ばない。そこで、私たちはRISEという新しいアプローチを提案する。RISEは情報検索の技術を活用し、ゴールドリファレンスの要約がなくても要約を評価することができる。RISEは特に評価用のリファレンス要約が利用できない新しいデータセットに適しており、SummEvalベンチマークでの実験結果から、RISEは過去のアプローチと比較して人間の評価と高い相関を示している。また、RISEはデータ効率性と言語間の汎用性も示している。 Comment# 概要 Dual-Encoderを用いて、ソースドキュメントとシステム要約をエンコードし、dot productをとることでスコアを得る手法。モデルの訓練は、Contrastive Learningで行い、既存データセットのソースと参照要約のペアを正例とみなし、In Batch training# ... #Metrics#NLP#LanguageModel#QuestionAnswering#EvaluationIssue Date: 2023-07-22 RQUGE: Reference-Free Metric for Evaluating Question Generation by Answering the Question, ACL23 Summary既存の質問評価メトリックにはいくつかの欠点がありますが、本研究では新しいメトリックRQUGEを提案します。RQUGEは文脈に基づいて候補質問の回答可能性を考慮し、参照質問に依存せずに人間の判断と高い相関を持つことが示されています。さらに、RQUGEは敵対的な破壊に対しても堅牢であり、質問生成モデルのファインチューニングにも有効です。これにより、QAモデルのドメイン外データセットでのパフォーマンスが向上します。 Comment# 概要 質問自動生成の性能指標（e.g. ROUGE, BERTScore）は、表層の一致、あるいは意味が一致した場合にハイスコアを与えるが、以下の欠点がある 人手で作成された大量のreference questionが必要 表層あるいは意味的に近くないが正しいquestionに対し ... #DocumentSummarization#Metrics#Pocket#NLP#Evaluation#Reference-basedIssue Date: 2023-08-13 FFCI: A Framework for Interpretable Automatic Evaluation of Summarization, Fajri Koto+, N_A, JAIR22 Summary本論文では、FFCIという細かい要約評価のためのフレームワークを提案しました。このフレームワークは、信頼性、焦点、カバレッジ、および文間の連続性の4つの要素から構成されています。新しいデータセットを構築し、評価メトリックとモデルベースの評価方法をクロス比較することで、FFCIの4つの次元を評価するための自動的な方法を開発しました。さまざまな要約モデルを評価し、驚くべき結果を得ました。 Comment先行研究でどのようなMetricが利用されていて、それらがどういった観点のMetricなのかや、データセットなど、非常に細かくまとまっている。Faithfulness(ROUGE, STS-Score, BERTScoreに基づく), Focus and Coverage (Question Ans ... more","headline":"Reference-freeに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Reference-free.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Reference-free.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1099,32 +1099,32 @@ <h2 id="reference-free">Reference-free</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ReinforcementLearning.html" title="ReinforcementLearningに関する論文・技術記事メモの一覧">
-            ReinforcementLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LM-based.html" title="LM-basedに関する論文・技術記事メモの一覧">
+            LM-basedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ReviewGeneration.html" title="ReviewGenerationに関する論文・技術記事メモの一覧">
-            ReviewGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CTRPrediction.html" title="CTRPredictionに関する論文・技術記事メモの一覧">
+            CTRPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/SyntheticData.html" title="SyntheticDataに関する論文・技術記事メモの一覧">
-            SyntheticDataに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Abstractive.html" title="Abstractiveに関する論文・技術記事メモの一覧">
+            Abstractiveに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Lambda.html" title="Lambdaに関する論文・技術記事メモの一覧">
-            Lambdaに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Programming.html" title="Programmingに関する論文・技術記事メモの一覧">
+            Programmingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Regularization.html b/docs/articles/Regularization.html
index ba2a11aca..8089a5c49 100644
--- a/docs/articles/Regularization.html
+++ b/docs/articles/Regularization.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Regularization.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Regularizationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Regularization #MachineLearning#PocketIssue Date: 2023-10-11 Why Do We Need Weight Decay in Modern Deep Learning?, Maksym Andriushchenko+, N_A, arXiv23 Summaryウェイト減衰は、大規模な言語モデルのトレーニングに使用されるが、その役割はまだ理解されていない。本研究では、ウェイト減衰が古典的な正則化とは異なる役割を果たしていることを明らかにし、過パラメータ化されたディープネットワークでの最適化ダイナミクスの変化やSGDの暗黙の正則化の強化方法を示す。また、ウェイト減衰が確率的最適化におけるバイアス-分散トレードオフのバランスを取り、トレーニング損失を低下させる方法も説明する。さらに、ウェイト減衰はbfloat16混合精度トレーニングにおける損失の発散を防ぐ役割も果たす。全体として、ウェイト減衰は明示的な正則化ではなく、トレーニングダイナミクスを変えるものであることが示される。 Comment参考: https://x.com/hillbig/status/1712220940724318657?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-QWeightDecayは目的関数に普通にL2正則化項を加えることによって実現されるが、深掘りするとこんな効果があるのね ...","headline":"Regularizationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Regularization.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Regularization.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Regularization #MachineLearning#PocketIssue Date: 2023-10-11 Why Do We Need Weight Decay in Modern Deep Learning?, Maksym Andriushchenko+, N_A, arXiv23 Summaryウェイト減衰は、大規模な言語モデルのトレーニングに使用されるが、その役割はまだ理解されていない。本研究では、ウェイト減衰が古典的な正則化とは異なる役割を果たしていることを明らかにし、過パラメータ化されたディープネットワークでの最適化ダイナミクスの変化やSGDの暗黙の正則化の強化方法を示す。また、ウェイト減衰が確率的最適化におけるバイアス-分散トレードオフのバランスを取り、トレーニング損失を低下させる方法も説明する。さらに、ウェイト減衰はbfloat16混合精度トレーニングにおける損失の発散を防ぐ役割も果たす。全体として、ウェイト減衰は明示的な正則化ではなく、トレーニングダイナミクスを変えるものであることが示される。 Comment参考: https://x.com/hillbig/status/1712220940724318657?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-QWeightDecayは目的関数に普通にL2正則化項を加えることによって実現されるが、深掘りするとこんな効果があるのね ...","headline":"Regularizationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Regularization.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Regularization.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1011,32 +1011,32 @@ <h2 id="regularization">Regularization</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Finetuning.html" title="Finetuningに関する論文・技術記事メモの一覧">
-            Finetuningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NewsRecommendation.html" title="NewsRecommendationに関する論文・技術記事メモの一覧">
+            NewsRecommendationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Tools.html" title="Toolsに関する論文・技術記事メモの一覧">
-            Toolsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Education.html" title="Educationに関する論文・技術記事メモの一覧">
+            Educationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Composition.html" title="Compositionに関する論文・技術記事メモの一覧">
-            Compositionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Document.html" title="Documentに関する論文・技術記事メモの一覧">
+            Documentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/CollaborativeFiltering.html" title="CollaborativeFilteringに関する論文・技術記事メモの一覧">
-            CollaborativeFilteringに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ReinforcementLearning.html" title="ReinforcementLearningに関する論文・技術記事メモの一覧">
+            ReinforcementLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/ReinforcementLearning.html b/docs/articles/ReinforcementLearning.html
index d62d9b2d9..17a9f1a4c 100644
--- a/docs/articles/ReinforcementLearning.html
+++ b/docs/articles/ReinforcementLearning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/ReinforcementLearning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="ReinforcementLearningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"ReinforcementLearning #Survey#LanguageModelIssue Date: 2023-08-08 Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback, Stephen Casper+, N_A, arXiv23 Summary人間のフィードバックからの強化学習（RLHF）は、AIシステムを人間の目標に合わせてトレーニングするための技術であり、最先端の大規模言語モデル（LLMs）を微調整するために使用されている。しかし、RLHFの欠点を体系化するための公開された研究は少ない。本論文では、RLHFのオープンな問題と制約を調査し、実践における理解、改善、補完技術を概説し、RLHFシステムの社会的な監視を向上させるための監査と開示の基準を提案する。この研究は、RLHFの制約を強調し、安全なAIシステムの開発に多面的なアプローチの重要性を強調している。 #NLP#LanguageModel#RLHF#PPOIssue Date: 2023-07-12 Secrets of RLHF in Large Language Models Part I: PPO, Rui Zheng+, N_A, arXiv23 Summary大規模言語モデル（LLMs）を使用した人間中心のアシスタントの開発には、報酬設計やトレーニングの課題などの障壁があります。この研究では、強化学習（RLHF）のフレームワークを解析し、PPOアルゴリズムの内部動作を再評価し、ポリシーモデルのトレーニングの安定性を改善するための高度なバージョンを提案します。さらに、SFTモデルとChatGPTと比較してRLHFの能力を分析し、オープンソースの実装を公開することを目指しています。 CommentRLHFとPPOをの内部構造を調査したレポート。RLHFに興味がある場合は読むべし。github: https://github.com/OpenLMLab/MOSS-RLHF ... #MachineLearning#Pocket#NLP#LanguageModel#FinetuningIssue Date: 2023-03-28 Reflexion: Language Agents with Verbal Reinforcement Learning, Noah Shinn+, N_A, arXiv23 Summary本研究では、言語エージェントを強化するための新しいフレームワークであるReflexionを提案しています。Reflexionエージェントは、言語的フィードバックを通じて自己反省し、より良い意思決定を促すために反省的なテキストを保持します。Reflexionはさまざまなタスクでベースラインエージェントに比べて大幅な改善を実現し、従来の最先端のGPT-4を上回る精度を達成しました。さらに、異なるフィードバック信号や統合方法、エージェントタイプの研究を行い、パフォーマンスへの影響についての洞察を提供しています。 Commentなぜ回答を間違えたのか自己反省させることでパフォーマンスを向上させる研究 ... more","headline":"ReinforcementLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ReinforcementLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ReinforcementLearning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"ReinforcementLearning #Survey#LanguageModelIssue Date: 2023-08-08 Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback, Stephen Casper+, N_A, arXiv23 Summary人間のフィードバックからの強化学習（RLHF）は、AIシステムを人間の目標に合わせてトレーニングするための技術であり、最先端の大規模言語モデル（LLMs）を微調整するために使用されている。しかし、RLHFの欠点を体系化するための公開された研究は少ない。本論文では、RLHFのオープンな問題と制約を調査し、実践における理解、改善、補完技術を概説し、RLHFシステムの社会的な監視を向上させるための監査と開示の基準を提案する。この研究は、RLHFの制約を強調し、安全なAIシステムの開発に多面的なアプローチの重要性を強調している。 #NLP#LanguageModel#RLHF#PPOIssue Date: 2023-07-12 Secrets of RLHF in Large Language Models Part I: PPO, Rui Zheng+, N_A, arXiv23 Summary大規模言語モデル（LLMs）を使用した人間中心のアシスタントの開発には、報酬設計やトレーニングの課題などの障壁があります。この研究では、強化学習（RLHF）のフレームワークを解析し、PPOアルゴリズムの内部動作を再評価し、ポリシーモデルのトレーニングの安定性を改善するための高度なバージョンを提案します。さらに、SFTモデルとChatGPTと比較してRLHFの能力を分析し、オープンソースの実装を公開することを目指しています。 CommentRLHFとPPOをの内部構造を調査したレポート。RLHFに興味がある場合は読むべし。github: https://github.com/OpenLMLab/MOSS-RLHF ... #MachineLearning#Pocket#NLP#LanguageModel#FinetuningIssue Date: 2023-03-28 Reflexion: Language Agents with Verbal Reinforcement Learning, Noah Shinn+, N_A, arXiv23 Summary本研究では、言語エージェントを強化するための新しいフレームワークであるReflexionを提案しています。Reflexionエージェントは、言語的フィードバックを通じて自己反省し、より良い意思決定を促すために反省的なテキストを保持します。Reflexionはさまざまなタスクでベースラインエージェントに比べて大幅な改善を実現し、従来の最先端のGPT-4を上回る精度を達成しました。さらに、異なるフィードバック信号や統合方法、エージェントタイプの研究を行い、パフォーマンスへの影響についての洞察を提供しています。 Commentなぜ回答を間違えたのか自己反省させることでパフォーマンスを向上させる研究 ... more","headline":"ReinforcementLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ReinforcementLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ReinforcementLearning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1026,32 +1026,32 @@ <h2 id="reinforcementlearning">ReinforcementLearning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/LongSequence.html" title="LongSequenceに関する論文・技術記事メモの一覧">
-            LongSequenceに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Finetuning.html" title="Finetuningに関する論文・技術記事メモの一覧">
+            Finetuningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TechnologyEnhancedLearning.html" title="TechnologyEnhancedLearningに関する論文・技術記事メモの一覧">
-            TechnologyEnhancedLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DiffusionModel.html" title="DiffusionModelに関する論文・技術記事メモの一覧">
+            DiffusionModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Mindset.html" title="Mindsetに関する論文・技術記事メモの一覧">
-            Mindsetに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/IRT.html" title="IRTに関する論文・技術記事メモの一覧">
+            IRTに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/AffectDetection.html" title="AffectDetectionに関する論文・技術記事メモの一覧">
-            AffectDetectionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/OnlineEvaluation.html" title="OnlineEvaluationに関する論文・技術記事メモの一覧">
+            OnlineEvaluationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/RelevanceFeedback.html b/docs/articles/RelevanceFeedback.html
index ba6d6a40b..054c66c3e 100644
--- a/docs/articles/RelevanceFeedback.html
+++ b/docs/articles/RelevanceFeedback.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/RelevanceFeedback.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="RelevanceFeedbackに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"RelevanceFeedback #Article#CollaborativeFiltering#InformationRetrieval#SearchEngine#WebSearch#PersonalizationIssue Date: 2023-04-28 Adaptive Web Search Based on User Profile Constructed without Any Effort from Users, Sugiyama+, NAIST, WWW’04 Comment検索結果のpersonalizationを初めてuser profileを用いて実現した研究 user profileはlong/short term preferenceによって構成される。 long term: さまざまなソースから取得される short term: 当日のセッショ ... #Article#Survey#InformationRetrieval#ImplicitFeedbackIssue Date: 2018-01-01 Evaluating implicit measures to improve web search, Fox+, ACM Transactions on Imformation Systems, 2005 #Article#Survey#InformationRetrieval#ExplicitFeedbackIssue Date: 2018-01-01 A survey on the use of relevance feedback for information access systems., Ruthven+, The Knowledge Engineering Review, 2003","headline":"RelevanceFeedbackに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/RelevanceFeedback.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/RelevanceFeedback.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"RelevanceFeedback #Article#CollaborativeFiltering#InformationRetrieval#SearchEngine#WebSearch#PersonalizationIssue Date: 2023-04-28 Adaptive Web Search Based on User Profile Constructed without Any Effort from Users, Sugiyama+, NAIST, WWW’04 Comment検索結果のpersonalizationを初めてuser profileを用いて実現した研究 user profileはlong/short term preferenceによって構成される。 long term: さまざまなソースから取得される short term: 当日のセッショ ... #Article#Survey#InformationRetrieval#ImplicitFeedbackIssue Date: 2018-01-01 Evaluating implicit measures to improve web search, Fox+, ACM Transactions on Imformation Systems, 2005 #Article#Survey#InformationRetrieval#ExplicitFeedbackIssue Date: 2018-01-01 A survey on the use of relevance feedback for information access systems., Ruthven+, The Knowledge Engineering Review, 2003","headline":"RelevanceFeedbackに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/RelevanceFeedback.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/RelevanceFeedback.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1017,32 +1017,32 @@ <h2 id="relevancefeedback">RelevanceFeedback</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/GrammaticalErrorCorrection.html" title="GrammaticalErrorCorrectionに関する論文・技術記事メモの一覧">
-            GrammaticalErrorCorrectionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ExperimentManagement.html" title="ExperimentManagementに関する論文・技術記事メモの一覧">
+            ExperimentManagementに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InteractivePersonalizedSummarization.html" title="InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧">
-            InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Comments.html" title="Commentsに関する論文・技術記事メモの一覧">
+            Commentsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Contents-based.html" title="Contents-basedに関する論文・技術記事メモの一覧">
-            Contents-basedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TabularData.html" title="TabularDataに関する論文・技術記事メモの一覧">
+            TabularDataに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Neural.html" title="Neuralに関する論文・技術記事メモの一覧">
-            Neuralに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SemanticTextualSimilarity.html" title="SemanticTextualSimilarityに関する論文・技術記事メモの一覧">
+            SemanticTextualSimilarityに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/RelevanceJudgment.html b/docs/articles/RelevanceJudgment.html
index d139368b4..8bb03bf3b 100644
--- a/docs/articles/RelevanceJudgment.html
+++ b/docs/articles/RelevanceJudgment.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/RelevanceJudgment.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="RelevanceJudgmentに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"RelevanceJudgment #Article#RecommenderSystemsIssue Date: 2017-12-28 Relevance Judgment in epistemic and hedonic information searches, Xu, Chen, Journal of the American Society for Information Science and Technology, 2007 Comment・informative relevance: 知識を求める検索など（個人のブログ，経済ニュースとか） ・affective relevance: 楽しみや感情に刺激を受けるための情報を求める検索の場合（2chまとめとか，哲学ニュースまとめとか？） ・topicality, novelty, ... #Article#InformationRetrievalIssue Date: 2017-12-28 Relevance judgment: What do information users consider beyond topicality? Xu, Chen, 2007 Comment・relevanceとsignificantに関連するcriteriaは，topicalityとnovelty ・reliabilityおよびunderstandabilityはsmaller degreeでsignificant, scopeはsignificantでない ... #Article#InformationRetrievalIssue Date: 2017-12-28 A cognitive model of document use during a research project, Wang and Soergel, 1998 Commenttopicality, orientation, quality, novelty（の順番で）がrelevantなdocumentを選択したときのcriteriaとして採用されていたことを報告 ...","headline":"RelevanceJudgmentに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/RelevanceJudgment.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/RelevanceJudgment.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"RelevanceJudgment #Article#RecommenderSystemsIssue Date: 2017-12-28 Relevance Judgment in epistemic and hedonic information searches, Xu, Chen, Journal of the American Society for Information Science and Technology, 2007 Comment・informative relevance: 知識を求める検索など（個人のブログ，経済ニュースとか） ・affective relevance: 楽しみや感情に刺激を受けるための情報を求める検索の場合（2chまとめとか，哲学ニュースまとめとか？） ・topicality, novelty, ... #Article#InformationRetrievalIssue Date: 2017-12-28 Relevance judgment: What do information users consider beyond topicality? Xu, Chen, 2007 Comment・relevanceとsignificantに関連するcriteriaは，topicalityとnovelty ・reliabilityおよびunderstandabilityはsmaller degreeでsignificant, scopeはsignificantでない ... #Article#InformationRetrievalIssue Date: 2017-12-28 A cognitive model of document use during a research project, Wang and Soergel, 1998 Commenttopicality, orientation, quality, novelty（の順番で）がrelevantなdocumentを選択したときのcriteriaとして採用されていたことを報告 ...","headline":"RelevanceJudgmentに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/RelevanceJudgment.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/RelevanceJudgment.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1020,32 +1020,32 @@ <h2 id="relevancejudgment">RelevanceJudgment</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Optimizer.html" title="Optimizerに関する論文・技術記事メモの一覧">
-            Optimizerに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Pocket.html" title="Pocketに関する論文・技術記事メモの一覧">
+            Pocketに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/CodeGeneration.html" title="CodeGenerationに関する論文・技術記事メモの一覧">
-            CodeGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Argument.html" title="Argumentに関する論文・技術記事メモの一覧">
+            Argumentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TheoryOfMind.html" title="TheoryOfMindに関する論文・技術記事メモの一覧">
-            TheoryOfMindに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Out-of-DistributionDetection.html" title="Out-of-DistributionDetectionに関する論文・技術記事メモの一覧">
+            Out-of-DistributionDetectionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ContextAware.html" title="ContextAwareに関する論文・技術記事メモの一覧">
-            ContextAwareに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MachineLearning.html" title="MachineLearningに関する論文・技術記事メモの一覧">
+            MachineLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Repository.html b/docs/articles/Repository.html
index 2932bff11..ecc0484cc 100644
--- a/docs/articles/Repository.html
+++ b/docs/articles/Repository.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Repository.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Repositoryに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Repository #Article#NaturalLanguageGeneration#NLP#LanguageModel#LLMAgentIssue Date: 2024-07-04 OpenDevin: Code Less, Make More, 2024 CommentLLMによるOpenSourceなソフトウェア生成エージェントプラットフォームfull timeのスタッフを雇用しworldクラスのUXを目指すとのこと。楽しみ。参考: https://x.com/gneubig/status/1808493521315496229?s=46&t=Y6UuIHB0L ... #Article#LanguageModel#LibraryIssue Date: 2024-04-29 mergekit-evolve Comment#1257 のように進化的アルゴリズムでモデルマージができるライブラリ解説記事:https://note.com/npaka/n/nad2ff954ab81大きなVRAMが無くとも、大きめのSRAMがあれば動作するらしい ... #Article#Efficiency/SpeedUp#NLP#LanguageModel#LibraryIssue Date: 2024-04-28 AirLLM, 2024.04 Comment4GBのSingle GPUで、70Bモデルのinferenceを実現できるライブラリ。トークンの生成速度は検証する必要がある。transformer decoderの各layerの演算は独立しているため、GPUに全てのlayerを載せず、必要な分だけ載せてinferenceするといった操作を繰り返 ... more","headline":"Repositoryに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Repository.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Repository.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Repository #Article#NaturalLanguageGeneration#NLP#LanguageModel#LLMAgentIssue Date: 2024-07-04 OpenDevin: Code Less, Make More, 2024 CommentLLMによるOpenSourceなソフトウェア生成エージェントプラットフォームfull timeのスタッフを雇用しworldクラスのUXを目指すとのこと。楽しみ。参考: https://x.com/gneubig/status/1808493521315496229?s=46&t=Y6UuIHB0L ... #Article#LanguageModel#LibraryIssue Date: 2024-04-29 mergekit-evolve Comment#1257 のように進化的アルゴリズムでモデルマージができるライブラリ解説記事:https://note.com/npaka/n/nad2ff954ab81大きなVRAMが無くとも、大きめのSRAMがあれば動作するらしい ... #Article#Efficiency/SpeedUp#NLP#LanguageModel#LibraryIssue Date: 2024-04-28 AirLLM, 2024.04 Comment4GBのSingle GPUで、70Bモデルのinferenceを実現できるライブラリ。トークンの生成速度は検証する必要がある。transformer decoderの各layerの演算は独立しているため、GPUに全てのlayerを載せず、必要な分だけ載せてinferenceするといった操作を繰り返 ... more","headline":"Repositoryに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Repository.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Repository.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1056,32 +1056,32 @@ <h2 id="repository">Repository</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Lambda.html" title="Lambdaに関する論文・技術記事メモの一覧">
-            Lambdaに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CoT.html" title="CoTに関する論文・技術記事メモの一覧">
+            CoTに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Pocket.html" title="Pocketに関する論文・技術記事メモの一覧">
-            Pocketに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Spoken%20Language%20Processing.html" title="Spoken Language Processingに関する論文・技術記事メモの一覧">
+            Spoken Language Processingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TextualInversion.html" title="TextualInversionに関する論文・技術記事メモの一覧">
-            TextualInversionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Bias.html" title="Biasに関する論文・技術記事メモの一覧">
+            Biasに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TabularData.html" title="TabularDataに関する論文・技術記事メモの一覧">
-            TabularDataに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Zero_Few-shot.html" title="Zero/Few-shotに関する論文・技術記事メモの一覧">
+            Zero/Few-shotに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/RepresentationLearning.html b/docs/articles/RepresentationLearning.html
index 679c60498..ec6414e78 100644
--- a/docs/articles/RepresentationLearning.html
+++ b/docs/articles/RepresentationLearning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/RepresentationLearning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="RepresentationLearningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"RepresentationLearning #General#NLP#EssayScoringIssue Date: 2023-07-18 Improving Domain Generalization for Prompt-Aware Essay Scoring via Disentangled Representation Learning, ACL23 Summary自動エッセイスコアリング（AES）は、エッセイを評価するためのモデルですが、既存のモデルは特定のプロンプトにしか適用できず、新しいプロンプトに対してはうまく汎化できません。この研究では、プロンプトに依存しない特徴とプロンプト固有の特徴を抽出するためのニューラルAESモデルを提案し、表現の汎化を改善するための分離表現学習フレームワークを提案しています。ASAPとTOEFL11のデータセットでの実験結果は、提案手法の有効性を示しています。 #Neural#Embed#NLPIssue Date: 2022-06-08 Deep contextualized word representations, Peters+, Allen Institute for Artificial intelligence, NAACL18 CommentELMo論文。通常のword embeddingでは一つの単語につき一つの意味しか持たせられなかったが、文脈に応じて異なる意味を表現できるようなEmbeddingを実現し（同じ単語でも文脈に応じて意味が変わったりするので。たとえばrightは文脈に応じて右なのか、正しいなのか、権利なのか意味が変わs ... #Article#Neural#SentimentAnalysis#NLPIssue Date: 2021-06-01 Sentiment analysis with deeply learned distributed representations of variable length texts, Hong+, Technical Report. Technical report, Stanford University, 2015 Comment#363 より、本論文を引用して「CNN ベースのモデルが、畳み込み演算により文から特定のローカルパターンを検出して抽出できるため、他のモデル（e.g. Recurrent Neural Network, Recursive Neural Network）よりも優れていることが経験的に示されている」 ...","headline":"RepresentationLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/RepresentationLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/RepresentationLearning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"RepresentationLearning #General#NLP#EssayScoringIssue Date: 2023-07-18 Improving Domain Generalization for Prompt-Aware Essay Scoring via Disentangled Representation Learning, ACL23 Summary自動エッセイスコアリング（AES）は、エッセイを評価するためのモデルですが、既存のモデルは特定のプロンプトにしか適用できず、新しいプロンプトに対してはうまく汎化できません。この研究では、プロンプトに依存しない特徴とプロンプト固有の特徴を抽出するためのニューラルAESモデルを提案し、表現の汎化を改善するための分離表現学習フレームワークを提案しています。ASAPとTOEFL11のデータセットでの実験結果は、提案手法の有効性を示しています。 #Neural#Embed#NLPIssue Date: 2022-06-08 Deep contextualized word representations, Peters+, Allen Institute for Artificial intelligence, NAACL18 CommentELMo論文。通常のword embeddingでは一つの単語につき一つの意味しか持たせられなかったが、文脈に応じて異なる意味を表現できるようなEmbeddingを実現し（同じ単語でも文脈に応じて意味が変わったりするので。たとえばrightは文脈に応じて右なのか、正しいなのか、権利なのか意味が変わs ... #Article#Neural#SentimentAnalysis#NLPIssue Date: 2021-06-01 Sentiment analysis with deeply learned distributed representations of variable length texts, Hong+, Technical Report. Technical report, Stanford University, 2015 Comment#363 より、本論文を引用して「CNN ベースのモデルが、畳み込み演算により文から特定のローカルパターンを検出して抽出できるため、他のモデル（e.g. Recurrent Neural Network, Recursive Neural Network）よりも優れていることが経験的に示されている」 ...","headline":"RepresentationLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/RepresentationLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/RepresentationLearning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1016,32 +1016,32 @@ <h2 id="representationlearning">RepresentationLearning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/FactualConsistency.html" title="FactualConsistencyに関する論文・技術記事メモの一覧">
-            FactualConsistencyに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/python.html" title="pythonに関する論文・技術記事メモの一覧">
+            pythonに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NewsCitations.html" title="NewsCitationsに関する論文・技術記事メモの一覧">
-            NewsCitationsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SingleFramework.html" title="SingleFrameworkに関する論文・技術記事メモの一覧">
+            SingleFrameworkに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PersonalizedGeneration.html" title="PersonalizedGenerationに関する論文・技術記事メモの一覧">
-            PersonalizedGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TextToImage.html" title="TextToImageに関する論文・技術記事メモの一覧">
+            TextToImageに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Programming.html" title="Programmingに関する論文・技術記事メモの一覧">
-            Programmingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Transformer.html" title="Transformerに関する論文・技術記事メモの一覧">
+            Transformerに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/RetrievalAugmentedGeneration.html b/docs/articles/RetrievalAugmentedGeneration.html
index 58734bbeb..bed605e55 100644
--- a/docs/articles/RetrievalAugmentedGeneration.html
+++ b/docs/articles/RetrievalAugmentedGeneration.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/RetrievalAugmentedGeneration.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="RetrievalAugmentedGenerationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"RetrievalAugmentedGeneration #InformationRetrieval#Pocket#NLP#CoTIssue Date: 2024-04-14 RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation, Zihao Wang+, N_A, arXiv24 Summary大規模言語モデルの推論および生成能力を向上させ、幻覚を軽減する方法として、情報検索を利用して思考の連鎖を修正する「retrieval-augmented thoughts（RAT）」が提案された。この方法は、ゼロショットのCoTが生成された後、取得した情報を使用して各思考ステップを修正する。GPT-3.5、GPT-4、およびCodeLLaMA-7bにRATを適用することで、コード生成、数学的推論、創造的な執筆、具体的なタスク計画などのタスクでパフォーマンスが大幅に向上した。デモページはhttps://craftjarvis.github.io/RATで利用可能。 CommentRAGにおいてCoTさせる際に、各reasoningのstepを見直させることでより質の高いreasoningを生成するRATを提案。Hallucinationが低減し、生成のパフォーマンスも向上するとのこと。コンセプト自体はそりゃそうだよねという話なので、RAGならではの課題があり、それを解決した ... #InformationRetrieval#Pocket#NLP#LanguageModel#FinetuningIssue Date: 2024-04-07 RAFT: Adapting Language Model to Domain Specific RAG, Tianjun Zhang+, N_A, arXiv24 Summary大規模なテキストデータのLLMsを事前学習し、新しい知識を追加するためのRetrieval Augmented FineTuning（RAFT）を提案。RAFTは、質問に回答するのに役立つ関連文書から正しいシーケンスを引用し、chain-of-thoughtスタイルの応答を通じて推論能力を向上させる。RAFTはPubMed、HotpotQA、Gorillaデータセットでモデルのパフォーマンスを向上させ、事前学習済みLLMsをドメイン固有のRAGに向けて改善する。 CommentQuestion, instruction, coxtext, cot style answerの4つを用いてSFTをする模様画像は下記ツイートより引用https://x.com/cwolferesearch/status/1770912695765660139?s=46&t=Y6UuIHB0 ... #Pocket#NLP#LanguageModel#CoT#PromptingIssue Date: 2023-11-17 Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models, Wenhao Yu+, N_A, arXiv23 Summary検索補完言語モデル（RALM）は、外部の知識源を活用して大規模言語モデルの性能を向上させるが、信頼性の問題や知識の不足による誤った回答がある。そこで、Chain-of-Noting（CoN）という新しいアプローチを導入し、RALMの頑健性を向上させることを目指す。CoNは、順次の読み取りノートを生成し、関連性を評価して最終的な回答を形成する。ChatGPTを使用してCoNをトレーニングし、実験結果はCoNを装備したRALMが標準的なRALMを大幅に上回ることを示している。特に、ノイズの多いドキュメントにおいてEMスコアで平均+7.9の改善を達成し、知識範囲外のリアルタイムの質問に対する拒否率で+10.5の改善を達成している。 Comment一番重要な情報がappendixに載っているCoNによって、ノイズがあった場合にゲインが大きい。 ... more","headline":"RetrievalAugmentedGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/RetrievalAugmentedGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/RetrievalAugmentedGeneration.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"RetrievalAugmentedGeneration #InformationRetrieval#Pocket#NLP#CoTIssue Date: 2024-04-14 RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation, Zihao Wang+, N_A, arXiv24 Summary大規模言語モデルの推論および生成能力を向上させ、幻覚を軽減する方法として、情報検索を利用して思考の連鎖を修正する「retrieval-augmented thoughts（RAT）」が提案された。この方法は、ゼロショットのCoTが生成された後、取得した情報を使用して各思考ステップを修正する。GPT-3.5、GPT-4、およびCodeLLaMA-7bにRATを適用することで、コード生成、数学的推論、創造的な執筆、具体的なタスク計画などのタスクでパフォーマンスが大幅に向上した。デモページはhttps://craftjarvis.github.io/RATで利用可能。 CommentRAGにおいてCoTさせる際に、各reasoningのstepを見直させることでより質の高いreasoningを生成するRATを提案。Hallucinationが低減し、生成のパフォーマンスも向上するとのこと。コンセプト自体はそりゃそうだよねという話なので、RAGならではの課題があり、それを解決した ... #InformationRetrieval#Pocket#NLP#LanguageModel#FinetuningIssue Date: 2024-04-07 RAFT: Adapting Language Model to Domain Specific RAG, Tianjun Zhang+, N_A, arXiv24 Summary大規模なテキストデータのLLMsを事前学習し、新しい知識を追加するためのRetrieval Augmented FineTuning（RAFT）を提案。RAFTは、質問に回答するのに役立つ関連文書から正しいシーケンスを引用し、chain-of-thoughtスタイルの応答を通じて推論能力を向上させる。RAFTはPubMed、HotpotQA、Gorillaデータセットでモデルのパフォーマンスを向上させ、事前学習済みLLMsをドメイン固有のRAGに向けて改善する。 CommentQuestion, instruction, coxtext, cot style answerの4つを用いてSFTをする模様画像は下記ツイートより引用https://x.com/cwolferesearch/status/1770912695765660139?s=46&t=Y6UuIHB0 ... #Pocket#NLP#LanguageModel#CoT#PromptingIssue Date: 2023-11-17 Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models, Wenhao Yu+, N_A, arXiv23 Summary検索補完言語モデル（RALM）は、外部の知識源を活用して大規模言語モデルの性能を向上させるが、信頼性の問題や知識の不足による誤った回答がある。そこで、Chain-of-Noting（CoN）という新しいアプローチを導入し、RALMの頑健性を向上させることを目指す。CoNは、順次の読み取りノートを生成し、関連性を評価して最終的な回答を形成する。ChatGPTを使用してCoNをトレーニングし、実験結果はCoNを装備したRALMが標準的なRALMを大幅に上回ることを示している。特に、ノイズの多いドキュメントにおいてEMスコアで平均+7.9の改善を達成し、知識範囲外のリアルタイムの質問に対する拒否率で+10.5の改善を達成している。 Comment一番重要な情報がappendixに載っているCoNによって、ノイズがあった場合にゲインが大きい。 ... more","headline":"RetrievalAugmentedGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/RetrievalAugmentedGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/RetrievalAugmentedGeneration.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1100,32 +1100,32 @@ <h2 id="retrievalaugmentedgeneration">RetrievalAugmentedGeneration</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Interleaved.html" title="Interleavedに関する論文・技術記事メモの一覧">
-            Interleavedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Multi.html" title="Multiに関する論文・技術記事メモの一覧">
+            Multiに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RepresentationLearning.html" title="RepresentationLearningに関する論文・技術記事メモの一覧">
-            RepresentationLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Poisoning.html" title="Poisoningに関する論文・技術記事メモの一覧">
+            Poisoningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Dataset.html" title="Datasetに関する論文・技術記事メモの一覧">
-            Datasetに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LearningPath.html" title="LearningPathに関する論文・技術記事メモの一覧">
+            LearningPathに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/FactorizationMachines.html" title="FactorizationMachinesに関する論文・技術記事メモの一覧">
-            FactorizationMachinesに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AudioProcessing.html" title="AudioProcessingに関する論文・技術記事メモの一覧">
+            AudioProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/ReviewGeneration.html b/docs/articles/ReviewGeneration.html
index 946937d91..63aa16150 100644
--- a/docs/articles/ReviewGeneration.html
+++ b/docs/articles/ReviewGeneration.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/ReviewGeneration.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="ReviewGenerationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"ReviewGeneration #NaturalLanguageGeneration#Pocket#NLPIssue Date: 2019-08-17 User Preference-Aware Review Generation, Wang+, PAKDD19 #RecommenderSystems#Neural#NaturalLanguageGeneration#NLPIssue Date: 2019-05-31 Multimodal Review Generation for Recommender Systems, Truong+, WWW19 CommentPersonalized Review Generationと、Rating Predictionを同時学習した研究（同時学習自体はすでに先行研究がある）。 また、先行研究のinputは、たいていはuser, itemであるが、multi-modalなinputとしてレビューのphotoを活用した ... #RecommenderSystems#Neural#NaturalLanguageGeneration#Pocket#NLPIssue Date: 2019-08-17 Improving Explainable Recommendations with Synthetic Reviews, Ouyang+, RecSys18 more","headline":"ReviewGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ReviewGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ReviewGeneration.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"ReviewGeneration #NaturalLanguageGeneration#Pocket#NLPIssue Date: 2019-08-17 User Preference-Aware Review Generation, Wang+, PAKDD19 #RecommenderSystems#Neural#NaturalLanguageGeneration#NLPIssue Date: 2019-05-31 Multimodal Review Generation for Recommender Systems, Truong+, WWW19 CommentPersonalized Review Generationと、Rating Predictionを同時学習した研究（同時学習自体はすでに先行研究がある）。 また、先行研究のinputは、たいていはuser, itemであるが、multi-modalなinputとしてレビューのphotoを活用した ... #RecommenderSystems#Neural#NaturalLanguageGeneration#Pocket#NLPIssue Date: 2019-08-17 Improving Explainable Recommendations with Synthetic Reviews, Ouyang+, RecSys18 more","headline":"ReviewGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ReviewGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ReviewGeneration.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1051,32 +1051,32 @@ <h2 id="reviewgeneration">ReviewGeneration</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ExperimentManagement.html" title="ExperimentManagementに関する論文・技術記事メモの一覧">
-            ExperimentManagementに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Classic.html" title="Classicに関する論文・技術記事メモの一覧">
+            Classicに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningPath.html" title="LearningPathに関する論文・技術記事メモの一覧">
-            LearningPathに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PointWise.html" title="PointWiseに関する論文・技術記事メモの一覧">
+            PointWiseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NewsRecommendation.html" title="NewsRecommendationに関する論文・技術記事メモの一覧">
-            NewsRecommendationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Pocket.html" title="Pocketに関する論文・技術記事メモの一覧">
+            Pocketに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Classic.html" title="Classicに関する論文・技術記事メモの一覧">
-            Classicに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InteractiveRecommenderSystems.html" title="InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧">
+            InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/RuleBased.html b/docs/articles/RuleBased.html
index 39a59298b..5ee37e362 100644
--- a/docs/articles/RuleBased.html
+++ b/docs/articles/RuleBased.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/RuleBased.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="RuleBasedに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"RuleBased #NaturalLanguageGeneration#NLP#DataToTextIssue Date: 2017-12-31 Generating approximate geographic descriptions, Turner+, ENLG10 #NaturalLanguageGeneration#NLP#DataToTextIssue Date: 2017-12-31 Choosing words in computer-generated weather forecasts, Reiter+, Artificial Intelligence05 Comment## タスク 天気予報の生成, システム名 SUMTIME ## 手法概要 ルールベースな手法，weather prediction dataから（将来の気象情報をシミュレーションした数値データ），天気予報を自動生成．corpus analysisと専門家のsuggestを通じて，どのよ ... #NaturalLanguageGeneration#NLP#ConceptToTextIssue Date: 2017-12-31 Coral: Using natural language generation for navigational assistance, Dale+, Australasian computer science conference03 more","headline":"RuleBasedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/RuleBased.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/RuleBased.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"RuleBased #NaturalLanguageGeneration#NLP#DataToTextIssue Date: 2017-12-31 Generating approximate geographic descriptions, Turner+, ENLG10 #NaturalLanguageGeneration#NLP#DataToTextIssue Date: 2017-12-31 Choosing words in computer-generated weather forecasts, Reiter+, Artificial Intelligence05 Comment## タスク 天気予報の生成, システム名 SUMTIME ## 手法概要 ルールベースな手法，weather prediction dataから（将来の気象情報をシミュレーションした数値データ），天気予報を自動生成．corpus analysisと専門家のsuggestを通じて，どのよ ... #NaturalLanguageGeneration#NLP#ConceptToTextIssue Date: 2017-12-31 Coral: Using natural language generation for navigational assistance, Dale+, Australasian computer science conference03 more","headline":"RuleBasedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/RuleBased.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/RuleBased.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1039,32 +1039,32 @@ <h2 id="rulebased">RuleBased</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ExplicitFeedback.html" title="ExplicitFeedbackに関する論文・技術記事メモの一覧">
-            ExplicitFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InteractivePersonalizedSummarization.html" title="InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧">
+            InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ImageCaptioning.html" title="ImageCaptioningに関する論文・技術記事メモの一覧">
-            ImageCaptioningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Training-Free.html" title="Training-Freeに関する論文・技術記事メモの一覧">
+            Training-Freeに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Contents-based.html" title="Contents-basedに関する論文・技術記事メモの一覧">
-            Contents-basedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Synchrophancy.html" title="Synchrophancyに関する論文・技術記事メモの一覧">
+            Synchrophancyに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/CoT.html" title="CoTに関する論文・技術記事メモの一覧">
-            CoTに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/project_template.html" title="project_templateに関する論文・技術記事メモの一覧">
+            project_templateに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/ScorePrediction.html b/docs/articles/ScorePrediction.html
index 2acc3b506..7cba328ac 100644
--- a/docs/articles/ScorePrediction.html
+++ b/docs/articles/ScorePrediction.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/ScorePrediction.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="ScorePredictionに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"ScorePrediction #Pocket#AdaptiveLearningIssue Date: 2022-08-31 Condensed Discriminative Question Set for Reliable Exam Score Prediction, Jung+, Riiid, AIED21 #Article#Dataset#Education#AdaptiveLearning#EducationalDataMiningIssue Date: 2022-08-23 Score Prediction dataset","headline":"ScorePredictionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ScorePrediction.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ScorePrediction.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"ScorePrediction #Pocket#AdaptiveLearningIssue Date: 2022-08-31 Condensed Discriminative Question Set for Reliable Exam Score Prediction, Jung+, Riiid, AIED21 #Article#Dataset#Education#AdaptiveLearning#EducationalDataMiningIssue Date: 2022-08-23 Score Prediction dataset","headline":"ScorePredictionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/ScorePrediction.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/ScorePrediction.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1011,32 +1011,32 @@ <h2 id="scoreprediction">ScorePrediction</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/GraphBased.html" title="GraphBasedに関する論文・技術記事メモの一覧">
-            GraphBasedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ContrastiveLearning.html" title="ContrastiveLearningに関する論文・技術記事メモの一覧">
+            ContrastiveLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/StructuredData.html" title="StructuredDataに関する論文・技術記事メモの一覧">
-            StructuredDataに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Reasoning.html" title="Reasoningに関する論文・技術記事メモの一覧">
+            Reasoningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ConceptToText.html" title="ConceptToTextに関する論文・技術記事メモの一覧">
-            ConceptToTextに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Repository.html" title="Repositoryに関する論文・技術記事メモの一覧">
+            Repositoryに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Evaluation.html" title="Evaluationに関する論文・技術記事メモの一覧">
-            Evaluationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataToText.html" title="DataToTextに関する論文・技術記事メモの一覧">
+            DataToTextに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/SearchEngine.html b/docs/articles/SearchEngine.html
index 0480b2a4c..470353b02 100644
--- a/docs/articles/SearchEngine.html
+++ b/docs/articles/SearchEngine.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/SearchEngine.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="SearchEngineに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"SearchEngine #Neural#InformationRetrieval#MultitaskLearning#QueryClassification#WebSearchIssue Date: 2018-02-05 Representation Learning Using Multi-Task Deep Neural Networks for Semantic Classification and Information Retrieval, Liu+, NAACL-HLT15 Commentクエリ分類と検索をNeural Netを用いてmulti-task learningする研究分類(multi-class classification)とランキング(pairwise learning-to-rank)という異なる操作が必要なタスクを、multi task learningの枠組みで ... #Single#PersonalizedDocumentSummarization#NLPIssue Date: 2017-12-28 Incremental Personalised Summarisation with Novelty Detection, Campana+, FQAS09, 11 #DocumentSummarization#InformationRetrieval#NLPIssue Date: 2018-01-17 The Use of MMR, Diversity-Based Reranking for Reordering Documents and Producing Summaries, Carbonell+, SIGIR98 CommentMaximal Marginal Relevance (MMR) 論文。 検索エンジンや文書要約において、文書/文のランキングを生成する際に、既に選んだ文書と類似度が低く、かつqueryとrelevantな文書をgreedyに選択していく手法を提案。 ILPによる定式化が提案される以前のMult ... more","headline":"SearchEngineに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/SearchEngine.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/SearchEngine.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"SearchEngine #Neural#InformationRetrieval#MultitaskLearning#QueryClassification#WebSearchIssue Date: 2018-02-05 Representation Learning Using Multi-Task Deep Neural Networks for Semantic Classification and Information Retrieval, Liu+, NAACL-HLT15 Commentクエリ分類と検索をNeural Netを用いてmulti-task learningする研究分類(multi-class classification)とランキング(pairwise learning-to-rank)という異なる操作が必要なタスクを、multi task learningの枠組みで ... #Single#PersonalizedDocumentSummarization#NLPIssue Date: 2017-12-28 Incremental Personalised Summarisation with Novelty Detection, Campana+, FQAS09, 11 #DocumentSummarization#InformationRetrieval#NLPIssue Date: 2018-01-17 The Use of MMR, Diversity-Based Reranking for Reordering Documents and Producing Summaries, Carbonell+, SIGIR98 CommentMaximal Marginal Relevance (MMR) 論文。 検索エンジンや文書要約において、文書/文のランキングを生成する際に、既に選んだ文書と類似度が低く、かつqueryとrelevantな文書をgreedyに選択していく手法を提案。 ILPによる定式化が提案される以前のMult ... more","headline":"SearchEngineに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/SearchEngine.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/SearchEngine.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1044,24 +1044,24 @@ <h2 id="searchengine">SearchEngine</h2>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RecommenderSystems.html" title="RecommenderSystemsに関する論文・技術記事メモの一覧">
-            RecommenderSystemsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Explanation.html" title="Explanationに関する論文・技術記事メモの一覧">
+            Explanationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/GraphBased.html" title="GraphBasedに関する論文・技術記事メモの一覧">
-            GraphBasedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InstructionGeneration.html" title="InstructionGenerationに関する論文・技術記事メモの一覧">
+            InstructionGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Temporal.html" title="Temporalに関する論文・技術記事メモの一覧">
-            Temporalに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ItemBased.html" title="ItemBasedに関する論文・技術記事メモの一覧">
+            ItemBasedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Self-SupervisedLearning.html b/docs/articles/Self-SupervisedLearning.html
index 41ead49da..c15aea54a 100644
--- a/docs/articles/Self-SupervisedLearning.html
+++ b/docs/articles/Self-SupervisedLearning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Self-SupervisedLearning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Self-SupervisedLearningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Self-SupervisedLearning #Pretraining#MachineLearning#PocketIssue Date: 2023-07-22 RankMe: Assessing the downstream performance of pretrained self-supervised representations by their rank, Quentin Garrido+, N_A, arXiv22 Summary共有埋め込み自己教示学習（JE-SSL）は、成功の視覚的な手がかりが欠如しているため、展開が困難である。本研究では、JE-SSL表現の品質を評価するための非教示基準であるRankMeを開発した。RankMeはラベルを必要とせず、ハイパーパラメータの調整も不要である。徹底的な実験により、RankMeが最終パフォーマンスのほとんど減少なしにハイパーパラメータの選択に使用できることを示した。RankMeはJE-SSLの展開を容易にすることが期待される。 #Article#Tutorial#MachineLearningIssue Date: 2023-04-26 A Cookbook of Self-Supervised Learning, 2023 CommentMetaによるSelf Supervised Learningの教科書 ...","headline":"Self-SupervisedLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Self-SupervisedLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Self-SupervisedLearning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Self-SupervisedLearning #Pretraining#MachineLearning#PocketIssue Date: 2023-07-22 RankMe: Assessing the downstream performance of pretrained self-supervised representations by their rank, Quentin Garrido+, N_A, arXiv22 Summary共有埋め込み自己教示学習（JE-SSL）は、成功の視覚的な手がかりが欠如しているため、展開が困難である。本研究では、JE-SSL表現の品質を評価するための非教示基準であるRankMeを開発した。RankMeはラベルを必要とせず、ハイパーパラメータの調整も不要である。徹底的な実験により、RankMeが最終パフォーマンスのほとんど減少なしにハイパーパラメータの選択に使用できることを示した。RankMeはJE-SSLの展開を容易にすることが期待される。 #Article#Tutorial#MachineLearningIssue Date: 2023-04-26 A Cookbook of Self-Supervised Learning, 2023 CommentMetaによるSelf Supervised Learningの教科書 ...","headline":"Self-SupervisedLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Self-SupervisedLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Self-SupervisedLearning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1013,32 +1013,32 @@ <h2 id="self-supervisedlearning">Self-SupervisedLearning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/LLM-as-a-Judge.html" title="LLM-as-a-Judgeに関する論文・技術記事メモの一覧">
-            LLM-as-a-Judgeに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Discourse.html" title="Discourseに関する論文・技術記事メモの一覧">
+            Discourseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Session.html" title="Sessionに関する論文・技術記事メモの一覧">
-            Sessionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataDriven.html" title="DataDrivenに関する論文・技術記事メモの一覧">
+            DataDrivenに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ContrastiveLearning.html" title="ContrastiveLearningに関する論文・技術記事メモの一覧">
-            ContrastiveLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Spoken%20Language%20Processing.html" title="Spoken Language Processingに関する論文・技術記事メモの一覧">
+            Spoken Language Processingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Document.html" title="Documentに関する論文・技術記事メモの一覧">
-            Documentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InstructionTuning.html" title="InstructionTuningに関する論文・技術記事メモの一覧">
+            InstructionTuningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/SemanticTextualSimilarity.html b/docs/articles/SemanticTextualSimilarity.html
index f51860617..1c65963d6 100644
--- a/docs/articles/SemanticTextualSimilarity.html
+++ b/docs/articles/SemanticTextualSimilarity.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/SemanticTextualSimilarity.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="SemanticTextualSimilarityに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"SemanticTextualSimilarity #NLP#DatasetIssue Date: 2023-07-31 Construction of a Japanese Word Similarity Dataset, Yuya Sakaizawa+, N_A, arXiv17 Summary日本語の分散表現の評価のために、日本語の単語の類似性データセットを構築した。このデータセットは、日本語の分散表現の評価に使用できる初めてのリソースであり、一般的な単語だけでなく珍しい単語も含まれている。 Commentgithub: https://github.com/tmu-nlp/JapaneseWordSimilarityDataset 単語レベルの類似度をベンチマーキングしたい場合は使ってもよいかも。 ... #Article#NLP#LanguageModelIssue Date: 2023-07-31 OpenAI の Embeddings API はイケてるのか、定量的に調べてみる Comment[JSTSタスク](https://github.com/yahoojapan/JGLUE)では、[Tohoku BERT v3](https://github.com/cl-tohoku/bert-japanese/tree/main#model-performances) と [LUKE](ht ...","headline":"SemanticTextualSimilarityに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/SemanticTextualSimilarity.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/SemanticTextualSimilarity.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"SemanticTextualSimilarity #NLP#DatasetIssue Date: 2023-07-31 Construction of a Japanese Word Similarity Dataset, Yuya Sakaizawa+, N_A, arXiv17 Summary日本語の分散表現の評価のために、日本語の単語の類似性データセットを構築した。このデータセットは、日本語の分散表現の評価に使用できる初めてのリソースであり、一般的な単語だけでなく珍しい単語も含まれている。 Commentgithub: https://github.com/tmu-nlp/JapaneseWordSimilarityDataset 単語レベルの類似度をベンチマーキングしたい場合は使ってもよいかも。 ... #Article#NLP#LanguageModelIssue Date: 2023-07-31 OpenAI の Embeddings API はイケてるのか、定量的に調べてみる Comment[JSTSタスク](https://github.com/yahoojapan/JGLUE)では、[Tohoku BERT v3](https://github.com/cl-tohoku/bert-japanese/tree/main#model-performances) と [LUKE](ht ...","headline":"SemanticTextualSimilarityに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/SemanticTextualSimilarity.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/SemanticTextualSimilarity.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1016,32 +1016,32 @@ <h2 id="semantictextualsimilarity">SemanticTextualSimilarity</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Proprietary.html" title="Proprietaryに関する論文・技術記事メモの一覧">
-            Proprietaryに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LayoutGeneration.html" title="LayoutGenerationに関する論文・技術記事メモの一覧">
+            LayoutGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Novelty.html" title="Noveltyに関する論文・技術記事メモの一覧">
-            Noveltyに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/QueryBiased.html" title="QueryBiasedに関する論文・技術記事メモの一覧">
+            QueryBiasedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Pruning.html" title="Pruningに関する論文・技術記事メモの一覧">
-            Pruningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Financial.html" title="Financialに関する論文・技術記事メモの一覧">
+            Financialに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ContextWindow.html" title="ContextWindowに関する論文・技術記事メモの一覧">
-            ContextWindowに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AutoML.html" title="AutoMLに関する論文・技術記事メモの一覧">
+            AutoMLに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Sentence.html b/docs/articles/Sentence.html
index 90a82ab47..5db268df5 100644
--- a/docs/articles/Sentence.html
+++ b/docs/articles/Sentence.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Sentence.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Sentenceに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Sentence #Embed#Pocket#NLP#LanguageModel#ContrastiveLearningIssue Date: 2023-07-27 SimCSE: Simple Contrastive Learning of Sentence Embeddings, Tianyu Gao+, N_A, EMNLP21 Summaryこの論文では、SimCSEという対比学習フレームワークを提案しています。このフレームワークは、文の埋め込み技術を進化させることができます。教師なしアプローチでは、入力文をノイズとして扱い、自己を対比的に予測します。教師ありアプローチでは、自然言語推論データセットから注釈付きのペアを使用して対比学習を行います。SimCSEは、意味的テキスト類似性タスクで評価され、以前の手法と比較して改善を実現しました。対比学習は、事前学習された埋め込みの空間を均一に正則化し、教師信号が利用可能な場合には正のペアをよりよく整列させることが示されました。 Comment#462 よりも性能良く、unsupervisedでも学習できる。STSタスクのベースラインにだいたい入ってる# 手法概要 Contrastive Learningを活用して、unsupervised/supervisedに学習を実施する。 Unsupervised SimCSEでは、あるsente ... #Neural#Embed#NLPIssue Date: 2017-12-28 Supervised Learning of Universal Sentence Representations from Natural Language Inference Data, Conneau+, EMNLP17 Commentslide: https://www.slideshare.net/naoakiokazaki/supervised-learning-of-universal-sentence-representations-from-natural-language-inference-data汎用的な文のエン ... #Neural#Embed#NLPIssue Date: 2017-12-28 A structured self-attentive sentence embedding, Li+ （Bengio group）, ICLR17 more","headline":"Sentenceに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Sentence.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Sentence.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Sentence #Embed#Pocket#NLP#LanguageModel#ContrastiveLearningIssue Date: 2023-07-27 SimCSE: Simple Contrastive Learning of Sentence Embeddings, Tianyu Gao+, N_A, EMNLP21 Summaryこの論文では、SimCSEという対比学習フレームワークを提案しています。このフレームワークは、文の埋め込み技術を進化させることができます。教師なしアプローチでは、入力文をノイズとして扱い、自己を対比的に予測します。教師ありアプローチでは、自然言語推論データセットから注釈付きのペアを使用して対比学習を行います。SimCSEは、意味的テキスト類似性タスクで評価され、以前の手法と比較して改善を実現しました。対比学習は、事前学習された埋め込みの空間を均一に正則化し、教師信号が利用可能な場合には正のペアをよりよく整列させることが示されました。 Comment#462 よりも性能良く、unsupervisedでも学習できる。STSタスクのベースラインにだいたい入ってる# 手法概要 Contrastive Learningを活用して、unsupervised/supervisedに学習を実施する。 Unsupervised SimCSEでは、あるsente ... #Neural#Embed#NLPIssue Date: 2017-12-28 Supervised Learning of Universal Sentence Representations from Natural Language Inference Data, Conneau+, EMNLP17 Commentslide: https://www.slideshare.net/naoakiokazaki/supervised-learning-of-universal-sentence-representations-from-natural-language-inference-data汎用的な文のエン ... #Neural#Embed#NLPIssue Date: 2017-12-28 A structured self-attentive sentence embedding, Li+ （Bengio group）, ICLR17 more","headline":"Sentenceに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Sentence.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Sentence.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1047,32 +1047,32 @@ <h2 id="sentence">Sentence</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/LanguageModel.html" title="LanguageModelに関する論文・技術記事メモの一覧">
-            LanguageModelに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PPO.html" title="PPOに関する論文・技術記事メモの一覧">
+            PPOに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ListWise.html" title="ListWiseに関する論文・技術記事メモの一覧">
-            ListWiseに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/post-pretraining.html" title="post-pretrainingに関する論文・技術記事メモの一覧">
+            post-pretrainingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NewsCitations.html" title="NewsCitationsに関する論文・技術記事メモの一覧">
-            NewsCitationsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Word.html" title="Wordに関する論文・技術記事メモの一覧">
+            Wordに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/A_B%20Testing.html" title="A/B Testingに関する論文・技術記事メモの一覧">
-            A/B Testingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AWS.html" title="AWSに関する論文・技術記事メモの一覧">
+            AWSに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/SentimentAnalysis.html b/docs/articles/SentimentAnalysis.html
index dd1cd1674..707c2f54d 100644
--- a/docs/articles/SentimentAnalysis.html
+++ b/docs/articles/SentimentAnalysis.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/SentimentAnalysis.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="SentimentAnalysisに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"SentimentAnalysis #Neural#Tutorial#NLPIssue Date: 2018-01-01 Neural Network for Sentiment Analysis, EMNLP16 #Neural#Document#Embed#NLPIssue Date: 2017-12-28 Document Modeling with Gated Recurrent Neural Network for Sentiment Classification, Tang+, EMNLP15 Commentword level -&gt; sentence level -&gt; document level のrepresentationを求め、documentのsentiment classificationをする話。 documentのRepresentationを生成するときに参考になるやも。 sen ... #Article#Neural#NLP#RepresentationLearningIssue Date: 2021-06-01 Sentiment analysis with deeply learned distributed representations of variable length texts, Hong+, Technical Report. Technical report, Stanford University, 2015 Comment#363 より、本論文を引用して「CNN ベースのモデルが、畳み込み演算により文から特定のローカルパターンを検出して抽出できるため、他のモデル（e.g. Recurrent Neural Network, Recursive Neural Network）よりも優れていることが経験的に示されている」 ... more","headline":"SentimentAnalysisに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/SentimentAnalysis.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/SentimentAnalysis.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"SentimentAnalysis #Neural#Tutorial#NLPIssue Date: 2018-01-01 Neural Network for Sentiment Analysis, EMNLP16 #Neural#Document#Embed#NLPIssue Date: 2017-12-28 Document Modeling with Gated Recurrent Neural Network for Sentiment Classification, Tang+, EMNLP15 Commentword level -&gt; sentence level -&gt; document level のrepresentationを求め、documentのsentiment classificationをする話。 documentのRepresentationを生成するときに参考になるやも。 sen ... #Article#Neural#NLP#RepresentationLearningIssue Date: 2021-06-01 Sentiment analysis with deeply learned distributed representations of variable length texts, Hong+, Technical Report. Technical report, Stanford University, 2015 Comment#363 より、本論文を引用して「CNN ベースのモデルが、畳み込み演算により文から特定のローカルパターンを検出して抽出できるため、他のモデル（e.g. Recurrent Neural Network, Recursive Neural Network）よりも優れていることが経験的に示されている」 ... more","headline":"SentimentAnalysisに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/SentimentAnalysis.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/SentimentAnalysis.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1024,32 +1024,32 @@ <h2 id="sentimentanalysis">SentimentAnalysis</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/OnlineEvaluation.html" title="OnlineEvaluationに関する論文・技術記事メモの一覧">
-            OnlineEvaluationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MultitaskLearning.html" title="MultitaskLearningに関する論文・技術記事メモの一覧">
+            MultitaskLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Attention.html" title="Attentionに関する論文・技術記事メモの一覧">
-            Attentionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NumericReasoning.html" title="NumericReasoningに関する論文・技術記事メモの一覧">
+            NumericReasoningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataGeneration.html" title="DataGenerationに関する論文・技術記事メモの一覧">
-            DataGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Attention.html" title="Attentionに関する論文・技術記事メモの一覧">
+            Attentionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/StructuredData.html" title="StructuredDataに関する論文・技術記事メモの一覧">
-            StructuredDataに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/QueryClassification.html" title="QueryClassificationに関する論文・技術記事メモの一覧">
+            QueryClassificationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Session.html b/docs/articles/Session.html
index 9ce862f7a..f80b2df19 100644
--- a/docs/articles/Session.html
+++ b/docs/articles/Session.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Session.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Sessionに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Session #RecommenderSystemsIssue Date: 2019-08-02 SESSION-BASED RECOMMENDATIONS WITH RECURRENT NEURAL NETWORKS, Hidasi+, ICLR16 CommentRNNを利用したsequential recommendation (session-based recommendation)の先駆け的論文。日本語解説: https://qiita.com/tatamiya/items/46e278a808a51893deac ... #Article#RecommenderSystems#SurveyIssue Date: 2019-08-02 A Survey on Session-based Recommender Systems, Wang+, 2019, arXiv","headline":"Sessionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Session.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Session.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Session #RecommenderSystemsIssue Date: 2019-08-02 SESSION-BASED RECOMMENDATIONS WITH RECURRENT NEURAL NETWORKS, Hidasi+, ICLR16 CommentRNNを利用したsequential recommendation (session-based recommendation)の先駆け的論文。日本語解説: https://qiita.com/tatamiya/items/46e278a808a51893deac ... #Article#RecommenderSystems#SurveyIssue Date: 2019-08-02 A Survey on Session-based Recommender Systems, Wang+, 2019, arXiv","headline":"Sessionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Session.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Session.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1012,32 +1012,32 @@ <h2 id="session">Session</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/pretrained-LM.html" title="pretrained-LMに関する論文・技術記事メモの一覧">
-            pretrained-LMに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Out-of-DistributionDetection.html" title="Out-of-DistributionDetectionに関する論文・技術記事メモの一覧">
+            Out-of-DistributionDetectionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Poisoning.html" title="Poisoningに関する論文・技術記事メモの一覧">
-            Poisoningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CoT.html" title="CoTに関する論文・技術記事メモの一覧">
+            CoTに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Training-Free.html" title="Training-Freeに関する論文・技術記事メモの一覧">
-            Training-Freeに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SentimentAnalysis.html" title="SentimentAnalysisに関する論文・技術記事メモの一覧">
+            SentimentAnalysisに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/StructuredLearning.html" title="StructuredLearningに関する論文・技術記事メモの一覧">
-            StructuredLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Classic.html" title="Classicに関する論文・技術記事メモの一覧">
+            Classicに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Single.html b/docs/articles/Single.html
index d87f757ca..bc369517b 100644
--- a/docs/articles/Single.html
+++ b/docs/articles/Single.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Single.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Singleに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Single #DocumentSummarization#Neural#Document#Supervised#NLP#AbstractiveIssue Date: 2017-12-31 Get To The Point: Summarization with Pointer-Generator Networks, See+, ACL17 Comment解説スライド：https://www.slideshare.net/akihikowatanabe3110/get-to-the-point-summarization-with-pointergenerator-networks/1単語の生成と単語のコピーの両方を行えるハイブリッドなニューラル文書 ... #DocumentSummarization#Document#DomainAdaptation#Supervised#NLP#ExtractiveIssue Date: 2018-01-01 Learning from Numerous Untailored Summaries, Kikuchi+, PRICAI16 CommentNew York Times Annotated Corpus（NYTAC）に含まれる大量の正解要約データを利用する方法を提案。 NYTACには650,000程度の人手で生成された参照要約が付与されているが、このデータを要約の訓練データとして活用した事例はまだ存在しないので、やりましたという話。 ... #DocumentSummarization#Neural#Document#Supervised#NLP#AbstractiveIssue Date: 2017-12-31 Incorporating Copying Mechanism in Sequence-to-Sequence Learning, Gu+, ACL16 Comment解説スライド：https://www.slideshare.net/akihikowatanabe3110/incorporating-copying-mechanism-in-sequene-to-sequence-learning単語のコピーと生成、両方を行えるネットワークを提案。 locati ... more","headline":"Singleに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Single.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Single.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Single #DocumentSummarization#Neural#Document#Supervised#NLP#AbstractiveIssue Date: 2017-12-31 Get To The Point: Summarization with Pointer-Generator Networks, See+, ACL17 Comment解説スライド：https://www.slideshare.net/akihikowatanabe3110/get-to-the-point-summarization-with-pointergenerator-networks/1単語の生成と単語のコピーの両方を行えるハイブリッドなニューラル文書 ... #DocumentSummarization#Document#DomainAdaptation#Supervised#NLP#ExtractiveIssue Date: 2018-01-01 Learning from Numerous Untailored Summaries, Kikuchi+, PRICAI16 CommentNew York Times Annotated Corpus（NYTAC）に含まれる大量の正解要約データを利用する方法を提案。 NYTACには650,000程度の人手で生成された参照要約が付与されているが、このデータを要約の訓練データとして活用した事例はまだ存在しないので、やりましたという話。 ... #DocumentSummarization#Neural#Document#Supervised#NLP#AbstractiveIssue Date: 2017-12-31 Incorporating Copying Mechanism in Sequence-to-Sequence Learning, Gu+, ACL16 Comment解説スライド：https://www.slideshare.net/akihikowatanabe3110/incorporating-copying-mechanism-in-sequene-to-sequence-learning単語のコピーと生成、両方を行えるネットワークを提案。 locati ... more","headline":"Singleに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Single.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Single.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1083,32 +1083,32 @@ <h2 id="single">Single</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Prompting.html" title="Promptingに関する論文・技術記事メモの一覧">
-            Promptingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InstructionTuning.html" title="InstructionTuningに関する論文・技術記事メモの一覧">
+            InstructionTuningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Assessment.html" title="Assessmentに関する論文・技術記事メモの一覧">
-            Assessmentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Others.html" title="Othersに関する論文・技術記事メモの一覧">
+            Othersに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/KnowledgeTracing.html" title="KnowledgeTracingに関する論文・技術記事メモの一覧">
-            KnowledgeTracingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CodeGeneration.html" title="CodeGenerationに関する論文・技術記事メモの一覧">
+            CodeGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Single.html" title="Singleに関する論文・技術記事メモの一覧">
-            Singleに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ContextWindow.html" title="ContextWindowに関する論文・技術記事メモの一覧">
+            ContextWindowに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/SingleFramework.html b/docs/articles/SingleFramework.html
index f142023f8..d81fd6ae4 100644
--- a/docs/articles/SingleFramework.html
+++ b/docs/articles/SingleFramework.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/SingleFramework.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="SingleFrameworkに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"SingleFramework #NaturalLanguageGeneration#NLP#ConceptToTextIssue Date: 2017-12-31 Inducing document plans for concept-to-text generation, Konstas+, EMNLP13 #NaturalLanguageGeneration#NLP#ConceptToTextIssue Date: 2017-12-31 Unsupervised concept-to-text generation with hypergraphs, Konstas+, NAACL-HLT12 #NaturalLanguageGeneration#NLP#ConceptToTextIssue Date: 2017-12-31 Generative alignment and semantic parsing for learning from ambiguous supervision, Kim+, COLING10 more","headline":"SingleFrameworkに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/SingleFramework.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/SingleFramework.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"SingleFramework #NaturalLanguageGeneration#NLP#ConceptToTextIssue Date: 2017-12-31 Inducing document plans for concept-to-text generation, Konstas+, EMNLP13 #NaturalLanguageGeneration#NLP#ConceptToTextIssue Date: 2017-12-31 Unsupervised concept-to-text generation with hypergraphs, Konstas+, NAACL-HLT12 #NaturalLanguageGeneration#NLP#ConceptToTextIssue Date: 2017-12-31 Generative alignment and semantic parsing for learning from ambiguous supervision, Kim+, COLING10 more","headline":"SingleFrameworkに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/SingleFramework.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/SingleFramework.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1029,32 +1029,32 @@ <h2 id="singleframework">SingleFramework</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/OnlineLearning.html" title="OnlineLearningに関する論文・技術記事メモの一覧">
-            OnlineLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/QA-based.html" title="QA-basedに関する論文・技術記事メモの一覧">
+            QA-basedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NumericReasoning.html" title="NumericReasoningに関する論文・技術記事メモの一覧">
-            NumericReasoningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Session.html" title="Sessionに関する論文・技術記事メモの一覧">
+            Sessionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DocumentSummarization.html" title="DocumentSummarizationに関する論文・技術記事メモの一覧">
-            DocumentSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CollaborativeFiltering.html" title="CollaborativeFilteringに関する論文・技術記事メモの一覧">
+            CollaborativeFilteringに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/OpenLLM.html" title="OpenLLMに関する論文・技術記事メモの一覧">
-            OpenLLMに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Others.html" title="Othersに関する論文・技術記事メモの一覧">
+            Othersに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/SmallModel.html b/docs/articles/SmallModel.html
index 33aa134ae..31e2a6f4f 100644
--- a/docs/articles/SmallModel.html
+++ b/docs/articles/SmallModel.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/SmallModel.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="SmallModelに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"SmallModel #Pocket#NLP#LanguageModelIssue Date: 2023-11-14 Cappy: Outperforming and Boosting Large Multi-Task LMs with a Small Scorer, Bowen Tan+, N_A, arXiv23 Summary大規模言語モデル（LLMs）はマルチタスキングに優れた性能を示していますが、パラメータ数が多く計算リソースを必要とし、効率的ではありません。そこで、小規模なスコアラーであるCappyを導入し、独立して機能するかLLMsの補助として使用することでパフォーマンスを向上させました。Cappyはファインチューニングやパラメータへのアクセスを必要とせず、さまざまなタスクで高い性能を発揮します。実験結果では、Cappyは独立したタスクや複雑なタスクで大きなLLMsを上回り、他のLLMsとの連携も可能です。 Comment360MパラメータでさまざまなタスクでLLMに勝つっぽいのでおもしろそうだし実用性もありそう ...","headline":"SmallModelに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/SmallModel.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/SmallModel.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"SmallModel #Pocket#NLP#LanguageModelIssue Date: 2023-11-14 Cappy: Outperforming and Boosting Large Multi-Task LMs with a Small Scorer, Bowen Tan+, N_A, arXiv23 Summary大規模言語モデル（LLMs）はマルチタスキングに優れた性能を示していますが、パラメータ数が多く計算リソースを必要とし、効率的ではありません。そこで、小規模なスコアラーであるCappyを導入し、独立して機能するかLLMsの補助として使用することでパフォーマンスを向上させました。Cappyはファインチューニングやパラメータへのアクセスを必要とせず、さまざまなタスクで高い性能を発揮します。実験結果では、Cappyは独立したタスクや複雑なタスクで大きなLLMsを上回り、他のLLMsとの連携も可能です。 Comment360MパラメータでさまざまなタスクでLLMに勝つっぽいのでおもしろそうだし実用性もありそう ...","headline":"SmallModelに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/SmallModel.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/SmallModel.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1012,32 +1012,32 @@ <h2 id="smallmodel">SmallModel</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ReviewGeneration.html" title="ReviewGenerationに関する論文・技術記事メモの一覧">
-            ReviewGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TheoryOfMind.html" title="TheoryOfMindに関する論文・技術記事メモの一覧">
+            TheoryOfMindに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Training-Free.html" title="Training-Freeに関する論文・技術記事メモの一覧">
-            Training-Freeに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DialogueGeneration.html" title="DialogueGenerationに関する論文・技術記事メモの一覧">
+            DialogueGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/QueryBiased.html" title="QueryBiasedに関する論文・技術記事メモの一覧">
-            QueryBiasedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Tutorial.html" title="Tutorialに関する論文・技術記事メモの一覧">
+            Tutorialに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/StudentPerformancePrediction.html" title="StudentPerformancePredictionに関する論文・技術記事メモの一覧">
-            StudentPerformancePredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Session.html" title="Sessionに関する論文・技術記事メモの一覧">
+            Sessionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Snippets.html b/docs/articles/Snippets.html
index 81fe63b04..7ed9ace2b 100644
--- a/docs/articles/Snippets.html
+++ b/docs/articles/Snippets.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Snippets.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Snippetsに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Snippets #Article#DocumentSummarization#NLPIssue Date: 2017-12-28 Web page summarization using clickthrough data, Sun et al., SIGIR’05, 2005 #Article#DocumentSummarization#NLP#QueryBiasedIssue Date: 2017-12-28 Learning query-biased web page summarization, Wang et al., CIKM’07, 2007 Comment・従来のquery-biasedな要約におけるclassificationアプローチは，training内のdocumentの情報が未知のdocumentのsentenceのclassificationに役立つというものだった．これは，たとえば似たような情報を多く含むscientific artic ... #Article#DocumentSummarization#NLPIssue Date: 2017-12-28 Enhanced web document summarization using hyperlinks, Delort et al., HT’03, 2003 Comment・Genericなweb pageの要約をつくる ・要約を作る際に，ページの内容から作るわけではなく，contextを用いて作る．contextとは，target pageにリンクを張っているページにおけるリンクの周辺にある文のこと． ・contextを利用した要約では，partialityとt ... more","headline":"Snippetsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Snippets.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Snippets.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Snippets #Article#DocumentSummarization#NLPIssue Date: 2017-12-28 Web page summarization using clickthrough data, Sun et al., SIGIR’05, 2005 #Article#DocumentSummarization#NLP#QueryBiasedIssue Date: 2017-12-28 Learning query-biased web page summarization, Wang et al., CIKM’07, 2007 Comment・従来のquery-biasedな要約におけるclassificationアプローチは，training内のdocumentの情報が未知のdocumentのsentenceのclassificationに役立つというものだった．これは，たとえば似たような情報を多く含むscientific artic ... #Article#DocumentSummarization#NLPIssue Date: 2017-12-28 Enhanced web document summarization using hyperlinks, Delort et al., HT’03, 2003 Comment・Genericなweb pageの要約をつくる ・要約を作る際に，ページの内容から作るわけではなく，contextを用いて作る．contextとは，target pageにリンクを張っているページにおけるリンクの周辺にある文のこと． ・contextを利用した要約では，partialityとt ... more","headline":"Snippetsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Snippets.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Snippets.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1027,32 +1027,32 @@ <h2 id="snippets">Snippets</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/InformationExtraction.html" title="InformationExtractionに関する論文・技術記事メモの一覧">
-            InformationExtractionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ConceptToText.html" title="ConceptToTextに関する論文・技術記事メモの一覧">
+            ConceptToTextに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InteractivePersonalizedSummarization.html" title="InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧">
-            InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/RLHF.html" title="RLHFに関する論文・技術記事メモの一覧">
+            RLHFに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Survey.html" title="Surveyに関する論文・技術記事メモの一覧">
-            Surveyに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LearningAnalytics.html" title="LearningAnalyticsに関する論文・技術記事メモの一覧">
+            LearningAnalyticsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TabularData.html" title="TabularDataに関する論文・技術記事メモの一覧">
-            TabularDataに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/QuestionAnswering.html" title="QuestionAnsweringに関する論文・技術記事メモの一覧">
+            QuestionAnsweringに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Speech.html b/docs/articles/Speech.html
index eccce17ba..ecc4306d2 100644
--- a/docs/articles/Speech.html
+++ b/docs/articles/Speech.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Speech.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Speechに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Speech #Survey#Pocket#Spoken Language Processing#Evaluation#FoundationModelIssue Date: 2024-04-21 A Large-Scale Evaluation of Speech Foundation Models, Shu-wen Yang+, N_A, arXiv24 Summary基盤モデルパラダイムは、共有基盤モデルを使用して最先端のパフォーマンスを達成し、下流特有のモデリングやデータ注釈を最小限に抑えることを目指す。このアプローチは、自然言語処理（NLP）の分野で成功しているが、音声処理分野では類似したセットアップが不足している。本研究では、音声処理ユニバーサルパフォーマンスベンチマーク（SUPERB）を設立し、音声に対する基盤モデルパラダイムの効果を調査する。凍結された基盤モデルに続いて、タスク専用の軽量な予測ヘッドを使用して、SUPERB内の音声処理タスクに取り組むための統一されたマルチタスキングフレームワークを提案する。結果は、基盤モデルパラダイムが音声に有望であり、提案されたマルチタスキングフレームワークが効果的であることを示し、最も優れた基盤モデルがほとんどのSUPERBタスクで競争力のある汎化性能を持つことを示している。 CommentSpeech関連のFoundation Modelの評価結果が載っているらしい。図は下記ツイートより引用参考:https://x.com/unilightwf/status/1781659340065345766?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #MachineTranslation#Unsupervised#NLP#AudioProcessingIssue Date: 2023-07-15 Simple and Effective Unsupervised Speech Translation, ACL23 Summary音声翻訳のためのラベル付きデータが限られているため、非教師あり手法を使用して音声翻訳システムを構築する方法を研究している。パイプラインアプローチや擬似ラベル生成を使用し、非教師ありドメイン適応技術を提案している。実験の結果、従来の手法を上回る性能を示している。","headline":"Speechに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Speech.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Speech.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Speech #Survey#Pocket#Spoken Language Processing#Evaluation#FoundationModelIssue Date: 2024-04-21 A Large-Scale Evaluation of Speech Foundation Models, Shu-wen Yang+, N_A, arXiv24 Summary基盤モデルパラダイムは、共有基盤モデルを使用して最先端のパフォーマンスを達成し、下流特有のモデリングやデータ注釈を最小限に抑えることを目指す。このアプローチは、自然言語処理（NLP）の分野で成功しているが、音声処理分野では類似したセットアップが不足している。本研究では、音声処理ユニバーサルパフォーマンスベンチマーク（SUPERB）を設立し、音声に対する基盤モデルパラダイムの効果を調査する。凍結された基盤モデルに続いて、タスク専用の軽量な予測ヘッドを使用して、SUPERB内の音声処理タスクに取り組むための統一されたマルチタスキングフレームワークを提案する。結果は、基盤モデルパラダイムが音声に有望であり、提案されたマルチタスキングフレームワークが効果的であることを示し、最も優れた基盤モデルがほとんどのSUPERBタスクで競争力のある汎化性能を持つことを示している。 CommentSpeech関連のFoundation Modelの評価結果が載っているらしい。図は下記ツイートより引用参考:https://x.com/unilightwf/status/1781659340065345766?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #MachineTranslation#Unsupervised#NLP#AudioProcessingIssue Date: 2023-07-15 Simple and Effective Unsupervised Speech Translation, ACL23 Summary音声翻訳のためのラベル付きデータが限られているため、非教師あり手法を使用して音声翻訳システムを構築する方法を研究している。パイプラインアプローチや擬似ラベル生成を使用し、非教師ありドメイン適応技術を提案している。実験の結果、従来の手法を上回る性能を示している。","headline":"Speechに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Speech.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Speech.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1014,32 +1014,32 @@ <h2 id="speech">Speech</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Faithfulness.html" title="Faithfulnessに関する論文・技術記事メモの一覧">
-            Faithfulnessに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InteractiveRecommenderSystems.html" title="InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧">
+            InteractiveRecommenderSystemsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Infrastructure.html" title="Infrastructureに関する論文・技術記事メモの一覧">
-            Infrastructureに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PositionalEncoding.html" title="PositionalEncodingに関する論文・技術記事メモの一覧">
+            PositionalEncodingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InductiveBias.html" title="InductiveBiasに関する論文・技術記事メモの一覧">
-            InductiveBiasに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataDistillation.html" title="DataDistillationに関する論文・技術記事メモの一覧">
+            DataDistillationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RetrievalAugmentedGeneration.html" title="RetrievalAugmentedGenerationに関する論文・技術記事メモの一覧">
-            RetrievalAugmentedGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Composition.html" title="Compositionに関する論文・技術記事メモの一覧">
+            Compositionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Spoken Language Processing.html b/docs/articles/Spoken Language Processing.html
index 12f469101..f91720e60 100644
--- a/docs/articles/Spoken Language Processing.html	
+++ b/docs/articles/Spoken Language Processing.html	
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Spoken%20Language%20Processing.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Spoken Language Processingに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Spoken Language Processing #Survey#Pocket#Evaluation#FoundationModel#SpeechIssue Date: 2024-04-21 A Large-Scale Evaluation of Speech Foundation Models, Shu-wen Yang+, N_A, arXiv24 Summary基盤モデルパラダイムは、共有基盤モデルを使用して最先端のパフォーマンスを達成し、下流特有のモデリングやデータ注釈を最小限に抑えることを目指す。このアプローチは、自然言語処理（NLP）の分野で成功しているが、音声処理分野では類似したセットアップが不足している。本研究では、音声処理ユニバーサルパフォーマンスベンチマーク（SUPERB）を設立し、音声に対する基盤モデルパラダイムの効果を調査する。凍結された基盤モデルに続いて、タスク専用の軽量な予測ヘッドを使用して、SUPERB内の音声処理タスクに取り組むための統一されたマルチタスキングフレームワークを提案する。結果は、基盤モデルパラダイムが音声に有望であり、提案されたマルチタスキングフレームワークが効果的であることを示し、最も優れた基盤モデルがほとんどのSUPERBタスクで競争力のある汎化性能を持つことを示している。 CommentSpeech関連のFoundation Modelの評価結果が載っているらしい。図は下記ツイートより引用参考:https://x.com/unilightwf/status/1781659340065345766?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #ComputerVision#Pocket#NLP#LanguageModel#MulltiModal#AudioProcessingIssue Date: 2023-07-22 Meta-Transformer: A Unified Framework for Multimodal Learning, Yiyuan Zhang+, N_A, arXiv23 Summary本研究では、マルチモーダル学習のためのMeta-Transformerというフレームワークを提案しています。このフレームワークは、異なるモダリティの情報を処理し関連付けるための統一されたネットワークを構築することを目指しています。Meta-Transformerは、対応のないデータを使用して12のモダリティ間で統一された学習を行うことができ、テキスト、画像、ポイントクラウド、音声、ビデオなどの基本的なパーセプションから、X線、赤外線、高分光、IMUなどの実用的なアプリケーション、グラフ、表形式、時系列などのデータマイニングまで、幅広いタスクを処理することができます。Meta-Transformerは、トランスフォーマーを用いた統一されたマルチモーダルインテリジェンスの開発に向けた有望な未来を示しています。 Comment12種類のモダリティに対して学習できるTransformerを提案Dataをsequenceにtokenizeし、unifiedにfeatureをencodingし、それぞれのdownstreamタスクで学習 ... #Article#NLP#Library#SpokenLanguageGenerationIssue Date: 2023-05-04 Bark Commentテキストプロンプトで音声生成ができるモデル。MIT License ... more","headline":"Spoken Language Processingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Spoken%20Language%20Processing.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Spoken%20Language%20Processing.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Spoken Language Processing #Survey#Pocket#Evaluation#FoundationModel#SpeechIssue Date: 2024-04-21 A Large-Scale Evaluation of Speech Foundation Models, Shu-wen Yang+, N_A, arXiv24 Summary基盤モデルパラダイムは、共有基盤モデルを使用して最先端のパフォーマンスを達成し、下流特有のモデリングやデータ注釈を最小限に抑えることを目指す。このアプローチは、自然言語処理（NLP）の分野で成功しているが、音声処理分野では類似したセットアップが不足している。本研究では、音声処理ユニバーサルパフォーマンスベンチマーク（SUPERB）を設立し、音声に対する基盤モデルパラダイムの効果を調査する。凍結された基盤モデルに続いて、タスク専用の軽量な予測ヘッドを使用して、SUPERB内の音声処理タスクに取り組むための統一されたマルチタスキングフレームワークを提案する。結果は、基盤モデルパラダイムが音声に有望であり、提案されたマルチタスキングフレームワークが効果的であることを示し、最も優れた基盤モデルがほとんどのSUPERBタスクで競争力のある汎化性能を持つことを示している。 CommentSpeech関連のFoundation Modelの評価結果が載っているらしい。図は下記ツイートより引用参考:https://x.com/unilightwf/status/1781659340065345766?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #ComputerVision#Pocket#NLP#LanguageModel#MulltiModal#AudioProcessingIssue Date: 2023-07-22 Meta-Transformer: A Unified Framework for Multimodal Learning, Yiyuan Zhang+, N_A, arXiv23 Summary本研究では、マルチモーダル学習のためのMeta-Transformerというフレームワークを提案しています。このフレームワークは、異なるモダリティの情報を処理し関連付けるための統一されたネットワークを構築することを目指しています。Meta-Transformerは、対応のないデータを使用して12のモダリティ間で統一された学習を行うことができ、テキスト、画像、ポイントクラウド、音声、ビデオなどの基本的なパーセプションから、X線、赤外線、高分光、IMUなどの実用的なアプリケーション、グラフ、表形式、時系列などのデータマイニングまで、幅広いタスクを処理することができます。Meta-Transformerは、トランスフォーマーを用いた統一されたマルチモーダルインテリジェンスの開発に向けた有望な未来を示しています。 Comment12種類のモダリティに対して学習できるTransformerを提案Dataをsequenceにtokenizeし、unifiedにfeatureをencodingし、それぞれのdownstreamタスクで学習 ... #Article#NLP#Library#SpokenLanguageGenerationIssue Date: 2023-05-04 Bark Commentテキストプロンプトで音声生成ができるモデル。MIT License ... more","headline":"Spoken Language Processingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Spoken%20Language%20Processing.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Spoken%20Language%20Processing.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1026,32 +1026,32 @@ <h2 id="spoken-language-processing">Spoken Language Processing</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/PointWise.html" title="PointWiseに関する論文・技術記事メモの一覧">
-            PointWiseに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataDistillation.html" title="DataDistillationに関する論文・技術記事メモの一覧">
+            DataDistillationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Personalization.html" title="Personalizationに関する論文・技術記事メモの一覧">
-            Personalizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DialogueGeneration.html" title="DialogueGenerationに関する論文・技術記事メモの一覧">
+            DialogueGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/KnowledgeGraph.html" title="KnowledgeGraphに関する論文・技術記事メモの一覧">
-            KnowledgeGraphに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CodeGeneration.html" title="CodeGenerationに関する論文・技術記事メモの一覧">
+            CodeGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/translation_required.html" title="translation_requiredに関する論文・技術記事メモの一覧">
-            translation_requiredに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SyntheticData.html" title="SyntheticDataに関する論文・技術記事メモの一覧">
+            SyntheticDataに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/SpokenLanguageGeneration.html b/docs/articles/SpokenLanguageGeneration.html
index afcae4af4..efc813243 100644
--- a/docs/articles/SpokenLanguageGeneration.html
+++ b/docs/articles/SpokenLanguageGeneration.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/SpokenLanguageGeneration.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="SpokenLanguageGenerationに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"SpokenLanguageGeneration #Article#NLP#Library#Spoken Language ProcessingIssue Date: 2023-05-04 Bark Commentテキストプロンプトで音声生成ができるモデル。MIT License ...","headline":"SpokenLanguageGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/SpokenLanguageGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/SpokenLanguageGeneration.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"SpokenLanguageGeneration #Article#NLP#Library#Spoken Language ProcessingIssue Date: 2023-05-04 Bark Commentテキストプロンプトで音声生成ができるモデル。MIT License ...","headline":"SpokenLanguageGenerationに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/SpokenLanguageGeneration.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/SpokenLanguageGeneration.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1010,32 +1010,32 @@ <h2 id="spokenlanguagegeneration">SpokenLanguageGeneration</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Reasoning.html" title="Reasoningに関する論文・技術記事メモの一覧">
-            Reasoningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Argument.html" title="Argumentに関する論文・技術記事メモの一覧">
+            Argumentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RelevanceJudgment.html" title="RelevanceJudgmentに関する論文・技術記事メモの一覧">
-            RelevanceJudgmentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TrainedMetrics.html" title="TrainedMetricsに関する論文・技術記事メモの一覧">
+            TrainedMetricsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/OnlineEvaluation.html" title="OnlineEvaluationに関する論文・技術記事メモの一覧">
-            OnlineEvaluationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Programming.html" title="Programmingに関する論文・技術記事メモの一覧">
+            Programmingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/SingleFramework.html" title="SingleFrameworkに関する論文・技術記事メモの一覧">
-            SingleFrameworkに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Metrics.html" title="Metricsに関する論文・技術記事メモの一覧">
+            Metricsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/StructuredData.html b/docs/articles/StructuredData.html
index 5ac5a00fa..a1647176b 100644
--- a/docs/articles/StructuredData.html
+++ b/docs/articles/StructuredData.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/StructuredData.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="StructuredDataに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"StructuredData #Pocket#NLP#Dataset#LanguageModelIssue Date: 2023-09-30 Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data?, Xiangru Tang+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）の能力を評価し、構造に注意したファインチューニング手法を提案します。さらに、Struc-Benchというデータセットを使用して、複雑な構造化データ生成のパフォーマンスを評価します。実験の結果、提案手法は他の評価されたLLMsよりも優れた性能を示しました。また、モデルの能力マップを提示し、LLMsの弱点と将来の研究の方向性を示唆しています。詳細はhttps://github.com/gersteinlab/Struc-Benchを参照してください。 CommentFormatに関する情報を含むデータでInstruction TuningすることでFormatCoT（フォーマットに関する情報のCoT）を実現している模様。ざっくりしか論文を読んでいないが詳細な情報があまり書かれていない印象で、ちょっとなんともいえない。 ... #NaturalLanguageGeneration#Pocket#NLP#DataToTextIssue Date: 2023-10-28 MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation, Swarnadeep Saha+, N_A, arXiv22 Summary本研究では、半構造化データからのテキスト生成における多段階の推論を行うためのMURMURという手法を提案しています。MURMURは、特定の言語的および論理的なスキルを持つニューラルモジュールと記号モジュールを組み合わせ、ベストファーストサーチ手法を使用して推論パスを生成します。実験結果では、MURMURは他のベースライン手法に比べて大幅な改善を示し、また、ドメイン外のデータでも同等の性能を達成しました。さらに、人間の評価では、MURMURは論理的に整合性のある要約をより多く生成することが示されました。","headline":"StructuredDataに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/StructuredData.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/StructuredData.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"StructuredData #Pocket#NLP#Dataset#LanguageModelIssue Date: 2023-09-30 Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data?, Xiangru Tang+, N_A, arXiv23 Summary本研究では、大規模言語モデル（LLMs）の能力を評価し、構造に注意したファインチューニング手法を提案します。さらに、Struc-Benchというデータセットを使用して、複雑な構造化データ生成のパフォーマンスを評価します。実験の結果、提案手法は他の評価されたLLMsよりも優れた性能を示しました。また、モデルの能力マップを提示し、LLMsの弱点と将来の研究の方向性を示唆しています。詳細はhttps://github.com/gersteinlab/Struc-Benchを参照してください。 CommentFormatに関する情報を含むデータでInstruction TuningすることでFormatCoT（フォーマットに関する情報のCoT）を実現している模様。ざっくりしか論文を読んでいないが詳細な情報があまり書かれていない印象で、ちょっとなんともいえない。 ... #NaturalLanguageGeneration#Pocket#NLP#DataToTextIssue Date: 2023-10-28 MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation, Swarnadeep Saha+, N_A, arXiv22 Summary本研究では、半構造化データからのテキスト生成における多段階の推論を行うためのMURMURという手法を提案しています。MURMURは、特定の言語的および論理的なスキルを持つニューラルモジュールと記号モジュールを組み合わせ、ベストファーストサーチ手法を使用して推論パスを生成します。実験結果では、MURMURは他のベースライン手法に比べて大幅な改善を示し、また、ドメイン外のデータでも同等の性能を達成しました。さらに、人間の評価では、MURMURは論理的に整合性のある要約をより多く生成することが示されました。","headline":"StructuredDataに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/StructuredData.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/StructuredData.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1014,32 +1014,32 @@ <h2 id="structureddata">StructuredData</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/SemanticTextualSimilarity.html" title="SemanticTextualSimilarityに関する論文・技術記事メモの一覧">
-            SemanticTextualSimilarityに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/GenerativeAI.html" title="GenerativeAIに関する論文・技術記事メモの一覧">
+            GenerativeAIに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LLM-as-a-Judge.html" title="LLM-as-a-Judgeに関する論文・技術記事メモの一覧">
-            LLM-as-a-Judgeに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Speech.html" title="Speechに関する論文・技術記事メモの一覧">
+            Speechに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DynamicNetworks.html" title="DynamicNetworksに関する論文・技術記事メモの一覧">
-            DynamicNetworksに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Personalization.html" title="Personalizationに関する論文・技術記事メモの一覧">
+            Personalizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Multi.html" title="Multiに関する論文・技術記事メモの一覧">
-            Multiに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Poisoning.html" title="Poisoningに関する論文・技術記事メモの一覧">
+            Poisoningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/StructuredLearning.html b/docs/articles/StructuredLearning.html
index dde80d2fd..505f67045 100644
--- a/docs/articles/StructuredLearning.html
+++ b/docs/articles/StructuredLearning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/StructuredLearning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="StructuredLearningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"StructuredLearning #MachineLearningIssue Date: 2017-12-31 Online Distributed Passive-Aggressive Algorithm for Structured Learning, Zhao+, CCL and NLP-NABD13 Commentタイトルの通り、構造学習版のpassive-aggressiveアルゴリズムの分散処理による高速化手法について提案されている論文。 論文中のAlgorithm.2がアルゴリズム。 ... #MachineLearningIssue Date: 2017-12-31 Structured Learning for Non-Smooth Ranking Losses, Chakrabarti+, KDD08 Comment従来、structured learningの設定でranking lossを最適化する際は、smoothなmetric、たとえばMAPやAUCなどを最適化するといったことが行われていたが、MRRやNDCGなどのnon-smoothなmetricに対しては適用されていなかった。 なので、それを ... #MachineLearning#InformationRetrievalIssue Date: 2017-12-31 A support vector method for Optimizing Average Precision, Yue+, SIGIR07 CommentSVM-MAPの論文 構造化SVMを用いて、MAPを直接最適化する。 ... more","headline":"StructuredLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/StructuredLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/StructuredLearning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"StructuredLearning #MachineLearningIssue Date: 2017-12-31 Online Distributed Passive-Aggressive Algorithm for Structured Learning, Zhao+, CCL and NLP-NABD13 Commentタイトルの通り、構造学習版のpassive-aggressiveアルゴリズムの分散処理による高速化手法について提案されている論文。 論文中のAlgorithm.2がアルゴリズム。 ... #MachineLearningIssue Date: 2017-12-31 Structured Learning for Non-Smooth Ranking Losses, Chakrabarti+, KDD08 Comment従来、structured learningの設定でranking lossを最適化する際は、smoothなmetric、たとえばMAPやAUCなどを最適化するといったことが行われていたが、MRRやNDCGなどのnon-smoothなmetricに対しては適用されていなかった。 なので、それを ... #MachineLearning#InformationRetrievalIssue Date: 2017-12-31 A support vector method for Optimizing Average Precision, Yue+, SIGIR07 CommentSVM-MAPの論文 構造化SVMを用いて、MAPを直接最適化する。 ... more","headline":"StructuredLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/StructuredLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/StructuredLearning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1038,32 +1038,32 @@ <h2 id="structuredlearning">StructuredLearning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/PositionalEncoding.html" title="PositionalEncodingに関する論文・技術記事メモの一覧">
-            PositionalEncodingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Pruning.html" title="Pruningに関する論文・技術記事メモの一覧">
+            Pruningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningToRank.html" title="LearningToRankに関する論文・技術記事メモの一覧">
-            LearningToRankに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LayoutGeneration.html" title="LayoutGenerationに関する論文・技術記事メモの一覧">
+            LayoutGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Coherence.html" title="Coherenceに関する論文・技術記事メモの一覧">
-            Coherenceに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AffectDetection.html" title="AffectDetectionに関する論文・技術記事メモの一覧">
+            AffectDetectionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Transformer.html" title="Transformerに関する論文・技術記事メモの一覧">
-            Transformerに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Visual%20Words.html" title="Visual Wordsに関する論文・技術記事メモの一覧">
+            Visual Wordsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/StudentPerformancePrediction.html b/docs/articles/StudentPerformancePrediction.html
index c5d3d99c8..fb2392963 100644
--- a/docs/articles/StudentPerformancePrediction.html
+++ b/docs/articles/StudentPerformancePrediction.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/StudentPerformancePrediction.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="StudentPerformancePredictionに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"StudentPerformancePrediction #Neural#AdaptiveLearning#EducationalDataMiningIssue Date: 2021-10-28 SAINT+: Integrating Temporal Features for EdNet Correctness Prediction, Shin+, RiiiD AI Research, LAK21 CommentStudent Performance PredictionにTransformerを初めて利用した研究 ![image](https://user-images.githubusercontent.com/12249301/139178783-ae4d4e2d-9fc5-44f5-9769- ... #Neural#AdaptiveLearning#EducationalDataMiningIssue Date: 2021-10-28 A Self-Attentive model for Knowledge Tracing, Pandy+ （with George Carypis）, EDM19 CommentKnowledge Tracingタスクに初めてself-attention layerを導入した研究interaction (e_{t}, r_{t}) および current exercise (e_{t+1}) が与えられた時に、current_exerciseの正誤を予測したい。 * e_{ ... #Neural#EducationalDataMiningIssue Date: 2021-11-12 Modeling Hint-Taking Behavior and Knowledge State of Students with Multi-Task Learning, Chaudry+, Indian Institute of Technology, EDM18 CommentDKVMN (#352)をhint-takingタスクとmulti-task learningした研究 ![image](https://user-images.githubusercontent.com/12249301/141440172-6f708367-1804-4b0c-8c1a-4 ... more","headline":"StudentPerformancePredictionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/StudentPerformancePrediction.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/StudentPerformancePrediction.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"StudentPerformancePrediction #Neural#AdaptiveLearning#EducationalDataMiningIssue Date: 2021-10-28 SAINT+: Integrating Temporal Features for EdNet Correctness Prediction, Shin+, RiiiD AI Research, LAK21 CommentStudent Performance PredictionにTransformerを初めて利用した研究 ![image](https://user-images.githubusercontent.com/12249301/139178783-ae4d4e2d-9fc5-44f5-9769- ... #Neural#AdaptiveLearning#EducationalDataMiningIssue Date: 2021-10-28 A Self-Attentive model for Knowledge Tracing, Pandy+ （with George Carypis）, EDM19 CommentKnowledge Tracingタスクに初めてself-attention layerを導入した研究interaction (e_{t}, r_{t}) および current exercise (e_{t+1}) が与えられた時に、current_exerciseの正誤を予測したい。 * e_{ ... #Neural#EducationalDataMiningIssue Date: 2021-11-12 Modeling Hint-Taking Behavior and Knowledge State of Students with Multi-Task Learning, Chaudry+, Indian Institute of Technology, EDM18 CommentDKVMN (#352)をhint-takingタスクとmulti-task learningした研究 ![image](https://user-images.githubusercontent.com/12249301/141440172-6f708367-1804-4b0c-8c1a-4 ... more","headline":"StudentPerformancePredictionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/StudentPerformancePrediction.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/StudentPerformancePrediction.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1100,32 +1100,32 @@ <h2 id="studentperformanceprediction">StudentPerformancePrediction</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Faithfulness.html" title="Faithfulnessに関する論文・技術記事メモの一覧">
-            Faithfulnessに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NewsCitations.html" title="NewsCitationsに関する論文・技術記事メモの一覧">
+            NewsCitationsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Speech.html" title="Speechに関する論文・技術記事メモの一覧">
-            Speechに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Training-Free.html" title="Training-Freeに関する論文・技術記事メモの一覧">
+            Training-Freeに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Word.html" title="Wordに関する論文・技術記事メモの一覧">
-            Wordに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/QueryClassification.html" title="QueryClassificationに関する論文・技術記事メモの一覧">
+            QueryClassificationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Training-Free.html" title="Training-Freeに関する論文・技術記事メモの一覧">
-            Training-Freeに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Ensemble.html" title="Ensembleに関する論文・技術記事メモの一覧">
+            Ensembleに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Supervised.html b/docs/articles/Supervised.html
index 1d8e67a1c..527d52ffe 100644
--- a/docs/articles/Supervised.html
+++ b/docs/articles/Supervised.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Supervised.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Supervisedに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Supervised #DocumentSummarization#Neural#Document#Pocket#NLPIssue Date: 2018-01-01 Coarse-to-Fine Attention Models for Document Summarization, Ling+ （with Rush）, ACL17 Workshop on New Frontiers in Summarization #Single#DocumentSummarization#Neural#Document#NLP#AbstractiveIssue Date: 2017-12-31 Get To The Point: Summarization with Pointer-Generator Networks, See+, ACL17 Comment解説スライド：https://www.slideshare.net/akihikowatanabe3110/get-to-the-point-summarization-with-pointergenerator-networks/1単語の生成と単語のコピーの両方を行えるハイブリッドなニューラル文書 ... #DocumentSummarization#Pocket#NLP#AbstractiveIssue Date: 2017-12-31 A Deep Reinforced Model for Abstractive Summarization, Paulus+（with Socher）, arXiv17 more","headline":"Supervisedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Supervised.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Supervised.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Supervised #DocumentSummarization#Neural#Document#Pocket#NLPIssue Date: 2018-01-01 Coarse-to-Fine Attention Models for Document Summarization, Ling+ （with Rush）, ACL17 Workshop on New Frontiers in Summarization #Single#DocumentSummarization#Neural#Document#NLP#AbstractiveIssue Date: 2017-12-31 Get To The Point: Summarization with Pointer-Generator Networks, See+, ACL17 Comment解説スライド：https://www.slideshare.net/akihikowatanabe3110/get-to-the-point-summarization-with-pointergenerator-networks/1単語の生成と単語のコピーの両方を行えるハイブリッドなニューラル文書 ... #DocumentSummarization#Pocket#NLP#AbstractiveIssue Date: 2017-12-31 A Deep Reinforced Model for Abstractive Summarization, Paulus+（with Socher）, arXiv17 more","headline":"Supervisedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Supervised.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Supervised.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1074,32 +1074,32 @@ <h2 id="supervised">Supervised</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Dataset.html" title="Datasetに関する論文・技術記事メモの一覧">
-            Datasetに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PersonalizedGeneration.html" title="PersonalizedGenerationに関する論文・技術記事メモの一覧">
+            PersonalizedGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NewsRecommendation.html" title="NewsRecommendationに関する論文・技術記事メモの一覧">
-            NewsRecommendationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ContrastiveLearning.html" title="ContrastiveLearningに関する論文・技術記事メモの一覧">
+            ContrastiveLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/StructuredLearning.html" title="StructuredLearningに関する論文・技術記事メモの一覧">
-            StructuredLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PositionalEncoding.html" title="PositionalEncodingに関する論文・技術記事メモの一覧">
+            PositionalEncodingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Tools.html" title="Toolsに関する論文・技術記事メモの一覧">
-            Toolsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Embed.html" title="Embedに関する論文・技術記事メモの一覧">
+            Embedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Survey.html b/docs/articles/Survey.html
index b25cf51c3..72de7c91d 100644
--- a/docs/articles/Survey.html
+++ b/docs/articles/Survey.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Survey.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Surveyに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Survey #Pocket#Spoken Language Processing#Evaluation#FoundationModel#SpeechIssue Date: 2024-04-21 A Large-Scale Evaluation of Speech Foundation Models, Shu-wen Yang+, N_A, arXiv24 Summary基盤モデルパラダイムは、共有基盤モデルを使用して最先端のパフォーマンスを達成し、下流特有のモデリングやデータ注釈を最小限に抑えることを目指す。このアプローチは、自然言語処理（NLP）の分野で成功しているが、音声処理分野では類似したセットアップが不足している。本研究では、音声処理ユニバーサルパフォーマンスベンチマーク（SUPERB）を設立し、音声に対する基盤モデルパラダイムの効果を調査する。凍結された基盤モデルに続いて、タスク専用の軽量な予測ヘッドを使用して、SUPERB内の音声処理タスクに取り組むための統一されたマルチタスキングフレームワークを提案する。結果は、基盤モデルパラダイムが音声に有望であり、提案されたマルチタスキングフレームワークが効果的であることを示し、最も優れた基盤モデルがほとんどのSUPERBタスクで競争力のある汎化性能を持つことを示している。 CommentSpeech関連のFoundation Modelの評価結果が載っているらしい。図は下記ツイートより引用参考:https://x.com/unilightwf/status/1781659340065345766?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Pocket#NLP#LanguageModelIssue Date: 2024-04-14 Knowledge Conflicts for LLMs: A Survey, Rongwu Xu+, N_A, arXiv24 SummaryLLMsにおける知識の衝突に焦点を当て、文脈とパラメトリック知識の組み合わせによる複雑な課題を分析。文脈-メモリ、文脈間、メモリ内の衝突の3つのカテゴリーを探求し、実世界のアプリケーションにおける信頼性とパフォーマンスへの影響を検討。解決策を提案し、LLMsの堅牢性向上を目指す。 #RecommenderSystems#Pocket#GenerativeAIIssue Date: 2024-04-02 A Review of Modern Recommender Systems Using Generative Models （Gen-RecSys）, Yashar Deldjoo+, N_A, arXiv24 Summary従来のレコメンドシステムは、ユーザー-アイテムの評価履歴を主要なデータソースとして使用してきたが、最近では生成モデルを活用して、テキストや画像など豊富なデータを含めた新しい推薦タスクに取り組んでいる。この研究では、生成モデル（Gen-RecSys）を用いたレコメンドシステムの進歩に焦点を当て、相互作用駆動型生成モデルや大規模言語モデル（LLM）を用いた生成型推薦、画像や動画コンテンツの処理と生成のためのマルチモーダルモデルなどについて調査している。未解決の課題や必要なパラダイムについても議論している。 more","headline":"Surveyに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Survey.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Survey.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Survey #Pocket#Spoken Language Processing#Evaluation#FoundationModel#SpeechIssue Date: 2024-04-21 A Large-Scale Evaluation of Speech Foundation Models, Shu-wen Yang+, N_A, arXiv24 Summary基盤モデルパラダイムは、共有基盤モデルを使用して最先端のパフォーマンスを達成し、下流特有のモデリングやデータ注釈を最小限に抑えることを目指す。このアプローチは、自然言語処理（NLP）の分野で成功しているが、音声処理分野では類似したセットアップが不足している。本研究では、音声処理ユニバーサルパフォーマンスベンチマーク（SUPERB）を設立し、音声に対する基盤モデルパラダイムの効果を調査する。凍結された基盤モデルに続いて、タスク専用の軽量な予測ヘッドを使用して、SUPERB内の音声処理タスクに取り組むための統一されたマルチタスキングフレームワークを提案する。結果は、基盤モデルパラダイムが音声に有望であり、提案されたマルチタスキングフレームワークが効果的であることを示し、最も優れた基盤モデルがほとんどのSUPERBタスクで競争力のある汎化性能を持つことを示している。 CommentSpeech関連のFoundation Modelの評価結果が載っているらしい。図は下記ツイートより引用参考:https://x.com/unilightwf/status/1781659340065345766?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Pocket#NLP#LanguageModelIssue Date: 2024-04-14 Knowledge Conflicts for LLMs: A Survey, Rongwu Xu+, N_A, arXiv24 SummaryLLMsにおける知識の衝突に焦点を当て、文脈とパラメトリック知識の組み合わせによる複雑な課題を分析。文脈-メモリ、文脈間、メモリ内の衝突の3つのカテゴリーを探求し、実世界のアプリケーションにおける信頼性とパフォーマンスへの影響を検討。解決策を提案し、LLMsの堅牢性向上を目指す。 #RecommenderSystems#Pocket#GenerativeAIIssue Date: 2024-04-02 A Review of Modern Recommender Systems Using Generative Models （Gen-RecSys）, Yashar Deldjoo+, N_A, arXiv24 Summary従来のレコメンドシステムは、ユーザー-アイテムの評価履歴を主要なデータソースとして使用してきたが、最近では生成モデルを活用して、テキストや画像など豊富なデータを含めた新しい推薦タスクに取り組んでいる。この研究では、生成モデル（Gen-RecSys）を用いたレコメンドシステムの進歩に焦点を当て、相互作用駆動型生成モデルや大規模言語モデル（LLM）を用いた生成型推薦、画像や動画コンテンツの処理と生成のためのマルチモーダルモデルなどについて調査している。未解決の課題や必要なパラダイムについても議論している。 more","headline":"Surveyに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Survey.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Survey.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1321,32 +1321,32 @@ <h2 id="survey">Survey</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/PairWise.html" title="PairWiseに関する論文・技術記事メモの一覧">
-            PairWiseに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DesignPattern.html" title="DesignPatternに関する論文・技術記事メモの一覧">
+            DesignPatternに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/AudioProcessing.html" title="AudioProcessingに関する論文・技術記事メモの一覧">
-            AudioProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Optimizer.html" title="Optimizerに関する論文・技術記事メモの一覧">
+            Optimizerに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/OpenLLM.html" title="OpenLLMに関する論文・技術記事メモの一覧">
-            OpenLLMに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Navigation.html" title="Navigationに関する論文・技術記事メモの一覧">
+            Navigationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Bias.html" title="Biasに関する論文・技術記事メモの一覧">
-            Biasに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Assessment.html" title="Assessmentに関する論文・技術記事メモの一覧">
+            Assessmentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Synchrophancy.html b/docs/articles/Synchrophancy.html
index 9dbf18e2b..143bd326b 100644
--- a/docs/articles/Synchrophancy.html
+++ b/docs/articles/Synchrophancy.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Synchrophancy.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Synchrophancyに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Synchrophancy #Pocket#NLP#LanguageModel#Alignment#FinetuningIssue Date: 2023-09-10 Simple synthetic data reduces sycophancy in large language models, Jerry Wei+, N_A, arXiv23 Summary本研究では、機械学習モデルのおべっか行動を減らすための方法を提案しています。まず、言語モデルにおけるおべっか行動の普及度を調査し、その行動を減らすための合成データ介入を提案しています。具体的には、ユーザーの意見に対してモデルが頑健であることを促す合成データを使用し、モデルのファインチューニングを行います。これにより、おべっか行動を大幅に減らすことができます。提案手法の詳細は、https://github.com/google/sycophancy-intervention で確認できます。 CommentLLMはユーザの好む回答をするように事前学習されるため、prompt中にユーザの意見が含まれていると、ユーザの意見に引っ張られ仮に不正解でもユーザの好む回答をしてしまう問題があることを示した。また、その対策として人工的にユーザの意見と、claimを独立させるように学習するためのデータセットを生成しF ...","headline":"Synchrophancyに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Synchrophancy.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Synchrophancy.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Synchrophancy #Pocket#NLP#LanguageModel#Alignment#FinetuningIssue Date: 2023-09-10 Simple synthetic data reduces sycophancy in large language models, Jerry Wei+, N_A, arXiv23 Summary本研究では、機械学習モデルのおべっか行動を減らすための方法を提案しています。まず、言語モデルにおけるおべっか行動の普及度を調査し、その行動を減らすための合成データ介入を提案しています。具体的には、ユーザーの意見に対してモデルが頑健であることを促す合成データを使用し、モデルのファインチューニングを行います。これにより、おべっか行動を大幅に減らすことができます。提案手法の詳細は、https://github.com/google/sycophancy-intervention で確認できます。 CommentLLMはユーザの好む回答をするように事前学習されるため、prompt中にユーザの意見が含まれていると、ユーザの意見に引っ張られ仮に不正解でもユーザの好む回答をしてしまう問題があることを示した。また、その対策として人工的にユーザの意見と、claimを独立させるように学習するためのデータセットを生成しF ...","headline":"Synchrophancyに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Synchrophancy.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Synchrophancy.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1012,32 +1012,32 @@ <h2 id="synchrophancy">Synchrophancy</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/LanguageModel.html" title="LanguageModelに関する論文・技術記事メモの一覧">
-            LanguageModelに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Education.html" title="Educationに関する論文・技術記事メモの一覧">
+            Educationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ImplicitFeedback.html" title="ImplicitFeedbackに関する論文・技術記事メモの一覧">
-            ImplicitFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Document.html" title="Documentに関する論文・技術記事メモの一覧">
+            Documentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/FoundationModel.html" title="FoundationModelに関する論文・技術記事メモの一覧">
-            FoundationModelに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Pocket.html" title="Pocketに関する論文・技術記事メモの一覧">
+            Pocketに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TabularData.html" title="TabularDataに関する論文・技術記事メモの一覧">
-            TabularDataに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ReviewGeneration.html" title="ReviewGenerationに関する論文・技術記事メモの一覧">
+            ReviewGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/SyntheticData.html b/docs/articles/SyntheticData.html
index 89b1a8b72..c4183a5bd 100644
--- a/docs/articles/SyntheticData.html
+++ b/docs/articles/SyntheticData.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/SyntheticData.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="SyntheticDataに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"SyntheticData #NLP#LanguageModel#EvaluationIssue Date: 2023-05-22 Visualizing Linguistic Diversity of Text Datasets Synthesized by Large Language Models, Emily Reif+, N_A, arXiv23 SummaryLLMsを使用して生成されたデータセットの構文的多様性を理解し分析するための新しい可視化ツールであるLinguisticLensが提供された。このツールは、テキストを構文、語彙、および意味の軸に沿ってクラスタリングし、階層的な可視化をサポートしている。ライブデモはshorturl.at/zHOUVで利用可能。 CommentLLMを用いてfew-shot promptingを利用して生成されたデータセットを理解し評価することは難しく、そもそもLLMによって生成されるデータの失敗に関してはあまり理解が進んでいない（e.g. repetitionなどは知られている）。この研究では、LLMによって生成されたデータセットの特性 ...","headline":"SyntheticDataに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/SyntheticData.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/SyntheticData.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"SyntheticData #NLP#LanguageModel#EvaluationIssue Date: 2023-05-22 Visualizing Linguistic Diversity of Text Datasets Synthesized by Large Language Models, Emily Reif+, N_A, arXiv23 SummaryLLMsを使用して生成されたデータセットの構文的多様性を理解し分析するための新しい可視化ツールであるLinguisticLensが提供された。このツールは、テキストを構文、語彙、および意味の軸に沿ってクラスタリングし、階層的な可視化をサポートしている。ライブデモはshorturl.at/zHOUVで利用可能。 CommentLLMを用いてfew-shot promptingを利用して生成されたデータセットを理解し評価することは難しく、そもそもLLMによって生成されるデータの失敗に関してはあまり理解が進んでいない（e.g. repetitionなどは知られている）。この研究では、LLMによって生成されたデータセットの特性 ...","headline":"SyntheticDataに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/SyntheticData.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/SyntheticData.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1012,32 +1012,32 @@ <h2 id="syntheticdata">SyntheticData</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/NaturalLanguageUnderstanding.html" title="NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧">
-            NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LearningStyle.html" title="LearningStyleに関する論文・技術記事メモの一覧">
+            LearningStyleに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ILP.html" title="ILPに関する論文・技術記事メモの一覧">
-            ILPに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Mathematics.html" title="Mathematicsに関する論文・技術記事メモの一覧">
+            Mathematicsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ExplicitFeedback.html" title="ExplicitFeedbackに関する論文・技術記事メモの一覧">
-            ExplicitFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ImplicitFeedback.html" title="ImplicitFeedbackに関する論文・技術記事メモの一覧">
+            ImplicitFeedbackに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataAugmentation.html" title="DataAugmentationに関する論文・技術記事メモの一覧">
-            DataAugmentationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Speech.html" title="Speechに関する論文・技術記事メモの一覧">
+            Speechに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/TabularData.html b/docs/articles/TabularData.html
index 4fc3fbc58..9ab3bc333 100644
--- a/docs/articles/TabularData.html
+++ b/docs/articles/TabularData.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/TabularData.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="TabularDataに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"TabularData #Survey#NLP#LanguageModel#DataToTextIssue Date: 2024-03-05 Large Language Models（LLMs） on Tabular Data: Prediction, Generation, and Understanding -- A Survey, Xi Fang+, N_A, arXiv24 Summary最近の大規模言語モデリングの進展により、様々なタスクにおける応用が容易になっているが、包括的なレビューが不足している。この研究は、最近の進歩をまとめ、データセット、メトリクス、方法論を調査し、将来の研究方向に洞察を提供することを目的としている。また、関連するコードとデータセットの参照も提供される。 CommentTabular DataにおけるLLM関連のタスクや技術等のサーベイ ... #ComputerVision#NaturalLanguageGeneration#NLP#LanguageModel#TextToImageIssue Date: 2023-07-15 Table and Image Generation for Investigating Knowledge of Entities in Pre-trained Vision and Language Models, ACL23 Summary本研究では、Vision＆Language（V＆L）モデルにおけるエンティティの知識の保持方法を検証するために、テーブルと画像の生成タスクを提案します。このタスクでは、エンティティと関連する画像の知識を含むテーブルを生成する第一の部分と、キャプションとエンティティの関連知識を含むテーブルから画像を生成する第二の部分があります。提案されたタスクを実行するために、Wikipediaの約20万のinfoboxからWikiTIGデータセットを作成しました。最先端のV＆LモデルOFAを使用して、提案されたタスクのパフォーマンスを評価しました。実験結果は、OFAが一部のエンティティ知識を忘れることを示しています。 #NLP#LanguageModelIssue Date: 2023-05-21 StructGPT: A General Framework for Large Language Model to Reason over Structured Data, Jinhao Jiang+, N_A, arXiv23 Summary本論文では、大規模言語モデル（LLMs）を使用して構造化データ上のゼロショット推論能力を改善する方法について研究し、Iterative Reading-then-Reasoning（IRR）アプローチを提案しました。このアプローチでは、構造化データから関連するエビデンスを収集する専門的な関数を構築し、LLMsに収集された情報に基づいて推論タスクに集中させます。外部インターフェースの支援を受けて、LLMsが構造化データ上で推論するためのinvoking-linearization-generation手順を提案し、与えられたクエリに対する目標回答に徐々に近づくことができます。徹底的な実験により、アプローチの有効性を示し、フルデータの教師ありチューニングベースラインと同等のパフォーマンスを達成することができます。コードとデータは、\\url{https://github.com/RUCAIBox/StructGPT}で公開されています。 Comment構造化データに対するLLMのゼロショットのreasoning能力を改善。構造化データに対するQAタスクで手法が有効なことを示した。 ... more","headline":"TabularDataに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/TabularData.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/TabularData.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"TabularData #Survey#NLP#LanguageModel#DataToTextIssue Date: 2024-03-05 Large Language Models（LLMs） on Tabular Data: Prediction, Generation, and Understanding -- A Survey, Xi Fang+, N_A, arXiv24 Summary最近の大規模言語モデリングの進展により、様々なタスクにおける応用が容易になっているが、包括的なレビューが不足している。この研究は、最近の進歩をまとめ、データセット、メトリクス、方法論を調査し、将来の研究方向に洞察を提供することを目的としている。また、関連するコードとデータセットの参照も提供される。 CommentTabular DataにおけるLLM関連のタスクや技術等のサーベイ ... #ComputerVision#NaturalLanguageGeneration#NLP#LanguageModel#TextToImageIssue Date: 2023-07-15 Table and Image Generation for Investigating Knowledge of Entities in Pre-trained Vision and Language Models, ACL23 Summary本研究では、Vision＆Language（V＆L）モデルにおけるエンティティの知識の保持方法を検証するために、テーブルと画像の生成タスクを提案します。このタスクでは、エンティティと関連する画像の知識を含むテーブルを生成する第一の部分と、キャプションとエンティティの関連知識を含むテーブルから画像を生成する第二の部分があります。提案されたタスクを実行するために、Wikipediaの約20万のinfoboxからWikiTIGデータセットを作成しました。最先端のV＆LモデルOFAを使用して、提案されたタスクのパフォーマンスを評価しました。実験結果は、OFAが一部のエンティティ知識を忘れることを示しています。 #NLP#LanguageModelIssue Date: 2023-05-21 StructGPT: A General Framework for Large Language Model to Reason over Structured Data, Jinhao Jiang+, N_A, arXiv23 Summary本論文では、大規模言語モデル（LLMs）を使用して構造化データ上のゼロショット推論能力を改善する方法について研究し、Iterative Reading-then-Reasoning（IRR）アプローチを提案しました。このアプローチでは、構造化データから関連するエビデンスを収集する専門的な関数を構築し、LLMsに収集された情報に基づいて推論タスクに集中させます。外部インターフェースの支援を受けて、LLMsが構造化データ上で推論するためのinvoking-linearization-generation手順を提案し、与えられたクエリに対する目標回答に徐々に近づくことができます。徹底的な実験により、アプローチの有効性を示し、フルデータの教師ありチューニングベースラインと同等のパフォーマンスを達成することができます。コードとデータは、\\url{https://github.com/RUCAIBox/StructGPT}で公開されています。 Comment構造化データに対するLLMのゼロショットのreasoning能力を改善。構造化データに対するQAタスクで手法が有効なことを示した。 ... more","headline":"TabularDataに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/TabularData.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/TabularData.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1036,32 +1036,32 @@ <h2 id="tabulardata">TabularData</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ILP.html" title="ILPに関する論文・技術記事メモの一覧">
-            ILPに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Navigation.html" title="Navigationに関する論文・技術記事メモの一覧">
+            Navigationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InductiveBias.html" title="InductiveBiasに関する論文・技術記事メモの一覧">
-            InductiveBiasに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ItemBased.html" title="ItemBasedに関する論文・技術記事メモの一覧">
+            ItemBasedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ExperimentManagement.html" title="ExperimentManagementに関する論文・技術記事メモの一覧">
-            ExperimentManagementに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MulltiModal.html" title="MulltiModalに関する論文・技術記事メモの一覧">
+            MulltiModalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PersonalizedHeadlineGeneration.html" title="PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧">
-            PersonalizedHeadlineGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AudioProcessing.html" title="AudioProcessingに関する論文・技術記事メモの一覧">
+            AudioProcessingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/TechnologyEnhancedLearning.html b/docs/articles/TechnologyEnhancedLearning.html
index aa0ba8380..01721d0f1 100644
--- a/docs/articles/TechnologyEnhancedLearning.html
+++ b/docs/articles/TechnologyEnhancedLearning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/TechnologyEnhancedLearning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="TechnologyEnhancedLearningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"TechnologyEnhancedLearning #RecommenderSystems#Survey#EducationIssue Date: 2018-03-30 A Survey on Artificial Intelligence and Data Mining for MOOCs, Fauvel+, arXiv16 #Article#RecommenderSystems#Survey#EducationIssue Date: 2018-03-30 Recommender Systems in Technology Enhanced Learning, Manouselis+, Recommender Systems Handbook: A Complete Guide for Research Scientists and Practitioners, 2011 #Article#RecommenderSystems#Survey#EducationIssue Date: 2018-03-30 Context-Aware Recommender Systems for Learning: A Survey and Future Challenges, Verbert+, IEEE TRANSACTIONS ON LEARNING TECHNOLOGIES, VOL. 5, NO. 4, OCTOBER-DECEMBER 2012","headline":"TechnologyEnhancedLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/TechnologyEnhancedLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/TechnologyEnhancedLearning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"TechnologyEnhancedLearning #RecommenderSystems#Survey#EducationIssue Date: 2018-03-30 A Survey on Artificial Intelligence and Data Mining for MOOCs, Fauvel+, arXiv16 #Article#RecommenderSystems#Survey#EducationIssue Date: 2018-03-30 Recommender Systems in Technology Enhanced Learning, Manouselis+, Recommender Systems Handbook: A Complete Guide for Research Scientists and Practitioners, 2011 #Article#RecommenderSystems#Survey#EducationIssue Date: 2018-03-30 Context-Aware Recommender Systems for Learning: A Survey and Future Challenges, Verbert+, IEEE TRANSACTIONS ON LEARNING TECHNOLOGIES, VOL. 5, NO. 4, OCTOBER-DECEMBER 2012","headline":"TechnologyEnhancedLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/TechnologyEnhancedLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/TechnologyEnhancedLearning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1013,32 +1013,32 @@ <h2 id="technologyenhancedlearning">TechnologyEnhancedLearning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/General.html" title="Generalに関する論文・技術記事メモの一覧">
-            Generalに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TextualInversion.html" title="TextualInversionに関する論文・技術記事メモの一覧">
+            TextualInversionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/CVRPrediction.html" title="CVRPredictionに関する論文・技術記事メモの一覧">
-            CVRPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/pretrained-LM.html" title="pretrained-LMに関する論文・技術記事メモの一覧">
+            pretrained-LMに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TechnologyEnhancedLearning.html" title="TechnologyEnhancedLearningに関する論文・技術記事メモの一覧">
-            TechnologyEnhancedLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/A_B%20Testing.html" title="A/B Testingに関する論文・技術記事メモの一覧">
+            A/B Testingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RetrievalAugmentedGeneration.html" title="RetrievalAugmentedGenerationに関する論文・技術記事メモの一覧">
-            RetrievalAugmentedGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DocumentSummarization.html" title="DocumentSummarizationに関する論文・技術記事メモの一覧">
+            DocumentSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Temporal.html b/docs/articles/Temporal.html
index 00a5829ea..b35b3e338 100644
--- a/docs/articles/Temporal.html
+++ b/docs/articles/Temporal.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Temporal.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Temporalに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Temporal #Article#DocumentSummarization#NLPIssue Date: 2017-12-28 HLTCOE at TREC 2013: Temporal Summarization, Xu et al, TREC 2013 #Article#DocumentSummarization#NLPIssue Date: 2017-12-28 BJUT at TREC 2013 Temporal Summarization Track, yang et al. TREC2013 Comment・次のモジュールにより構成される。Preprocess, Retrieval, Information expansion, Sentence choosing and ranking ・Preprocess: GPGファイルをTXTファイルに変換。indexをはる。 ・Retrieval: ...","headline":"Temporalに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Temporal.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Temporal.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Temporal #Article#DocumentSummarization#NLPIssue Date: 2017-12-28 HLTCOE at TREC 2013: Temporal Summarization, Xu et al, TREC 2013 #Article#DocumentSummarization#NLPIssue Date: 2017-12-28 BJUT at TREC 2013 Temporal Summarization Track, yang et al. TREC2013 Comment・次のモジュールにより構成される。Preprocess, Retrieval, Information expansion, Sentence choosing and ranking ・Preprocess: GPGファイルをTXTファイルに変換。indexをはる。 ・Retrieval: ...","headline":"Temporalに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Temporal.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Temporal.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1015,32 +1015,32 @@ <h2 id="temporal">Temporal</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataDistillation.html" title="DataDistillationに関する論文・技術記事メモの一覧">
-            DataDistillationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Financial.html" title="Financialに関する論文・技術記事メモの一覧">
+            Financialに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ILP.html" title="ILPに関する論文・技術記事メモの一覧">
-            ILPに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CommentGeneration.html" title="CommentGenerationに関する論文・技術記事メモの一覧">
+            CommentGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Mathematics.html" title="Mathematicsに関する論文・技術記事メモの一覧">
-            Mathematicsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/AutoML.html" title="AutoMLに関する論文・技術記事メモの一覧">
+            AutoMLに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Reasoning.html" title="Reasoningに関する論文・技術記事メモの一覧">
-            Reasoningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Temporal.html" title="Temporalに関する論文・技術記事メモの一覧">
+            Temporalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/TextToImage.html b/docs/articles/TextToImage.html
index 60bf29ddc..fff8b0347 100644
--- a/docs/articles/TextToImage.html
+++ b/docs/articles/TextToImage.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/TextToImage.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="TextToImageに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"TextToImage #ComputerVision#NaturalLanguageGeneration#NLP#LanguageModel#TabularDataIssue Date: 2023-07-15 Table and Image Generation for Investigating Knowledge of Entities in Pre-trained Vision and Language Models, ACL23 Summary本研究では、Vision＆Language（V＆L）モデルにおけるエンティティの知識の保持方法を検証するために、テーブルと画像の生成タスクを提案します。このタスクでは、エンティティと関連する画像の知識を含むテーブルを生成する第一の部分と、キャプションとエンティティの関連知識を含むテーブルから画像を生成する第二の部分があります。提案されたタスクを実行するために、Wikipediaの約20万のinfoboxからWikiTIGデータセットを作成しました。最先端のV＆LモデルOFAを使用して、提案されたタスクのパフォーマンスを評価しました。実験結果は、OFAが一部のエンティティ知識を忘れることを示しています。 #ComputerVision#NaturalLanguageGeneration#NLP#MulltiModal#DiffusionModelIssue Date: 2023-07-15 Learning to Imagine: Visually-Augmented Natural Language Generation, ACL23 Summary本研究では、視覚情報を活用した自然言語生成のためのLIVEという手法を提案しています。LIVEは、事前学習済み言語モデルを使用して、テキストに基づいて場面を想像し、高品質な画像を合成する方法です。また、CLIPを使用してテキストの想像力を評価し、段落ごとに画像を生成します。さまざまな実験により、LIVEの有効性が示されています。コード、モデル、データは公開されています。 Comment&gt;まず、テキストに基づいて場面を想像します。入力テキストに基づいて高品質な画像を合成するために拡散モデルを使用します。次に、CLIPを使用して、テキストが想像力を喚起できるかを事後的に判断します。最後に、私たちの想像力は動的であり、段落全体に1つの画像を生成するのではなく、各文に対して合成を行います ... #ComputerVision#Pocket#NLP#Personalization#DiffusionModelIssue Date: 2023-06-16 ViCo: Detail-Preserving Visual Condition for Personalized Text-to-Image Generation, Shaozhe Hao+, N_A, arXiv23 Summary拡散モデルを用いたパーソナライズされた画像生成において、高速で軽量なプラグインメソッドであるViCoを提案。注目モジュールを導入し、注目ベースのオブジェクトマスクを使用することで、一般的な過学習の劣化を軽減。元の拡散モデルのパラメータを微調整せず、軽量なパラメータトレーニングだけで、最新のモデルと同等またはそれ以上の性能を発揮することができる。","headline":"TextToImageに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/TextToImage.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/TextToImage.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"TextToImage #ComputerVision#NaturalLanguageGeneration#NLP#LanguageModel#TabularDataIssue Date: 2023-07-15 Table and Image Generation for Investigating Knowledge of Entities in Pre-trained Vision and Language Models, ACL23 Summary本研究では、Vision＆Language（V＆L）モデルにおけるエンティティの知識の保持方法を検証するために、テーブルと画像の生成タスクを提案します。このタスクでは、エンティティと関連する画像の知識を含むテーブルを生成する第一の部分と、キャプションとエンティティの関連知識を含むテーブルから画像を生成する第二の部分があります。提案されたタスクを実行するために、Wikipediaの約20万のinfoboxからWikiTIGデータセットを作成しました。最先端のV＆LモデルOFAを使用して、提案されたタスクのパフォーマンスを評価しました。実験結果は、OFAが一部のエンティティ知識を忘れることを示しています。 #ComputerVision#NaturalLanguageGeneration#NLP#MulltiModal#DiffusionModelIssue Date: 2023-07-15 Learning to Imagine: Visually-Augmented Natural Language Generation, ACL23 Summary本研究では、視覚情報を活用した自然言語生成のためのLIVEという手法を提案しています。LIVEは、事前学習済み言語モデルを使用して、テキストに基づいて場面を想像し、高品質な画像を合成する方法です。また、CLIPを使用してテキストの想像力を評価し、段落ごとに画像を生成します。さまざまな実験により、LIVEの有効性が示されています。コード、モデル、データは公開されています。 Comment&gt;まず、テキストに基づいて場面を想像します。入力テキストに基づいて高品質な画像を合成するために拡散モデルを使用します。次に、CLIPを使用して、テキストが想像力を喚起できるかを事後的に判断します。最後に、私たちの想像力は動的であり、段落全体に1つの画像を生成するのではなく、各文に対して合成を行います ... #ComputerVision#Pocket#NLP#Personalization#DiffusionModelIssue Date: 2023-06-16 ViCo: Detail-Preserving Visual Condition for Personalized Text-to-Image Generation, Shaozhe Hao+, N_A, arXiv23 Summary拡散モデルを用いたパーソナライズされた画像生成において、高速で軽量なプラグインメソッドであるViCoを提案。注目モジュールを導入し、注目ベースのオブジェクトマスクを使用することで、一般的な過学習の劣化を軽減。元の拡散モデルのパラメータを微調整せず、軽量なパラメータトレーニングだけで、最新のモデルと同等またはそれ以上の性能を発揮することができる。","headline":"TextToImageに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/TextToImage.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/TextToImage.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1017,32 +1017,32 @@ <h2 id="texttoimage">TextToImage</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/CVRPrediction.html" title="CVRPredictionに関する論文・技術記事メモの一覧">
-            CVRPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/KnowledgeGraph.html" title="KnowledgeGraphに関する論文・技術記事メモの一覧">
+            KnowledgeGraphに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InformationRetrieval.html" title="InformationRetrievalに関する論文・技術記事メモの一覧">
-            InformationRetrievalに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InductiveBias.html" title="InductiveBiasに関する論文・技術記事メモの一覧">
+            InductiveBiasに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NewsRecommendation.html" title="NewsRecommendationに関する論文・技術記事メモの一覧">
-            NewsRecommendationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/FoundationModel.html" title="FoundationModelに関する論文・技術記事メモの一覧">
+            FoundationModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Controllable.html" title="Controllableに関する論文・技術記事メモの一覧">
-            Controllableに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Classic.html" title="Classicに関する論文・技術記事メモの一覧">
+            Classicに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/TextualInversion.html b/docs/articles/TextualInversion.html
index b22d5e9e2..4d05e2862 100644
--- a/docs/articles/TextualInversion.html
+++ b/docs/articles/TextualInversion.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/TextualInversion.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="TextualInversionに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"TextualInversion #Article#ComputerVision#NLP#LanguageModel#Library#AlignmentIssue Date: 2024-03-21 repeng CommentLLMの出力のスタイルを数百個の事例だけで学習しチューニングできるライブラリ。promptで指定するのとは異なり、数値でスタイルの強さを指定することが可能らしい（元ツイート）。画像生成分野におけるTextual Inversionと同じ技術とのこと。Textual Inversionとは、少量の ...","headline":"TextualInversionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/TextualInversion.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/TextualInversion.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"TextualInversion #Article#ComputerVision#NLP#LanguageModel#Library#AlignmentIssue Date: 2024-03-21 repeng CommentLLMの出力のスタイルを数百個の事例だけで学習しチューニングできるライブラリ。promptで指定するのとは異なり、数値でスタイルの強さを指定することが可能らしい（元ツイート）。画像生成分野におけるTextual Inversionと同じ技術とのこと。Textual Inversionとは、少量の ...","headline":"TextualInversionに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/TextualInversion.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/TextualInversion.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1010,32 +1010,32 @@ <h2 id="textualinversion">TextualInversion</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/NLP.html" title="NLPに関する論文・技術記事メモの一覧">
-            NLPに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Regularization.html" title="Regularizationに関する論文・技術記事メモの一覧">
+            Regularizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/MatrixFactorization.html" title="MatrixFactorizationに関する論文・技術記事メモの一覧">
-            MatrixFactorizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/UserModeling.html" title="UserModelingに関する論文・技術記事メモの一覧">
+            UserModelingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DesignPattern.html" title="DesignPatternに関する論文・技術記事メモの一覧">
-            DesignPatternに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/QuestionGeneration.html" title="QuestionGenerationに関する論文・技術記事メモの一覧">
+            QuestionGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Bias.html" title="Biasに関する論文・技術記事メモの一覧">
-            Biasに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Speech.html" title="Speechに関する論文・技術記事メモの一覧">
+            Speechに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/TheoryOfMind.html b/docs/articles/TheoryOfMind.html
index 507a080ad..698406b46 100644
--- a/docs/articles/TheoryOfMind.html
+++ b/docs/articles/TheoryOfMind.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/TheoryOfMind.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="TheoryOfMindに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"TheoryOfMind #NLP#Dataset#LanguageModel#EvaluationIssue Date: 2023-07-11 Understanding Social Reasoning in Language Models with Language Models, Kanishk Gandhi+, N_A, arXiv23 Summary大規模言語モデル（LLMs）のTheory-of-Mind（ToM）推論能力を評価するための新しいフレームワークを提案し、新しい社会的推論のベンチマーク（BigToM）を作成しました。BigToMを使用して、さまざまなLLMsの社会的推論能力を評価し、GPT4が人間の推論パターンと類似したToMの能力を持っていることを示しましたが、他のLLMsは苦戦していることを示唆しています。 CommentLLMの社会的推論能力を評価するためのベンチマークを提案。ToMタスクとは、人間の信念、ゴール、メンタルstate、何を知っているか等をトラッキングすることが求められるタスクのこと。 ... #NLP#LanguageModel#QuestionAnswering#PromptingIssue Date: 2023-04-28 Boosting Theory-of-Mind Performance in Large Language Models via Prompting, Moghaddam+, Johns Hopkins University, arXiv23 CommentLLMはTheory-of-mind reasoningタスクが苦手なことが知られており、特にzero shotでは非常にパフォーマンスが低かった。ToMタスクとは、エージェントの信念、ゴール、メンタルstate、エージェントが何を知っているか等をトラッキングすることが求められるタスクのこと。このよ ...","headline":"TheoryOfMindに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/TheoryOfMind.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/TheoryOfMind.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"TheoryOfMind #NLP#Dataset#LanguageModel#EvaluationIssue Date: 2023-07-11 Understanding Social Reasoning in Language Models with Language Models, Kanishk Gandhi+, N_A, arXiv23 Summary大規模言語モデル（LLMs）のTheory-of-Mind（ToM）推論能力を評価するための新しいフレームワークを提案し、新しい社会的推論のベンチマーク（BigToM）を作成しました。BigToMを使用して、さまざまなLLMsの社会的推論能力を評価し、GPT4が人間の推論パターンと類似したToMの能力を持っていることを示しましたが、他のLLMsは苦戦していることを示唆しています。 CommentLLMの社会的推論能力を評価するためのベンチマークを提案。ToMタスクとは、人間の信念、ゴール、メンタルstate、何を知っているか等をトラッキングすることが求められるタスクのこと。 ... #NLP#LanguageModel#QuestionAnswering#PromptingIssue Date: 2023-04-28 Boosting Theory-of-Mind Performance in Large Language Models via Prompting, Moghaddam+, Johns Hopkins University, arXiv23 CommentLLMはTheory-of-mind reasoningタスクが苦手なことが知られており、特にzero shotでは非常にパフォーマンスが低かった。ToMタスクとは、エージェントの信念、ゴール、メンタルstate、エージェントが何を知っているか等をトラッキングすることが求められるタスクのこと。このよ ...","headline":"TheoryOfMindに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/TheoryOfMind.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/TheoryOfMind.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1014,32 +1014,32 @@ <h2 id="theoryofmind">TheoryOfMind</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ImageSegmentation.html" title="ImageSegmentationに関する論文・技術記事メモの一覧">
-            ImageSegmentationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MultitaskLearning.html" title="MultitaskLearningに関する論文・技術記事メモの一覧">
+            MultitaskLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InductiveBias.html" title="InductiveBiasに関する論文・技術記事メモの一覧">
-            InductiveBiasに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/TextualInversion.html" title="TextualInversionに関する論文・技術記事メモの一覧">
+            TextualInversionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DynamicNetworks.html" title="DynamicNetworksに関する論文・技術記事メモの一覧">
-            DynamicNetworksに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Annotation.html" title="Annotationに関する論文・技術記事メモの一覧">
+            Annotationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InformationExtraction.html" title="InformationExtractionに関する論文・技術記事メモの一覧">
-            InformationExtractionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Evaluation.html" title="Evaluationに関する論文・技術記事メモの一覧">
+            Evaluationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/TimeSeriesDataProcessing.html b/docs/articles/TimeSeriesDataProcessing.html
index f2363decb..d208a5d6d 100644
--- a/docs/articles/TimeSeriesDataProcessing.html
+++ b/docs/articles/TimeSeriesDataProcessing.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/TimeSeriesDataProcessing.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="TimeSeriesDataProcessingに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"TimeSeriesDataProcessing #MachineLearning#PocketIssue Date: 2017-12-31 Derivative Delay Embedding: Online Modeling of Streaming Time Series, Zhifei Zhang+, N_A, arXiv16 Summary本研究では、オンラインでストリーミング時系列データを効率的にモデリングするためのDDE-MGM手法を提案しています。DDEは、再帰的なパターンを保持する埋め込み空間に時系列を変換するために使用され、MGMはパターンのモデリングと分類に使用されます。実験結果は、提案手法の効果と優れた分類精度を示しています。 Commentスライド：https://www.slideshare.net/akihikowatanabe3110/brief-survey-of-datatotext-systems![image](https://user-images.githubusercontent.com/12249301/3446 ... #Neural#MachineLearning#FinancialIssue Date: 2017-12-31 Recurrent neural network and a hybrid model for prediction of stock returns, Akhter+, Expert Systems with Applications14 CommentStock returnのpredictionタスクに対してNNを適用。 AR-MRNNモデルをRNNに適用、高い性能を示している。 moving referenceをsubtractした値をinput-outputに用いることで、normalizationやdetrending等の前処理が不 ... #Neural#MachineLearning#FinancialIssue Date: 2017-12-31 Prediction-based portfolio optimization model using neural networks, Freitas+, Neurocomputing09 CommentStock returnのpredictionタスクに対してNNを適用。 NNのinput-outputとして、生のreturn値を用いるのではなく、ある時刻におけるreturnをsubtractした値(moving reference)を用いる、AR-MRNNモデルを提案。 ... more","headline":"TimeSeriesDataProcessingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/TimeSeriesDataProcessing.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/TimeSeriesDataProcessing.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"TimeSeriesDataProcessing #MachineLearning#PocketIssue Date: 2017-12-31 Derivative Delay Embedding: Online Modeling of Streaming Time Series, Zhifei Zhang+, N_A, arXiv16 Summary本研究では、オンラインでストリーミング時系列データを効率的にモデリングするためのDDE-MGM手法を提案しています。DDEは、再帰的なパターンを保持する埋め込み空間に時系列を変換するために使用され、MGMはパターンのモデリングと分類に使用されます。実験結果は、提案手法の効果と優れた分類精度を示しています。 Commentスライド：https://www.slideshare.net/akihikowatanabe3110/brief-survey-of-datatotext-systems![image](https://user-images.githubusercontent.com/12249301/3446 ... #Neural#MachineLearning#FinancialIssue Date: 2017-12-31 Recurrent neural network and a hybrid model for prediction of stock returns, Akhter+, Expert Systems with Applications14 CommentStock returnのpredictionタスクに対してNNを適用。 AR-MRNNモデルをRNNに適用、高い性能を示している。 moving referenceをsubtractした値をinput-outputに用いることで、normalizationやdetrending等の前処理が不 ... #Neural#MachineLearning#FinancialIssue Date: 2017-12-31 Prediction-based portfolio optimization model using neural networks, Freitas+, Neurocomputing09 CommentStock returnのpredictionタスクに対してNNを適用。 NNのinput-outputとして、生のreturn値を用いるのではなく、ある時刻におけるreturnをsubtractした値(moving reference)を用いる、AR-MRNNモデルを提案。 ... more","headline":"TimeSeriesDataProcessingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/TimeSeriesDataProcessing.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/TimeSeriesDataProcessing.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1033,32 +1033,32 @@ <h2 id="timeseriesdataprocessing">TimeSeriesDataProcessing</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Word.html" title="Wordに関する論文・技術記事メモの一覧">
-            Wordに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SearchEngine.html" title="SearchEngineに関する論文・技術記事メモの一覧">
+            SearchEngineに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/QueryBiased.html" title="QueryBiasedに関する論文・技術記事メモの一覧">
-            QueryBiasedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Session.html" title="Sessionに関する論文・技術記事メモの一覧">
+            Sessionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ConceptToText.html" title="ConceptToTextに関する論文・技術記事メモの一覧">
-            ConceptToTextに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LM-based.html" title="LM-basedに関する論文・技術記事メモの一覧">
+            LM-basedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/OpenLLM.html" title="OpenLLMに関する論文・技術記事メモの一覧">
-            OpenLLMに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NeuralArchitectureSearch.html" title="NeuralArchitectureSearchに関する論文・技術記事メモの一覧">
+            NeuralArchitectureSearchに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Tools.html b/docs/articles/Tools.html
index bc46fb659..e25898a8e 100644
--- a/docs/articles/Tools.html
+++ b/docs/articles/Tools.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Tools.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Toolsに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Tools #Pocket#NLP#LanguageModelIssue Date: 2023-08-08 ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs, Yujia Qin+, N_A, arXiv23 Summaryオープンソースの大規模言語モデル（LLMs）を使用して、外部ツール（API）の高度なタスクの実行を容易にするためのToolLLMというフレームワークを紹介します。ToolBenchというデータセットを使用して、ツールの使用方法を調整し、DFSDTという決定木を使用して効率的な検索を行います。ToolEvalという自動評価ツールを使用して、ToolLLaMAが高いパフォーマンスを発揮することを示します。さらに、ニューラルAPIリトリーバーを使用して、適切なAPIを推奨します。 Comment16000のreal worldのAPIとインタラクションし、データの準備、訓練、評価などを一貫してできるようにしたフレームワーク。LLaMAを使った場合、ツール利用に関してturbo-16kと同等の性能に達したと主張。 ... #DocumentSummarization#Metrics#NLP#Dataset#EvaluationIssue Date: 2023-08-13 SummEval: Re-evaluating Summarization Evaluation, Fabbri+, TACL21 Summaryテキスト要約の評価方法に関する包括的な研究と評価プロトコルの欠如が進展を妨げている。この研究では、自動評価メトリックスの再評価、要約モデルのベンチマーク、統一された形式での要約の提供、評価ツールキットの実装、そして注釈付きデータセットの共有など、5つの側面で問題を解決する。この研究は、テキスト要約の評価プロトコルの改善と関連性の高い評価メトリックスの開発に貢献することを目指している。 Comment自動評価指標が人手評価の水準に達しないことが示されており、結局のところROUGEを上回る自動性能指標はほとんどなかった。human judgmentsとのKendall;&#39;s Tauを見ると、chrFがCoherenceとRelevance, METEORがFluencyで上回ったのみだった。また、 ... #Library#AdaptiveLearning#EducationalDataMining#KnowledgeTracingIssue Date: 2022-07-27 pyBKT: An Accessible Python Library of Bayesian Knowledge Tracing Models, Bardrinath+, EDM20 CommentpythonによるBKTの実装。scikit-learnベースドなinterfaceを持っているので使いやすそう。# モチベーション BKTの研究は古くから行われており、研究コミュニティで人気が高まっているにもかかわらず、アクセス可能で使いやすいモデルの実装と、さまざまな文献で提案されている多くの変 ... more","headline":"Toolsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Tools.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Tools.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Tools #Pocket#NLP#LanguageModelIssue Date: 2023-08-08 ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs, Yujia Qin+, N_A, arXiv23 Summaryオープンソースの大規模言語モデル（LLMs）を使用して、外部ツール（API）の高度なタスクの実行を容易にするためのToolLLMというフレームワークを紹介します。ToolBenchというデータセットを使用して、ツールの使用方法を調整し、DFSDTという決定木を使用して効率的な検索を行います。ToolEvalという自動評価ツールを使用して、ToolLLaMAが高いパフォーマンスを発揮することを示します。さらに、ニューラルAPIリトリーバーを使用して、適切なAPIを推奨します。 Comment16000のreal worldのAPIとインタラクションし、データの準備、訓練、評価などを一貫してできるようにしたフレームワーク。LLaMAを使った場合、ツール利用に関してturbo-16kと同等の性能に達したと主張。 ... #DocumentSummarization#Metrics#NLP#Dataset#EvaluationIssue Date: 2023-08-13 SummEval: Re-evaluating Summarization Evaluation, Fabbri+, TACL21 Summaryテキスト要約の評価方法に関する包括的な研究と評価プロトコルの欠如が進展を妨げている。この研究では、自動評価メトリックスの再評価、要約モデルのベンチマーク、統一された形式での要約の提供、評価ツールキットの実装、そして注釈付きデータセットの共有など、5つの側面で問題を解決する。この研究は、テキスト要約の評価プロトコルの改善と関連性の高い評価メトリックスの開発に貢献することを目指している。 Comment自動評価指標が人手評価の水準に達しないことが示されており、結局のところROUGEを上回る自動性能指標はほとんどなかった。human judgmentsとのKendall;&#39;s Tauを見ると、chrFがCoherenceとRelevance, METEORがFluencyで上回ったのみだった。また、 ... #Library#AdaptiveLearning#EducationalDataMining#KnowledgeTracingIssue Date: 2022-07-27 pyBKT: An Accessible Python Library of Bayesian Knowledge Tracing Models, Bardrinath+, EDM20 CommentpythonによるBKTの実装。scikit-learnベースドなinterfaceを持っているので使いやすそう。# モチベーション BKTの研究は古くから行われており、研究コミュニティで人気が高まっているにもかかわらず、アクセス可能で使いやすいモデルの実装と、さまざまな文献で提案されている多くの変 ... more","headline":"Toolsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Tools.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Tools.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1168,32 +1168,32 @@ <h2 id="tools">Tools</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Session.html" title="Sessionに関する論文・技術記事メモの一覧">
-            Sessionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/WebSearch.html" title="WebSearchに関する論文・技術記事メモの一覧">
+            WebSearchに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/MulltiModal.html" title="MulltiModalに関する論文・技術記事メモの一覧">
-            MulltiModalに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DropoutPrediction.html" title="DropoutPredictionに関する論文・技術記事メモの一覧">
+            DropoutPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/MachineTranslation.html" title="MachineTranslationに関する論文・技術記事メモの一覧">
-            MachineTranslationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Composition.html" title="Compositionに関する論文・技術記事メモの一覧">
+            Compositionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InformationRetrieval.html" title="InformationRetrievalに関する論文・技術記事メモの一覧">
-            InformationRetrievalに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DesignPattern.html" title="DesignPatternに関する論文・技術記事メモの一覧">
+            DesignPatternに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/TrainedMetrics.html b/docs/articles/TrainedMetrics.html
index e0994b31c..6562eb5ef 100644
--- a/docs/articles/TrainedMetrics.html
+++ b/docs/articles/TrainedMetrics.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/TrainedMetrics.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="TrainedMetricsに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"TrainedMetrics #DocumentSummarization#Metrics#NLP#EvaluationIssue Date: 2023-08-13 SummScore: A Comprehensive Evaluation Metric for Summary Quality Based on Cross-Encoder, Wuhang Lin+, N_A, arXiv22 Summary要約の品質評価メトリクスの問題を解決するために、SummScoreという包括的な評価メトリクスを提案する。SummScoreはCrossEncoderに基づいており、要約の多様性を抑制せずに要約の品質を評価することができる。さらに、SummScoreは一貫性、一貫性、流暢さ、関連性の4つの側面で評価することができる。実験結果は、SummScoreが既存の評価メトリクスを上回ることを示している。また、SummScoreの評価結果を16の主要な要約モデルに提供している。 #DocumentSummarization#Metrics#NLP#Evaluation#Reference-basedIssue Date: 2023-08-13 BLEURT: Learning Robust Metrics for Text Generation, Sellam+, ACL20 SummaryBLEURTは、BERTをベースとした学習済みの評価指標であり、人間の判断と高い相関を持つことが特徴です。BLEURTは、数千のトレーニング例を使用してバイアスのある評価をモデル化し、数百万の合成例を使用してモデルの汎化を支援します。BLEURTは、WMT Metrics共有タスクとWebNLGデータセットで最先端の結果を提供し、トレーニングデータが少ない場合や分布外の場合でも優れた性能を発揮します。 #DocumentSummarization#MachineTranslation#NLP#EvaluationIssue Date: 2023-08-13 Machine Translation Evaluation with BERT Regressor, Hiroki Shimanaka+, N_A, arXiv19 Summary私たちは、BERTを使用した自動的な機械翻訳の評価メトリックを紹介します。実験結果は、私たちのメトリックがすべての英語対応言語ペアで最先端のパフォーマンスを達成していることを示しています。 more","headline":"TrainedMetricsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/TrainedMetrics.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/TrainedMetrics.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"TrainedMetrics #DocumentSummarization#Metrics#NLP#EvaluationIssue Date: 2023-08-13 SummScore: A Comprehensive Evaluation Metric for Summary Quality Based on Cross-Encoder, Wuhang Lin+, N_A, arXiv22 Summary要約の品質評価メトリクスの問題を解決するために、SummScoreという包括的な評価メトリクスを提案する。SummScoreはCrossEncoderに基づいており、要約の多様性を抑制せずに要約の品質を評価することができる。さらに、SummScoreは一貫性、一貫性、流暢さ、関連性の4つの側面で評価することができる。実験結果は、SummScoreが既存の評価メトリクスを上回ることを示している。また、SummScoreの評価結果を16の主要な要約モデルに提供している。 #DocumentSummarization#Metrics#NLP#Evaluation#Reference-basedIssue Date: 2023-08-13 BLEURT: Learning Robust Metrics for Text Generation, Sellam+, ACL20 SummaryBLEURTは、BERTをベースとした学習済みの評価指標であり、人間の判断と高い相関を持つことが特徴です。BLEURTは、数千のトレーニング例を使用してバイアスのある評価をモデル化し、数百万の合成例を使用してモデルの汎化を支援します。BLEURTは、WMT Metrics共有タスクとWebNLGデータセットで最先端の結果を提供し、トレーニングデータが少ない場合や分布外の場合でも優れた性能を発揮します。 #DocumentSummarization#MachineTranslation#NLP#EvaluationIssue Date: 2023-08-13 Machine Translation Evaluation with BERT Regressor, Hiroki Shimanaka+, N_A, arXiv19 Summary私たちは、BERTを使用した自動的な機械翻訳の評価メトリックを紹介します。実験結果は、私たちのメトリックがすべての英語対応言語ペアで最先端のパフォーマンスを達成していることを示しています。 more","headline":"TrainedMetricsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/TrainedMetrics.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/TrainedMetrics.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1025,32 +1025,32 @@ <h2 id="trainedmetrics">TrainedMetrics</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Update.html" title="Updateに関する論文・技術記事メモの一覧">
-            Updateに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Regularization.html" title="Regularizationに関する論文・技術記事メモの一覧">
+            Regularizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Mathematics.html" title="Mathematicsに関する論文・技術記事メモの一覧">
-            Mathematicsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/StudentPerformancePrediction.html" title="StudentPerformancePredictionに関する論文・技術記事メモの一覧">
+            StudentPerformancePredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Alignment.html" title="Alignmentに関する論文・技術記事メモの一覧">
-            Alignmentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Snippets.html" title="Snippetsに関する論文・技術記事メモの一覧">
+            Snippetsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InformationExtraction.html" title="InformationExtractionに関する論文・技術記事メモの一覧">
-            InformationExtractionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/FactorizationMachines.html" title="FactorizationMachinesに関する論文・技術記事メモの一覧">
+            FactorizationMachinesに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Training-Free.html b/docs/articles/Training-Free.html
index 0ff5012ee..cecc1cb45 100644
--- a/docs/articles/Training-Free.html
+++ b/docs/articles/Training-Free.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Training-Free.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Training-Freeに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Training-Free #DocumentSummarization#NLP#Evaluation#Reference-freeIssue Date: 2023-08-13 SUPERT: Towards New Frontiers in Unsupervised Evaluation Metrics for Multi-Document Summarization, Gao+, ACL20 Summaryこの研究では、教師なしの複数文書要約評価メトリックスについて調査しています。提案手法SUPERTは、擬似的な参照要約として選択された重要な文を使用し、文脈化埋め込みとソフトトークンアラインメント技術を用いて要約の品質を評価します。SUPERTは従来の教師なし評価メトリックスよりも人間の評価との相関が高く、18〜39％の向上が見られます。また、SUPERTを報酬として使用してニューラルベースの強化学習要約器をガイドすることで、有利なパフォーマンスを実現しています。ソースコードはGitHubで入手可能です。 Commentpseudo-reference summaryを作成し、referenceに対してSBERTを適用しsystem-reference間の類似度を測ることで、unsupervisedに複数文書要約を評価する手法。まずTACのデータに対して、既存研究（single document summarips ...","headline":"Training-Freeに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Training-Free.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Training-Free.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Training-Free #DocumentSummarization#NLP#Evaluation#Reference-freeIssue Date: 2023-08-13 SUPERT: Towards New Frontiers in Unsupervised Evaluation Metrics for Multi-Document Summarization, Gao+, ACL20 Summaryこの研究では、教師なしの複数文書要約評価メトリックスについて調査しています。提案手法SUPERTは、擬似的な参照要約として選択された重要な文を使用し、文脈化埋め込みとソフトトークンアラインメント技術を用いて要約の品質を評価します。SUPERTは従来の教師なし評価メトリックスよりも人間の評価との相関が高く、18〜39％の向上が見られます。また、SUPERTを報酬として使用してニューラルベースの強化学習要約器をガイドすることで、有利なパフォーマンスを実現しています。ソースコードはGitHubで入手可能です。 Commentpseudo-reference summaryを作成し、referenceに対してSBERTを適用しsystem-reference間の類似度を測ることで、unsupervisedに複数文書要約を評価する手法。まずTACのデータに対して、既存研究（single document summarips ...","headline":"Training-Freeに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Training-Free.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Training-Free.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1011,32 +1011,32 @@ <h2 id="training-free">Training-Free</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/OpenLLM.html" title="OpenLLMに関する論文・技術記事メモの一覧">
-            OpenLLMに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ContextAware.html" title="ContextAwareに関する論文・技術記事メモの一覧">
+            ContextAwareに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Navigation.html" title="Navigationに関する論文・技術記事メモの一覧">
-            Navigationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InformationExtraction.html" title="InformationExtractionに関する論文・技術記事メモの一覧">
+            InformationExtractionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DropoutPrediction.html" title="DropoutPredictionに関する論文・技術記事メモの一覧">
-            DropoutPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SmallModel.html" title="SmallModelに関する論文・技術記事メモの一覧">
+            SmallModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ContextAware.html" title="ContextAwareに関する論文・技術記事メモの一覧">
-            ContextAwareに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ReviewGeneration.html" title="ReviewGenerationに関する論文・技術記事メモの一覧">
+            ReviewGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/TransferLearning.html b/docs/articles/TransferLearning.html
index 032ffcd2f..25e258202 100644
--- a/docs/articles/TransferLearning.html
+++ b/docs/articles/TransferLearning.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/TransferLearning.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="TransferLearningに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"TransferLearning #Efficiency/SpeedUp#NLP#EnsembleIssue Date: 2023-07-14 Parameter-efficient Weight Ensembling Facilitates Task-level Knowledge Transfer, ACL23 Summary最近の研究では、大規模な事前学習済み言語モデルを特定のタスクに効果的に適応させることができることが示されています。本研究では、軽量なパラメータセットを使用してタスク間で知識を転送する方法を探求し、その有効性を検証しました。実験結果は、提案手法がベースラインに比べて5％〜8％の改善を示し、タスクレベルの知識転送を大幅に促進できることを示しています。","headline":"TransferLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/TransferLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/TransferLearning.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"TransferLearning #Efficiency/SpeedUp#NLP#EnsembleIssue Date: 2023-07-14 Parameter-efficient Weight Ensembling Facilitates Task-level Knowledge Transfer, ACL23 Summary最近の研究では、大規模な事前学習済み言語モデルを特定のタスクに効果的に適応させることができることが示されています。本研究では、軽量なパラメータセットを使用してタスク間で知識を転送する方法を探求し、その有効性を検証しました。実験結果は、提案手法がベースラインに比べて5％〜8％の改善を示し、タスクレベルの知識転送を大幅に促進できることを示しています。","headline":"TransferLearningに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/TransferLearning.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/TransferLearning.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1010,32 +1010,32 @@ <h2 id="transferlearning">TransferLearning</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/InstructionGeneration.html" title="InstructionGenerationに関する論文・技術記事メモの一覧">
-            InstructionGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LearningAnalytics.html" title="LearningAnalyticsに関する論文・技術記事メモの一覧">
+            LearningAnalyticsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Neural.html" title="Neuralに関する論文・技術記事メモの一覧">
-            Neuralに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CodeGeneration.html" title="CodeGenerationに関する論文・技術記事メモの一覧">
+            CodeGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DropoutPrediction.html" title="DropoutPredictionに関する論文・技術記事メモの一覧">
-            DropoutPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataAugmentation.html" title="DataAugmentationに関する論文・技術記事メモの一覧">
+            DataAugmentationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ComputerVision.html" title="ComputerVisionに関する論文・技術記事メモの一覧">
-            ComputerVisionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/SmallModel.html" title="SmallModelに関する論文・技術記事メモの一覧">
+            SmallModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Transformer.html b/docs/articles/Transformer.html
index 6f2c8b5be..8b74411e0 100644
--- a/docs/articles/Transformer.html
+++ b/docs/articles/Transformer.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Transformer.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Transformerに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Transformer #Efficiency/SpeedUp#Pocket#NLP#LanguageModelIssue Date: 2024-04-07 Mixture-of-Depths: Dynamically allocating compute in transformer-based language models, David Raposo+, N_A, arXiv24 SummaryTransformerベースの言語モデルは、入力シーケンス全体に均等にFLOPsを分散させる代わりに、特定の位置にFLOPsを動的に割り当てることを学習できることを示す。モデルの深さにわたって割り当てを最適化するために、異なるレイヤーで計算を動的に割り当てる。この手法は、トークンの数を制限することで合計計算予算を強制し、トークンはtop-kルーティングメカニズムを使用して決定される。この方法により、FLOPsを均等に消費しつつ、計算の支出が予測可能であり、動的かつコンテキストに敏感である。このようにトレーニングされたモデルは、計算を動的に割り当てることを学習し、効率的に行うことができる。 Comment参考: https://x.com/theseamouse/status/1775782800362242157?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Efficiency/SpeedUp#Pocket#NLP#LanguageModel#AttentionIssue Date: 2024-04-07 Dynamic Memory Compression: Retrofitting LLMs for Accelerated Inference, Piotr Nawrot+, N_A, arXiv24 Summaryトランスフォーマーの生成効率を向上させるために、Dynamic Memory Compression（DMC）が提案された。DMCは、異なるヘッドとレイヤーで異なる圧縮率を適用する方法を学習し、事前学習済みLLMsに適用される。DMCは、元の下流パフォーマンスを最大4倍のキャッシュ圧縮で維持しつつ、スループットを向上させることができる。DMCは、GQAと組み合わせることでさらなる利益をもたらす可能性があり、長いコンテキストと大きなバッチを処理する際に有用である。 Comment参考: https://x.com/hillbig/status/1776755029581676943?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q論文中のFigure1が非常にわかりやすい。GQA #1271 と比較して、2~4倍キャッシュを圧縮しつつ、より高い性能を実現。70Bモ ... #MachineLearning#Pocket#NLPIssue Date: 2024-01-16 Transformers are Multi-State RNNs, Matanel Oren+, N_A, arXiv24 Summary本研究では、トランスフォーマーのデコーダーは無限マルチステートRNNとして概念化できることを示し、有限のマルチステートRNNに変換することも可能であることを示します。さらに、新しいキャッシュ圧縮ポリシーであるTOVAを導入し、他のポリシーよりも優れた性能を示すことを実験結果で示しました。TOVAは元のキャッシュサイズの1/8しか使用せず、トランスフォーマーデコーダーLLMが実際にはRNNとして振る舞うことが多いことを示しています。 more","headline":"Transformerに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Transformer.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Transformer.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Transformer #Efficiency/SpeedUp#Pocket#NLP#LanguageModelIssue Date: 2024-04-07 Mixture-of-Depths: Dynamically allocating compute in transformer-based language models, David Raposo+, N_A, arXiv24 SummaryTransformerベースの言語モデルは、入力シーケンス全体に均等にFLOPsを分散させる代わりに、特定の位置にFLOPsを動的に割り当てることを学習できることを示す。モデルの深さにわたって割り当てを最適化するために、異なるレイヤーで計算を動的に割り当てる。この手法は、トークンの数を制限することで合計計算予算を強制し、トークンはtop-kルーティングメカニズムを使用して決定される。この方法により、FLOPsを均等に消費しつつ、計算の支出が予測可能であり、動的かつコンテキストに敏感である。このようにトレーニングされたモデルは、計算を動的に割り当てることを学習し、効率的に行うことができる。 Comment参考: https://x.com/theseamouse/status/1775782800362242157?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q ... #Efficiency/SpeedUp#Pocket#NLP#LanguageModel#AttentionIssue Date: 2024-04-07 Dynamic Memory Compression: Retrofitting LLMs for Accelerated Inference, Piotr Nawrot+, N_A, arXiv24 Summaryトランスフォーマーの生成効率を向上させるために、Dynamic Memory Compression（DMC）が提案された。DMCは、異なるヘッドとレイヤーで異なる圧縮率を適用する方法を学習し、事前学習済みLLMsに適用される。DMCは、元の下流パフォーマンスを最大4倍のキャッシュ圧縮で維持しつつ、スループットを向上させることができる。DMCは、GQAと組み合わせることでさらなる利益をもたらす可能性があり、長いコンテキストと大きなバッチを処理する際に有用である。 Comment参考: https://x.com/hillbig/status/1776755029581676943?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q論文中のFigure1が非常にわかりやすい。GQA #1271 と比較して、2~4倍キャッシュを圧縮しつつ、より高い性能を実現。70Bモ ... #MachineLearning#Pocket#NLPIssue Date: 2024-01-16 Transformers are Multi-State RNNs, Matanel Oren+, N_A, arXiv24 Summary本研究では、トランスフォーマーのデコーダーは無限マルチステートRNNとして概念化できることを示し、有限のマルチステートRNNに変換することも可能であることを示します。さらに、新しいキャッシュ圧縮ポリシーであるTOVAを導入し、他のポリシーよりも優れた性能を示すことを実験結果で示しました。TOVAは元のキャッシュサイズの1/8しか使用せず、トランスフォーマーデコーダーLLMが実際にはRNNとして振る舞うことが多いことを示しています。 more","headline":"Transformerに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Transformer.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Transformer.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1143,32 +1143,32 @@ <h2 id="transformer">Transformer</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/General.html" title="Generalに関する論文・技術記事メモの一覧">
-            Generalに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NeuralArchitectureSearch.html" title="NeuralArchitectureSearchに関する論文・技術記事メモの一覧">
+            NeuralArchitectureSearchに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Online_Interactive.html" title="Online/Interactiveに関する論文・技術記事メモの一覧">
-            Online/Interactiveに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NLP.html" title="NLPに関する論文・技術記事メモの一覧">
+            NLPに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Annotation.html" title="Annotationに関する論文・技術記事メモの一覧">
-            Annotationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Quantization.html" title="Quantizationに関する論文・技術記事メモの一覧">
+            Quantizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/TransferLearning.html" title="TransferLearningに関する論文・技術記事メモの一覧">
-            TransferLearningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Controllable.html" title="Controllableに関する論文・技術記事メモの一覧">
+            Controllableに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Tutorial.html b/docs/articles/Tutorial.html
index 686d56d28..24db8d0b1 100644
--- a/docs/articles/Tutorial.html
+++ b/docs/articles/Tutorial.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Tutorial.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Tutorialに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Tutorial #Pocket#NLP#LanguageModel#CoTIssue Date: 2023-11-21 Igniting Language Intelligence: The Hitchhikers Guide From Chain-of-Thought Reasoning to Language Agents, Zhuosheng Zhang+, N_A, arXiv23 Summary大規模言語モデル（LLMs）は、言語知能の分野で劇的な進歩を遂げており、複雑な推論タスクにおいて高いパフォーマンスを示しています。特に、chain-of-thought（CoT）推論技術を活用することで、中間ステップを形成し、解釈可能性や制御可能性を向上させることができます。この論文では、CoT技術の基本的なメカニズムやその効果について詳しく解説し、言語エージェントの開発における応用例を紹介しています。将来の研究の展望にも触れており、初心者から経験豊富な研究者まで幅広い読者に対応しています。関連論文のリポジトリも提供されています。 CommentCoTに関するチュートリアル論文 ... #Survey#NLP#LanguageModelIssue Date: 2023-07-22 Challenges and Applications of Large Language Models, Jean Kaddour+, N_A, arXiv23 Summary本論文では、大規模言語モデル（LLMs）の普及により、研究者が分野の現状を理解し、生産的になるための問題と応用成功例を確立することを目指しています。 CommentLLMのここ数年の進化早すぎわろたでキャッチアップむずいので、未解決の課題や、すでに良い感じのアプリケーションの分野分かりづらいので、まとめました論文 ... #Pocket#LanguageModelIssue Date: 2023-04-27 Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond, Yang+, Amazon, arXiv23 CommentLLMに関するチュートリアル ![image](https://user-images.githubusercontent.com/12249301/235145819-842cdef3-485c-4553-b234-46d4896a5ed7.png)encoder-onlyとまとめられているもの ... more","headline":"Tutorialに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Tutorial.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Tutorial.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Tutorial #Pocket#NLP#LanguageModel#CoTIssue Date: 2023-11-21 Igniting Language Intelligence: The Hitchhikers Guide From Chain-of-Thought Reasoning to Language Agents, Zhuosheng Zhang+, N_A, arXiv23 Summary大規模言語モデル（LLMs）は、言語知能の分野で劇的な進歩を遂げており、複雑な推論タスクにおいて高いパフォーマンスを示しています。特に、chain-of-thought（CoT）推論技術を活用することで、中間ステップを形成し、解釈可能性や制御可能性を向上させることができます。この論文では、CoT技術の基本的なメカニズムやその効果について詳しく解説し、言語エージェントの開発における応用例を紹介しています。将来の研究の展望にも触れており、初心者から経験豊富な研究者まで幅広い読者に対応しています。関連論文のリポジトリも提供されています。 CommentCoTに関するチュートリアル論文 ... #Survey#NLP#LanguageModelIssue Date: 2023-07-22 Challenges and Applications of Large Language Models, Jean Kaddour+, N_A, arXiv23 Summary本論文では、大規模言語モデル（LLMs）の普及により、研究者が分野の現状を理解し、生産的になるための問題と応用成功例を確立することを目指しています。 CommentLLMのここ数年の進化早すぎわろたでキャッチアップむずいので、未解決の課題や、すでに良い感じのアプリケーションの分野分かりづらいので、まとめました論文 ... #Pocket#LanguageModelIssue Date: 2023-04-27 Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond, Yang+, Amazon, arXiv23 CommentLLMに関するチュートリアル ![image](https://user-images.githubusercontent.com/12249301/235145819-842cdef3-485c-4553-b234-46d4896a5ed7.png)encoder-onlyとまとめられているもの ... more","headline":"Tutorialに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Tutorial.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Tutorial.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1315,32 +1315,32 @@ <h2 id="tutorial">Tutorial</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Bias.html" title="Biasに関する論文・技術記事メモの一覧">
-            Biasに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataToText.html" title="DataToTextに関する論文・技術記事メモの一覧">
+            DataToTextに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningPath.html" title="LearningPathに関する論文・技術記事メモの一覧">
-            LearningPathに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Embed.html" title="Embedに関する論文・技術記事メモの一覧">
+            Embedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ECS.html" title="ECSに関する論文・技術記事メモの一覧">
-            ECSに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DropoutPrediction.html" title="DropoutPredictionに関する論文・技術記事メモの一覧">
+            DropoutPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Evaluation.html" title="Evaluationに関する論文・技術記事メモの一覧">
-            Evaluationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Regularization.html" title="Regularizationに関する論文・技術記事メモの一覧">
+            Regularizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Unsupervised.html b/docs/articles/Unsupervised.html
index 1b1a2250b..0c365176f 100644
--- a/docs/articles/Unsupervised.html
+++ b/docs/articles/Unsupervised.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Unsupervised.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Unsupervisedに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Unsupervised #MachineTranslation#NLP#AudioProcessing#SpeechIssue Date: 2023-07-15 Simple and Effective Unsupervised Speech Translation, ACL23 Summary音声翻訳のためのラベル付きデータが限られているため、非教師あり手法を使用して音声翻訳システムを構築する方法を研究している。パイプラインアプローチや擬似ラベル生成を使用し、非教師ありドメイン適応技術を提案している。実験の結果、従来の手法を上回る性能を示している。 #Neural#Pretraining#NLPIssue Date: 2017-12-31 Unsupervised Pretraining for Sequence to Sequence Learning, Ramachandran+, EMNLP17 Commentseq2seqにおいてweightのpretrainingを行う手法を提案 seq2seqでは訓練データが小さいとoverfittingしやすいという弱点があるので、大規模なデータでunsupervisedにpretrainingし、その後目的のデータでfinetuneすることで精度を向上させまし ... #Multi#Single#DocumentSummarization#Document#GraphBased#NLP#ExtractiveIssue Date: 2018-01-01 CTSUM: Extracting More Certain Summaries for News Articles, Wan+, SIGIR14 Comment要約を生成する際に、情報の”確実性”を考慮したモデルCTSUMを提案しましたという論文（今まではそういう研究はなかった） ``` &quot;However, it seems that Obama will not use the platform to relaunch his stalled d解説ス ... more","headline":"Unsupervisedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Unsupervised.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Unsupervised.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Unsupervised #MachineTranslation#NLP#AudioProcessing#SpeechIssue Date: 2023-07-15 Simple and Effective Unsupervised Speech Translation, ACL23 Summary音声翻訳のためのラベル付きデータが限られているため、非教師あり手法を使用して音声翻訳システムを構築する方法を研究している。パイプラインアプローチや擬似ラベル生成を使用し、非教師ありドメイン適応技術を提案している。実験の結果、従来の手法を上回る性能を示している。 #Neural#Pretraining#NLPIssue Date: 2017-12-31 Unsupervised Pretraining for Sequence to Sequence Learning, Ramachandran+, EMNLP17 Commentseq2seqにおいてweightのpretrainingを行う手法を提案 seq2seqでは訓練データが小さいとoverfittingしやすいという弱点があるので、大規模なデータでunsupervisedにpretrainingし、その後目的のデータでfinetuneすることで精度を向上させまし ... #Multi#Single#DocumentSummarization#Document#GraphBased#NLP#ExtractiveIssue Date: 2018-01-01 CTSUM: Extracting More Certain Summaries for News Articles, Wan+, SIGIR14 Comment要約を生成する際に、情報の”確実性”を考慮したモデルCTSUMを提案しましたという論文（今まではそういう研究はなかった） ``` &quot;However, it seems that Obama will not use the platform to relaunch his stalled d解説ス ... more","headline":"Unsupervisedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Unsupervised.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Unsupervised.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1033,32 +1033,32 @@ <h2 id="unsupervised">Unsupervised</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/LearningToRank.html" title="LearningToRankに関する論文・技術記事メモの一覧">
-            LearningToRankに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CrossLingual.html" title="CrossLingualに関する論文・技術記事メモの一覧">
+            CrossLingualに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InductiveBias.html" title="InductiveBiasに関する論文・技術記事メモの一覧">
-            InductiveBiasに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ContrastiveLearning.html" title="ContrastiveLearningに関する論文・技術記事メモの一覧">
+            ContrastiveLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ConceptToText.html" title="ConceptToTextに関する論文・技術記事メモの一覧">
-            ConceptToTextに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Temporal.html" title="Temporalに関する論文・技術記事メモの一覧">
+            Temporalに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NewsCitations.html" title="NewsCitationsに関する論文・技術記事メモの一覧">
-            NewsCitationsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Online_Interactive.html" title="Online/Interactiveに関する論文・技術記事メモの一覧">
+            Online/Interactiveに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Update.html b/docs/articles/Update.html
index 0f61fa4e9..54ac61900 100644
--- a/docs/articles/Update.html
+++ b/docs/articles/Update.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Update.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Updateに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Update #Article#DocumentSummarization#NLP#DatasetIssue Date: 2017-12-28 DUC 2007, Update Summarization Dataset #Article#DocumentSummarization#NLPIssue Date: 2017-12-28 Update Summary Update, Copeck et al., TAC’08 Comment被引用数は少ないが、良い論文からreferされているイメージ ... #Article#DocumentSummarization#NLPIssue Date: 2017-12-28 DualSum: a Topic-Model based approach for update summarization, Delort et al., EACL’12 Comment・大半のupdate summarizationの手法はdocument set Aがgivenのとき，document set Bのupdate summarizationをつくる際には，redundancy removalの問題として扱っている． ・この手法は，1つのsentenceの中にre ... more","headline":"Updateに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Update.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Update.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Update #Article#DocumentSummarization#NLP#DatasetIssue Date: 2017-12-28 DUC 2007, Update Summarization Dataset #Article#DocumentSummarization#NLPIssue Date: 2017-12-28 Update Summary Update, Copeck et al., TAC’08 Comment被引用数は少ないが、良い論文からreferされているイメージ ... #Article#DocumentSummarization#NLPIssue Date: 2017-12-28 DualSum: a Topic-Model based approach for update summarization, Delort et al., EACL’12 Comment・大半のupdate summarizationの手法はdocument set Aがgivenのとき，document set Bのupdate summarizationをつくる際には，redundancy removalの問題として扱っている． ・この手法は，1つのsentenceの中にre ... more","headline":"Updateに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Update.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Update.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1053,32 +1053,32 @@ <h2 id="update">Update</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Transformer.html" title="Transformerに関する論文・技術記事メモの一覧">
-            Transformerに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InteractivePersonalizedSummarization.html" title="InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧">
+            InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/SemanticTextualSimilarity.html" title="SemanticTextualSimilarityに関する論文・技術記事メモの一覧">
-            SemanticTextualSimilarityに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/FactualConsistency.html" title="FactualConsistencyに関する論文・技術記事メモの一覧">
+            FactualConsistencyに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/FactualConsistency.html" title="FactualConsistencyに関する論文・技術記事メモの一覧">
-            FactualConsistencyに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Multi.html" title="Multiに関する論文・技術記事メモの一覧">
+            Multiに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Contents-based.html" title="Contents-basedに関する論文・技術記事メモの一覧">
-            Contents-basedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Zero_Few-shot.html" title="Zero/Few-shotに関する論文・技術記事メモの一覧">
+            Zero/Few-shotに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/UserModeling.html b/docs/articles/UserModeling.html
index 0437d158e..a847ac6b6 100644
--- a/docs/articles/UserModeling.html
+++ b/docs/articles/UserModeling.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/UserModeling.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="UserModelingに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"UserModeling #Embed#Pocket#NLPIssue Date: 2018-01-01 Multi-View Unsupervised User Feature Embedding for Social Media-based Substance Use Prediction, Ding+, EMNLP17 #MachineLearning#DomainAdaptationIssue Date: 2017-12-31 Human Centered NLP with User-Factor Adaptation, Lynn+, EMNLP17 Comment#126 Frustratingly easy domain adaptationをPersonalization用に拡張している。 Frustratingly easy domain adaptationでは、domain adaptationを行うときに、discreteなクラスに分けてfea ... Issue Date: 2017-12-28 Learning User Profiles from Tagging Data and Leveraging them for Personal（ized） Information Access, Michlmayr+, WWW07 Commentsocial bookmarkのタグを使ってどのようにユーザモデルを作成する手法が提案されている。タグの時系列も扱っているみたいなので、参考になりそう。 ... more","headline":"UserModelingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/UserModeling.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/UserModeling.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"UserModeling #Embed#Pocket#NLPIssue Date: 2018-01-01 Multi-View Unsupervised User Feature Embedding for Social Media-based Substance Use Prediction, Ding+, EMNLP17 #MachineLearning#DomainAdaptationIssue Date: 2017-12-31 Human Centered NLP with User-Factor Adaptation, Lynn+, EMNLP17 Comment#126 Frustratingly easy domain adaptationをPersonalization用に拡張している。 Frustratingly easy domain adaptationでは、domain adaptationを行うときに、discreteなクラスに分けてfea ... Issue Date: 2017-12-28 Learning User Profiles from Tagging Data and Leveraging them for Personal（ized） Information Access, Michlmayr+, WWW07 Commentsocial bookmarkのタグを使ってどのようにユーザモデルを作成する手法が提案されている。タグの時系列も扱っているみたいなので、参考になりそう。 ... more","headline":"UserModelingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/UserModeling.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/UserModeling.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1033,24 +1033,24 @@ <h2 id="usermodeling">UserModeling</h2>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/StudentPerformancePrediction.html" title="StudentPerformancePredictionに関する論文・技術記事メモの一覧">
-            StudentPerformancePredictionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ILP.html" title="ILPに関する論文・技術記事メモの一覧">
+            ILPに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InstructionTuning.html" title="InstructionTuningに関する論文・技術記事メモの一覧">
-            InstructionTuningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Pruning.html" title="Pruningに関する論文・技術記事メモの一覧">
+            Pruningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/QuestionAnswering.html" title="QuestionAnsweringに関する論文・技術記事メモの一覧">
-            QuestionAnsweringに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Regularization.html" title="Regularizationに関する論文・技術記事メモの一覧">
+            Regularizationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/VariationalAutoEncoder.html b/docs/articles/VariationalAutoEncoder.html
index a20c61962..4e9d6a79c 100644
--- a/docs/articles/VariationalAutoEncoder.html
+++ b/docs/articles/VariationalAutoEncoder.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/VariationalAutoEncoder.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="VariationalAutoEncoderに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"VariationalAutoEncoder #Multi#DocumentSummarization#Document#Pocket#NLPIssue Date: 2018-10-05 Salience Estimation via Variational Auto-Encoders for Multi-Document Summarization, Li+, AAAI17","headline":"VariationalAutoEncoderに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/VariationalAutoEncoder.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/VariationalAutoEncoder.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"VariationalAutoEncoder #Multi#DocumentSummarization#Document#Pocket#NLPIssue Date: 2018-10-05 Salience Estimation via Variational Auto-Encoders for Multi-Document Summarization, Li+, AAAI17","headline":"VariationalAutoEncoderに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/VariationalAutoEncoder.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/VariationalAutoEncoder.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1009,32 +1009,32 @@ <h2 id="variationalautoencoder">VariationalAutoEncoder</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ECS.html" title="ECSに関する論文・技術記事メモの一覧">
-            ECSに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/RetrievalAugmentedGeneration.html" title="RetrievalAugmentedGenerationに関する論文・技術記事メモの一覧">
+            RetrievalAugmentedGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataDriven.html" title="DataDrivenに関する論文・技術記事メモの一覧">
-            DataDrivenに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Alignment.html" title="Alignmentに関する論文・技術記事メモの一覧">
+            Alignmentに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ContextWindow.html" title="ContextWindowに関する論文・技術記事メモの一覧">
-            ContextWindowに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/RepresentationLearning.html" title="RepresentationLearningに関する論文・技術記事メモの一覧">
+            RepresentationLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/OpenLLM.html" title="OpenLLMに関する論文・技術記事メモの一覧">
-            OpenLLMに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LayoutGeneration.html" title="LayoutGenerationに関する論文・技術記事メモの一覧">
+            LayoutGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Visual Words.html b/docs/articles/Visual Words.html
index dc3fe835e..c3b267d65 100644
--- a/docs/articles/Visual Words.html	
+++ b/docs/articles/Visual Words.html	
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Visual%20Words.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Visual Wordsに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Visual Words #Neural#ComputerVisionIssue Date: 2017-12-28 Image Captioning with Semantic Attention, You+, CVPR16. Comment画像そのものだけでなく、モデルへのInputにVisual Wordsを明示的に加えることで、captioningの精度が上がりましたという論文 ... #Neural#ComputerVisionIssue Date: 2017-12-28 What Value Do Explicit High Level Concepts Have in Vision to Language Problems?, Wu+, CVPR16.","headline":"Visual Wordsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Visual%20Words.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Visual%20Words.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Visual Words #Neural#ComputerVisionIssue Date: 2017-12-28 Image Captioning with Semantic Attention, You+, CVPR16. Comment画像そのものだけでなく、モデルへのInputにVisual Wordsを明示的に加えることで、captioningの精度が上がりましたという論文 ... #Neural#ComputerVisionIssue Date: 2017-12-28 What Value Do Explicit High Level Concepts Have in Vision to Language Problems?, Wu+, CVPR16.","headline":"Visual Wordsに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Visual%20Words.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Visual%20Words.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1012,32 +1012,32 @@ <h2 id="visual-words">Visual Words</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Interleaved.html" title="Interleavedに関する論文・技術記事メモの一覧">
-            Interleavedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/OnlineLearning.html" title="OnlineLearningに関する論文・技術記事メモの一覧">
+            OnlineLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Pocket.html" title="Pocketに関する論文・技術記事メモの一覧">
-            Pocketに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Unsupervised.html" title="Unsupervisedに関する論文・技術記事メモの一覧">
+            Unsupervisedに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ItemBased.html" title="ItemBasedに関する論文・技術記事メモの一覧">
-            ItemBasedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/NewsCitations.html" title="NewsCitationsに関する論文・技術記事メモの一覧">
+            NewsCitationsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InstructionTuning.html" title="InstructionTuningに関する論文・技術記事メモの一覧">
-            InstructionTuningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CVRPrediction.html" title="CVRPredictionに関する論文・技術記事メモの一覧">
+            CVRPredictionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/WebSearch.html b/docs/articles/WebSearch.html
index c0007e919..cdeedcea4 100644
--- a/docs/articles/WebSearch.html
+++ b/docs/articles/WebSearch.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/WebSearch.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="WebSearchに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"WebSearch #Neural#InformationRetrieval#SearchEngine#MultitaskLearning#QueryClassificationIssue Date: 2018-02-05 Representation Learning Using Multi-Task Deep Neural Networks for Semantic Classification and Information Retrieval, Liu+, NAACL-HLT15 Commentクエリ分類と検索をNeural Netを用いてmulti-task learningする研究分類(multi-class classification)とランキング(pairwise learning-to-rank)という異なる操作が必要なタスクを、multi task learningの枠組みで ... #Article#CollaborativeFiltering#InformationRetrieval#RelevanceFeedback#SearchEngine#PersonalizationIssue Date: 2023-04-28 Adaptive Web Search Based on User Profile Constructed without Any Effort from Users, Sugiyama+, NAIST, WWW’04 Comment検索結果のpersonalizationを初めてuser profileを用いて実現した研究 user profileはlong/short term preferenceによって構成される。 long term: さまざまなソースから取得される short term: 当日のセッショ ...","headline":"WebSearchに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/WebSearch.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/WebSearch.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"WebSearch #Neural#InformationRetrieval#SearchEngine#MultitaskLearning#QueryClassificationIssue Date: 2018-02-05 Representation Learning Using Multi-Task Deep Neural Networks for Semantic Classification and Information Retrieval, Liu+, NAACL-HLT15 Commentクエリ分類と検索をNeural Netを用いてmulti-task learningする研究分類(multi-class classification)とランキング(pairwise learning-to-rank)という異なる操作が必要なタスクを、multi task learningの枠組みで ... #Article#CollaborativeFiltering#InformationRetrieval#RelevanceFeedback#SearchEngine#PersonalizationIssue Date: 2023-04-28 Adaptive Web Search Based on User Profile Constructed without Any Effort from Users, Sugiyama+, NAIST, WWW’04 Comment検索結果のpersonalizationを初めてuser profileを用いて実現した研究 user profileはlong/short term preferenceによって構成される。 long term: さまざまなソースから取得される short term: 当日のセッショ ...","headline":"WebSearchに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/WebSearch.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/WebSearch.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1016,32 +1016,32 @@ <h2 id="websearch">WebSearch</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/LanguageModel.html" title="LanguageModelに関する論文・技術記事メモの一覧">
-            LanguageModelに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Optimizer.html" title="Optimizerに関する論文・技術記事メモの一覧">
+            Optimizerに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Spoken%20Language%20Processing.html" title="Spoken Language Processingに関する論文・技術記事メモの一覧">
-            Spoken Language Processingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ReinforcementLearning.html" title="ReinforcementLearningに関する論文・技術記事メモの一覧">
+            ReinforcementLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataDriven.html" title="DataDrivenに関する論文・技術記事メモの一覧">
-            DataDrivenに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DataGeneration.html" title="DataGenerationに関する論文・技術記事メモの一覧">
+            DataGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/StructuredData.html" title="StructuredDataに関する論文・技術記事メモの一覧">
-            StructuredDataに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/InformationExtraction.html" title="InformationExtractionに関する論文・技術記事メモの一覧">
+            InformationExtractionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Word.html b/docs/articles/Word.html
index 8e6f6d4d7..b40768aa7 100644
--- a/docs/articles/Word.html
+++ b/docs/articles/Word.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Word.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Wordに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Word #Neural#Embed#Analysis#NLPIssue Date: 2017-12-30 Skip-Gram – Zipf + Uniform = Vector Additivity, Gittens+, ACL17 Comment解説スライド：http://www.lr.pi.titech.ac.jp/~haseshun/acl2017suzukake/slides/09.pdfEmbeddingの加法構成性（e.g. man+royal=king）を理論的に理由づけ （解説スライドより） ... #Neural#Embed#NLPIssue Date: 2017-12-29 Poincare Embeddings for Learning Hierarchical Representations, Nickel+, NIPS17 Comment解説: http://tech-blog.abeja.asia/entry/poincare-embeddings 解説スライド：https://speakerdeck.com/eumesy/poincare-embeddings-for-learning-hierarchical-represe・ ...","headline":"Wordに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Word.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Word.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Word #Neural#Embed#Analysis#NLPIssue Date: 2017-12-30 Skip-Gram – Zipf + Uniform = Vector Additivity, Gittens+, ACL17 Comment解説スライド：http://www.lr.pi.titech.ac.jp/~haseshun/acl2017suzukake/slides/09.pdfEmbeddingの加法構成性（e.g. man+royal=king）を理論的に理由づけ （解説スライドより） ... #Neural#Embed#NLPIssue Date: 2017-12-29 Poincare Embeddings for Learning Hierarchical Representations, Nickel+, NIPS17 Comment解説: http://tech-blog.abeja.asia/entry/poincare-embeddings 解説スライド：https://speakerdeck.com/eumesy/poincare-embeddings-for-learning-hierarchical-represe・ ...","headline":"Wordに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Word.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Word.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1015,32 +1015,32 @@ <h2 id="word">Word</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/ILP.html" title="ILPに関する論文・技術記事メモの一覧">
-            ILPに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Conversation.html" title="Conversationに関する論文・技術記事メモの一覧">
+            Conversationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/ComputerVision.html" title="ComputerVisionに関する論文・技術記事メモの一覧">
-            ComputerVisionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Article.html" title="Articleに関する論文・技術記事メモの一覧">
+            Articleに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Distillation.html" title="Distillationに関する論文・技術記事メモの一覧">
-            Distillationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Lambda.html" title="Lambdaに関する論文・技術記事メモの一覧">
+            Lambdaに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RuleBased.html" title="RuleBasedに関する論文・技術記事メモの一覧">
-            RuleBasedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ImageSegmentation.html" title="ImageSegmentationに関する論文・技術記事メモの一覧">
+            ImageSegmentationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/Zero_Few-shot.html b/docs/articles/Zero_Few-shot.html
index a2f68c7e0..2f4970c5b 100644
--- a/docs/articles/Zero_Few-shot.html
+++ b/docs/articles/Zero_Few-shot.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/Zero_Few-shot.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="Zero/Few-shotに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"Zero/Few-shot #NaturalLanguageGeneration#NLP#DataToText#MultitaskLearningIssue Date: 2023-07-18 Few-Shot Data-to-Text Generation via Unified Representation and Multi-Source Learning, ACL23 Summaryこの論文では、構造化データからテキストを生成する新しいアプローチを提案しています。提案手法は、さまざまな形式のデータを処理できる統一された表現を提供し、マルチタスクトレーニングやゼロショット学習などのシナリオでのパフォーマンスを向上させることを目指しています。実験結果は、提案手法が他の方法と比較して優れた性能を示していることを示しています。これは、データからテキスト生成フレームワークにおける重要な進歩です。 #NLP#DataDistillation#AttentionIssue Date: 2023-07-14 Dataset Distillation with Attention Labels for Fine-tuning BERT, ACL23 Summary本研究では、データセットの蒸留を使用して、元のデータセットのパフォーマンスを保持しながら、ニューラルネットワークを迅速にトレーニングするための小さなデータセットを作成する方法に焦点を当てています。具体的には、事前学習済みのトランスフォーマーを微調整するための自然言語処理タスクの蒸留されたfew-shotデータセットの構築を提案しています。実験結果では、注意ラベルを使用してfew-shotデータセットを作成し、BERTの微調整において印象的なパフォーマンスを実現できることを示しました。例えば、ニュース分類タスクでは、わずか1つのサンプルとわずか1つの勾配ステップのみで、元のデータセットの98.5％のパフォーマンスを達成しました。 CommentDatadistillationしたら、データセットのうち1サンプルのみで、元のデータセットの98.5%の性能を発揮できたという驚異的な研究（まえかわ君） ... #Efficiency/SpeedUp#MachineLearning#NLP#In-ContextLearningIssue Date: 2023-07-13 FiD-ICL: A Fusion-in-Decoder Approach for Efficient In-Context Learning, ACL23 Summary大規模な事前学習モデルを使用したfew-shot in-context learning（ICL）において、fusion-in-decoder（FiD）モデルを適用することで効率とパフォーマンスを向上させることができることを検証する。FiD-ICLは他のフュージョン手法と比較して優れたパフォーマンスを示し、推論時間も10倍速くなる。また、FiD-ICLは大規模なメタトレーニングモデルのスケーリングも可能にする。 more","headline":"Zero/Few-shotに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Zero_Few-shot.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Zero_Few-shot.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"Zero/Few-shot #NaturalLanguageGeneration#NLP#DataToText#MultitaskLearningIssue Date: 2023-07-18 Few-Shot Data-to-Text Generation via Unified Representation and Multi-Source Learning, ACL23 Summaryこの論文では、構造化データからテキストを生成する新しいアプローチを提案しています。提案手法は、さまざまな形式のデータを処理できる統一された表現を提供し、マルチタスクトレーニングやゼロショット学習などのシナリオでのパフォーマンスを向上させることを目指しています。実験結果は、提案手法が他の方法と比較して優れた性能を示していることを示しています。これは、データからテキスト生成フレームワークにおける重要な進歩です。 #NLP#DataDistillation#AttentionIssue Date: 2023-07-14 Dataset Distillation with Attention Labels for Fine-tuning BERT, ACL23 Summary本研究では、データセットの蒸留を使用して、元のデータセットのパフォーマンスを保持しながら、ニューラルネットワークを迅速にトレーニングするための小さなデータセットを作成する方法に焦点を当てています。具体的には、事前学習済みのトランスフォーマーを微調整するための自然言語処理タスクの蒸留されたfew-shotデータセットの構築を提案しています。実験結果では、注意ラベルを使用してfew-shotデータセットを作成し、BERTの微調整において印象的なパフォーマンスを実現できることを示しました。例えば、ニュース分類タスクでは、わずか1つのサンプルとわずか1つの勾配ステップのみで、元のデータセットの98.5％のパフォーマンスを達成しました。 CommentDatadistillationしたら、データセットのうち1サンプルのみで、元のデータセットの98.5%の性能を発揮できたという驚異的な研究（まえかわ君） ... #Efficiency/SpeedUp#MachineLearning#NLP#In-ContextLearningIssue Date: 2023-07-13 FiD-ICL: A Fusion-in-Decoder Approach for Efficient In-Context Learning, ACL23 Summary大規模な事前学習モデルを使用したfew-shot in-context learning（ICL）において、fusion-in-decoder（FiD）モデルを適用することで効率とパフォーマンスを向上させることができることを検証する。FiD-ICLは他のフュージョン手法と比較して優れたパフォーマンスを示し、推論時間も10倍速くなる。また、FiD-ICLは大規模なメタトレーニングモデルのスケーリングも可能にする。 more","headline":"Zero/Few-shotに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/Zero_Few-shot.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/Zero_Few-shot.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1047,32 +1047,32 @@ <h2 id="zerofew-shot">Zero/Few-shot</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/CodeGeneration.html" title="CodeGenerationに関する論文・技術記事メモの一覧">
-            CodeGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PairWise.html" title="PairWiseに関する論文・技術記事メモの一覧">
+            PairWiseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataToText.html" title="DataToTextに関する論文・技術記事メモの一覧">
-            DataToTextに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/OnlineLearning.html" title="OnlineLearningに関する論文・技術記事メモの一覧">
+            OnlineLearningに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/LLM-as-a-Judge.html" title="LLM-as-a-Judgeに関する論文・技術記事メモの一覧">
-            LLM-as-a-Judgeに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Training-Free.html" title="Training-Freeに関する論文・技術記事メモの一覧">
+            Training-Freeに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Multi.html" title="Multiに関する論文・技術記事メモの一覧">
-            Multiに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/DiffusionModel.html" title="DiffusionModelに関する論文・技術記事メモの一覧">
+            DiffusionModelに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/action_wanted.html b/docs/articles/action_wanted.html
index 3dde5fd56..570096a75 100644
--- a/docs/articles/action_wanted.html
+++ b/docs/articles/action_wanted.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/action_wanted.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="action_wantedに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"action_wanted #ComputerVision#Pocket#NLP#LanguageModelIssue Date: 2024-03-21 Evolutionary Optimization of Model Merging Recipes, Takuya Akiba+, N_A, arXiv24 Summary進化アルゴリズムを使用した新しいアプローチを提案し、強力な基盤モデルの自動生成を実現。LLMの開発において、人間の直感やドメイン知識に依存せず、多様なオープンソースモデルの効果的な組み合わせを自動的に発見する。このアプローチは、日本語のLLMと数学推論能力を持つモデルなど、異なるドメイン間の統合を容易にし、日本語VLMの性能向上にも貢献。オープンソースコミュニティへの貢献と自動モデル構成の新しいパラダイム導入により、基盤モデル開発における効率的なアプローチを模索。 Comment複数のLLMを融合するモデルマージの話。日本語LLMと英語の数学LLNをマージさせることで日本語の数学性能を大幅に向上させたり、LLMとVLMを融合したりすることで、日本にしか存在しない概念の画像も、きちんと回答できるようになる。著者スライドによると、従来のモデルマージにはbase modelが著者 ... #PocketIssue Date: 2024-03-13 Stealing Part of a Production Language Model, Nicholas Carlini+, N_A, arXiv24 SummaryOpenAIのChatGPTやGoogleのPaLM-2などのブラックボックスの言語モデルから重要な情報を抽出するモデルスティーリング攻撃を紹介。APIアクセスを利用して、transformerモデルの埋め込み射影層を回復する攻撃を行い、低コストでAdaとBabbage言語モデルの全射影行列を抽出。gpt-3.5-turboモデルの隠れた次元のサイズを回復し、2000ドル未満のクエリで全射影行列を回復すると推定。潜在的な防御策と緩和策を提案し、将来の作業の影響について議論。 #Pocket#NLP#LanguageModel#OpenLLMIssue Date: 2024-03-05 OLMo: Accelerating the Science of Language Models, Dirk Groeneveld+, N_A, arXiv24 SummaryLMsの商業的重要性が高まる中、最も強力なモデルは閉鎖されており、その詳細が非公開になっている。そのため、本技術レポートでは、本当にオープンな言語モデルであるOLMoの初回リリースと、言語モデリングの科学を構築し研究するためのフレームワークについて詳細に説明している。OLMoはモデルの重みだけでなく、トレーニングデータ、トレーニングおよび評価コードを含むフレームワーク全体を公開しており、オープンな研究コミュニティを強化し、新しいイノベーションを促進することを目指している。 CommentModel Weightsを公開するだけでなく、training/evaluation codeとそのデータも公開する真にOpenな言語モデル（truly Open Language Model）。AllenAI ... more","headline":"action_wantedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/action_wanted.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/action_wanted.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"action_wanted #ComputerVision#Pocket#NLP#LanguageModelIssue Date: 2024-03-21 Evolutionary Optimization of Model Merging Recipes, Takuya Akiba+, N_A, arXiv24 Summary進化アルゴリズムを使用した新しいアプローチを提案し、強力な基盤モデルの自動生成を実現。LLMの開発において、人間の直感やドメイン知識に依存せず、多様なオープンソースモデルの効果的な組み合わせを自動的に発見する。このアプローチは、日本語のLLMと数学推論能力を持つモデルなど、異なるドメイン間の統合を容易にし、日本語VLMの性能向上にも貢献。オープンソースコミュニティへの貢献と自動モデル構成の新しいパラダイム導入により、基盤モデル開発における効率的なアプローチを模索。 Comment複数のLLMを融合するモデルマージの話。日本語LLMと英語の数学LLNをマージさせることで日本語の数学性能を大幅に向上させたり、LLMとVLMを融合したりすることで、日本にしか存在しない概念の画像も、きちんと回答できるようになる。著者スライドによると、従来のモデルマージにはbase modelが著者 ... #PocketIssue Date: 2024-03-13 Stealing Part of a Production Language Model, Nicholas Carlini+, N_A, arXiv24 SummaryOpenAIのChatGPTやGoogleのPaLM-2などのブラックボックスの言語モデルから重要な情報を抽出するモデルスティーリング攻撃を紹介。APIアクセスを利用して、transformerモデルの埋め込み射影層を回復する攻撃を行い、低コストでAdaとBabbage言語モデルの全射影行列を抽出。gpt-3.5-turboモデルの隠れた次元のサイズを回復し、2000ドル未満のクエリで全射影行列を回復すると推定。潜在的な防御策と緩和策を提案し、将来の作業の影響について議論。 #Pocket#NLP#LanguageModel#OpenLLMIssue Date: 2024-03-05 OLMo: Accelerating the Science of Language Models, Dirk Groeneveld+, N_A, arXiv24 SummaryLMsの商業的重要性が高まる中、最も強力なモデルは閉鎖されており、その詳細が非公開になっている。そのため、本技術レポートでは、本当にオープンな言語モデルであるOLMoの初回リリースと、言語モデリングの科学を構築し研究するためのフレームワークについて詳細に説明している。OLMoはモデルの重みだけでなく、トレーニングデータ、トレーニングおよび評価コードを含むフレームワーク全体を公開しており、オープンな研究コミュニティを強化し、新しいイノベーションを促進することを目指している。 CommentModel Weightsを公開するだけでなく、training/evaluation codeとそのデータも公開する真にOpenな言語モデル（truly Open Language Model）。AllenAI ... more","headline":"action_wantedに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/action_wanted.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/action_wanted.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1145,32 +1145,32 @@ <h2 id="action_wanted">action_wanted</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/SyntheticData.html" title="SyntheticDataに関する論文・技術記事メモの一覧">
-            SyntheticDataに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Mindset.html" title="Mindsetに関する論文・技術記事メモの一覧">
+            Mindsetに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataDriven.html" title="DataDrivenに関する論文・技術記事メモの一覧">
-            DataDrivenに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/HumanComputerInteraction.html" title="HumanComputerInteractionに関する論文・技術記事メモの一覧">
+            HumanComputerInteractionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/RuleBased.html" title="RuleBasedに関する論文・技術記事メモの一覧">
-            RuleBasedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ILP.html" title="ILPに関する論文・技術記事メモの一覧">
+            ILPに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/MLOps.html" title="MLOpsに関する論文・技術記事メモの一覧">
-            MLOpsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Grokking.html" title="Grokkingに関する論文・技術記事メモの一覧">
+            Grokkingに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/post-pretraining.html b/docs/articles/post-pretraining.html
index 5a9e8efe3..4b6a96616 100644
--- a/docs/articles/post-pretraining.html
+++ b/docs/articles/post-pretraining.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/post-pretraining.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="post-pretrainingに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"post-pretraining #Pocket#NLP#LanguageModelIssue Date: 2024-01-24 LLaMA Pro: Progressive LLaMA with Block Expansion, Chengyue Wu+, N_A, arXiv24 Summary本研究では、大規模言語モデル（LLMs）の新しい事前学習後の手法を提案し、モデルの知識を効果的かつ効率的に向上させることを目指しました。具体的には、Transformerブロックの拡張を使用し、新しいコーパスのみを使用してモデルを調整しました。実験の結果、提案手法はさまざまなベンチマークで優れたパフォーマンスを発揮し、知的エージェントとして多様なタスクに対応できることが示されました。この研究は、自然言語とプログラミング言語を統合し、高度な言語エージェントの開発に貢献するものです。 Comment追加の知識を導入したいときに使えるかも?事前学習したLLaMA Blockに対して、追加のLLaMA Blockをstackし、もともとのLLaMA Blockのパラメータをfreezeした上でドメインに特化したコーパスで事後学習することで、追加の知識を挿入する。LLaMA Blockを挿入するとき ...","headline":"post-pretrainingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/post-pretraining.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/post-pretraining.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"post-pretraining #Pocket#NLP#LanguageModelIssue Date: 2024-01-24 LLaMA Pro: Progressive LLaMA with Block Expansion, Chengyue Wu+, N_A, arXiv24 Summary本研究では、大規模言語モデル（LLMs）の新しい事前学習後の手法を提案し、モデルの知識を効果的かつ効率的に向上させることを目指しました。具体的には、Transformerブロックの拡張を使用し、新しいコーパスのみを使用してモデルを調整しました。実験の結果、提案手法はさまざまなベンチマークで優れたパフォーマンスを発揮し、知的エージェントとして多様なタスクに対応できることが示されました。この研究は、自然言語とプログラミング言語を統合し、高度な言語エージェントの開発に貢献するものです。 Comment追加の知識を導入したいときに使えるかも?事前学習したLLaMA Blockに対して、追加のLLaMA Blockをstackし、もともとのLLaMA Blockのパラメータをfreezeした上でドメインに特化したコーパスで事後学習することで、追加の知識を挿入する。LLaMA Blockを挿入するとき ...","headline":"post-pretrainingに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/post-pretraining.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/post-pretraining.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1012,32 +1012,32 @@ <h2 id="post-pretraining">post-pretraining</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/Efficiency_SpeedUp.html" title="Efficiency/SpeedUpに関する論文・技術記事メモの一覧">
-            Efficiency/SpeedUpに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Extractive.html" title="Extractiveに関する論文・技術記事メモの一覧">
+            Extractiveに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/translation_required.html" title="translation_requiredに関する論文・技術記事メモの一覧">
-            translation_requiredに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/ILP.html" title="ILPに関する論文・技術記事メモの一覧">
+            ILPに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/AutomaticPromptEngineering.html" title="AutomaticPromptEngineeringに関する論文・技術記事メモの一覧">
-            AutomaticPromptEngineeringに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Infrastructure.html" title="Infrastructureに関する論文・技術記事メモの一覧">
+            Infrastructureに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Programming.html" title="Programmingに関する論文・技術記事メモの一覧">
-            Programmingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Optimizer.html" title="Optimizerに関する論文・技術記事メモの一覧">
+            Optimizerに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/pretrained-LM.html b/docs/articles/pretrained-LM.html
index 507b267f3..428c9ac94 100644
--- a/docs/articles/pretrained-LM.html
+++ b/docs/articles/pretrained-LM.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/pretrained-LM.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="pretrained-LMに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"pretrained-LM #NLP#Out-of-DistributionDetectionIssue Date: 2023-07-18 Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for Out-of-Domain Detection, ACL23 Summary本研究では、ファインチューニングなしで事前学習された言語モデルを使用してOOD検出を行う効果を調査しました。さまざまなタイプの分布シフトにおいて、ファインチューニングされたモデルを大幅に上回るほぼ完璧なOOD検出性能を示しました。 #RecommenderSystems#NLP#Contents-based#Transformer#ContrastiveLearningIssue Date: 2023-07-18 UniTRec: A Unified Text-to-Text Transformer and Joint Contrastive Learning Framework for Text-based Recommendation, ACL23 Summary本研究では、事前学習済み言語モデル（PLM）を使用して、テキストベースの推薦の性能を向上させるための新しいフレームワークであるUniTRecを提案します。UniTRecは、ユーザーの履歴の文脈をより良くモデル化するために統一されたローカル-グローバルアテンションTransformerエンコーダを使用し、候補のテキストアイテムの言語の複雑さを推定するためにTransformerデコーダを活用します。幅広い評価により、UniTRecがテキストベースの推薦タスクで最先端のパフォーマンスを発揮することが示されました。 #DocumentSummarization#NLP#Abstractive#Zero/Few-shotIssue Date: 2023-07-13 Z-Code++: A Pre-trained Language Model Optimized for Abstractive Summarization, ACL23 Summaryこの論文では、新しい事前学習言語モデルであるZ-Code++を提案し、抽象的なテキスト要約に最適化されています。Z-Code++は、2つのフェーズの事前学習とディセントラル化アテンション層、およびエンコーダー内のフュージョンを使用しています。このモデルは、低リソースの要約タスクで最先端の性能を発揮し、パラメータ効率的であり、他の競合モデルを大幅に上回ります。 more","headline":"pretrained-LMに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/pretrained-LM.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/pretrained-LM.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"pretrained-LM #NLP#Out-of-DistributionDetectionIssue Date: 2023-07-18 Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for Out-of-Domain Detection, ACL23 Summary本研究では、ファインチューニングなしで事前学習された言語モデルを使用してOOD検出を行う効果を調査しました。さまざまなタイプの分布シフトにおいて、ファインチューニングされたモデルを大幅に上回るほぼ完璧なOOD検出性能を示しました。 #RecommenderSystems#NLP#Contents-based#Transformer#ContrastiveLearningIssue Date: 2023-07-18 UniTRec: A Unified Text-to-Text Transformer and Joint Contrastive Learning Framework for Text-based Recommendation, ACL23 Summary本研究では、事前学習済み言語モデル（PLM）を使用して、テキストベースの推薦の性能を向上させるための新しいフレームワークであるUniTRecを提案します。UniTRecは、ユーザーの履歴の文脈をより良くモデル化するために統一されたローカル-グローバルアテンションTransformerエンコーダを使用し、候補のテキストアイテムの言語の複雑さを推定するためにTransformerデコーダを活用します。幅広い評価により、UniTRecがテキストベースの推薦タスクで最先端のパフォーマンスを発揮することが示されました。 #DocumentSummarization#NLP#Abstractive#Zero/Few-shotIssue Date: 2023-07-13 Z-Code++: A Pre-trained Language Model Optimized for Abstractive Summarization, ACL23 Summaryこの論文では、新しい事前学習言語モデルであるZ-Code++を提案し、抽象的なテキスト要約に最適化されています。Z-Code++は、2つのフェーズの事前学習とディセントラル化アテンション層、およびエンコーダー内のフュージョンを使用しています。このモデルは、低リソースの要約タスクで最先端の性能を発揮し、パラメータ効率的であり、他の競合モデルを大幅に上回ります。 more","headline":"pretrained-LMに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/pretrained-LM.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/pretrained-LM.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1037,32 +1037,32 @@ <h2 id="pretrained-lm">pretrained-LM</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/DataGeneration.html" title="DataGenerationに関する論文・技術記事メモの一覧">
-            DataGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Conversation.html" title="Conversationに関する論文・技術記事メモの一覧">
+            Conversationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Bias.html" title="Biasに関する論文・技術記事メモの一覧">
-            Biasに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/CodeGeneration.html" title="CodeGenerationに関する論文・技術記事メモの一覧">
+            CodeGenerationに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/PPO.html" title="PPOに関する論文・技術記事メモの一覧">
-            PPOに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/KnowledgeGraph.html" title="KnowledgeGraphに関する論文・技術記事メモの一覧">
+            KnowledgeGraphに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/InteractivePersonalizedSummarization.html" title="InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧">
-            InteractivePersonalizedSummarizationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Attention.html" title="Attentionに関する論文・技術記事メモの一覧">
+            Attentionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/project_template.html b/docs/articles/project_template.html
index 9432c3ff4..845040c61 100644
--- a/docs/articles/project_template.html
+++ b/docs/articles/project_template.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/project_template.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="project_templateに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"project_template #Article#MachineLearningIssue Date: 2023-05-25 Ascender Commentpythonを利用した研究開発する上でのプロジェクトテンプレート ...","headline":"project_templateに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/project_template.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/project_template.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"project_template #Article#MachineLearningIssue Date: 2023-05-25 Ascender Commentpythonを利用した研究開発する上でのプロジェクトテンプレート ...","headline":"project_templateに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/project_template.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/project_template.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1010,32 +1010,32 @@ <h2 id="project_template">project_template</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/GraphConvolutionalNetwork.html" title="GraphConvolutionalNetworkに関する論文・技術記事メモの一覧">
-            GraphConvolutionalNetworkに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PointWise.html" title="PointWiseに関する論文・技術記事メモの一覧">
+            PointWiseに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Session.html" title="Sessionに関する論文・技術記事メモの一覧">
-            Sessionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/BeamSearch.html" title="BeamSearchに関する論文・技術記事メモの一覧">
+            BeamSearchに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Argument.html" title="Argumentに関する論文・技術記事メモの一覧">
-            Argumentに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Synchrophancy.html" title="Synchrophancyに関する論文・技術記事メモの一覧">
+            Synchrophancyに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Finetuning.html" title="Finetuningに関する論文・技術記事メモの一覧">
-            Finetuningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Lambda.html" title="Lambdaに関する論文・技術記事メモの一覧">
+            Lambdaに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/python.html b/docs/articles/python.html
index 06ae320c1..84237c906 100644
--- a/docs/articles/python.html
+++ b/docs/articles/python.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/python.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="pythonに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"python #Article#LibraryIssue Date: 2023-11-19 lifestar Comment非常に高速なpythonのASGIライブラリ。WSGIとは異なり非同期処理なためリアルタイムアプリケーションに向いているっぽい。 ... #Article#ArticleIssue Date: 2023-10-17 Loggingモジュールではじめるログ出力入門 Commentライブラリ開発の際は、ライブラリのトップレベルのLoggerにNullHandlerを設定して、詳細設定を呼び出し側に委ねるのがお作法 NullHandlerは何もせずに上位ハンドラに伝搬させるためライブラリ側でやることは、タイミングとメッセージ内容のみloggerを利用するpropagateの仕 ... #Article#Efficiency/SpeedUp#NLP#Library#TransformerIssue Date: 2023-05-11 Assisted Generation: a new direction toward low-latency text generation, 2023 Comment1 line加えるとtransformerのgenerationが最大3倍程度高速化されるようになったらしいassistant modelをロードしgenerateに引数として渡すだけ ... more","headline":"pythonに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/python.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/python.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"python #Article#LibraryIssue Date: 2023-11-19 lifestar Comment非常に高速なpythonのASGIライブラリ。WSGIとは異なり非同期処理なためリアルタイムアプリケーションに向いているっぽい。 ... #Article#ArticleIssue Date: 2023-10-17 Loggingモジュールではじめるログ出力入門 Commentライブラリ開発の際は、ライブラリのトップレベルのLoggerにNullHandlerを設定して、詳細設定を呼び出し側に委ねるのがお作法 NullHandlerは何もせずに上位ハンドラに伝搬させるためライブラリ側でやることは、タイミングとメッセージ内容のみloggerを利用するpropagateの仕 ... #Article#Efficiency/SpeedUp#NLP#Library#TransformerIssue Date: 2023-05-11 Assisted Generation: a new direction toward low-latency text generation, 2023 Comment1 line加えるとtransformerのgenerationが最大3倍程度高速化されるようになったらしいassistant modelをロードしgenerateに引数として渡すだけ ... more","headline":"pythonに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/python.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/python.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1035,32 +1035,32 @@ <h2 id="python">python</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/FoundationModel.html" title="FoundationModelに関する論文・技術記事メモの一覧">
-            FoundationModelに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/KnowledgeGraph.html" title="KnowledgeGraphに関する論文・技術記事メモの一覧">
+            KnowledgeGraphに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/NaturalLanguageUnderstanding.html" title="NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧">
-            NaturalLanguageUnderstandingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Optimizer.html" title="Optimizerに関する論文・技術記事メモの一覧">
+            Optimizerに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Abstractive.html" title="Abstractiveに関する論文・技術記事メモの一覧">
-            Abstractiveに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Out-of-DistributionDetection.html" title="Out-of-DistributionDetectionに関する論文・技術記事メモの一覧">
+            Out-of-DistributionDetectionに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Mathematics.html" title="Mathematicsに関する論文・技術記事メモの一覧">
-            Mathematicsに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/RLHF.html" title="RLHFに関する論文・技術記事メモの一覧">
+            RLHFに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/review.html b/docs/articles/review.html
index 53a3a8dfe..1dafaad08 100644
--- a/docs/articles/review.html
+++ b/docs/articles/review.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/review.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="reviewに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"review #RecommenderSystems#Explanation#PersonalizationIssue Date: 2023-07-18 Explainable Recommendation with Personalized Review Retrieval and Aspect Learning, ACL23 Summary説明可能な推薦において、テキスト生成の精度向上とユーザーの好みの捉え方の改善を目指し、ERRAモデルを提案。ERRAは追加情報の検索とアスペクト学習を組み合わせることで、より正確で情報量の多い説明を生成することができる。さらに、ユーザーの関心の高いアスペクトを選択することで、関連性の高い詳細なユーザー表現をモデル化し、説明をより説得力のあるものにする。実験結果は、ERRAモデルが最先端のベースラインを上回ることを示している。 #PersonalizedDocumentSummarization#Pocket#NLP#PersonalizationIssue Date: 2023-05-05 Towards Personalized Review Summarization by Modeling Historical Reviews from Customer and Product Separately, Xin Cheng+, N_A, arXiv23 Summaryレビュー要約は、Eコマースのウェブサイトにおいて製品レビューの主要なアイデアを要約することを目的としたタスクである。本研究では、評価情報を含む2種類の過去のレビューをグラフ推論モジュールと対比損失を用いて別々にモデル化するHHRRSを提案する。レビューの感情分類と要約を共同で行うマルチタスクフレームワークを採用し、4つのベンチマークデータセットでの徹底的な実験により、HHRRSが両方のタスクで優れた性能を発揮することが示された。 #PersonalizedDocumentSummarization#Pocket#NLPIssue Date: 2023-05-06 Transformer Reasoning Network for Personalized Review Summarization, Xu+, SIGIR21 Comment先行研究は、review summarizationにおいて生成されるsummaryは、過去にユーザが作成したsummaryのwriting styleやproductに非常に関係しているのに、これらを活用してこなかったので、活用しました（=personalized）という話っぽい ... more","headline":"reviewに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/review.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/review.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"review #RecommenderSystems#Explanation#PersonalizationIssue Date: 2023-07-18 Explainable Recommendation with Personalized Review Retrieval and Aspect Learning, ACL23 Summary説明可能な推薦において、テキスト生成の精度向上とユーザーの好みの捉え方の改善を目指し、ERRAモデルを提案。ERRAは追加情報の検索とアスペクト学習を組み合わせることで、より正確で情報量の多い説明を生成することができる。さらに、ユーザーの関心の高いアスペクトを選択することで、関連性の高い詳細なユーザー表現をモデル化し、説明をより説得力のあるものにする。実験結果は、ERRAモデルが最先端のベースラインを上回ることを示している。 #PersonalizedDocumentSummarization#Pocket#NLP#PersonalizationIssue Date: 2023-05-05 Towards Personalized Review Summarization by Modeling Historical Reviews from Customer and Product Separately, Xin Cheng+, N_A, arXiv23 Summaryレビュー要約は、Eコマースのウェブサイトにおいて製品レビューの主要なアイデアを要約することを目的としたタスクである。本研究では、評価情報を含む2種類の過去のレビューをグラフ推論モジュールと対比損失を用いて別々にモデル化するHHRRSを提案する。レビューの感情分類と要約を共同で行うマルチタスクフレームワークを採用し、4つのベンチマークデータセットでの徹底的な実験により、HHRRSが両方のタスクで優れた性能を発揮することが示された。 #PersonalizedDocumentSummarization#Pocket#NLPIssue Date: 2023-05-06 Transformer Reasoning Network for Personalized Review Summarization, Xu+, SIGIR21 Comment先行研究は、review summarizationにおいて生成されるsummaryは、過去にユーザが作成したsummaryのwriting styleやproductに非常に関係しているのに、これらを活用してこなかったので、活用しました（=personalized）という話っぽい ... more","headline":"reviewに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/review.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/review.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1044,32 +1044,32 @@ <h2 id="review">review</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/HumanComputerInteraction.html" title="HumanComputerInteractionに関する論文・技術記事メモの一覧">
-            HumanComputerInteractionに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/LearningStyle.html" title="LearningStyleに関する論文・技術記事メモの一覧">
+            LearningStyleに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/A_B%20Testing.html" title="A/B Testingに関する論文・技術記事メモの一覧">
-            A/B Testingに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/PPO.html" title="PPOに関する論文・技術記事メモの一覧">
+            PPOに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/EducationalDataMining.html" title="EducationalDataMiningに関する論文・技術記事メモの一覧">
-            EducationalDataMiningに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Repository.html" title="Repositoryに関する論文・技術記事メモの一覧">
+            Repositoryに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/Hallucination.html" title="Hallucinationに関する論文・技術記事メモの一覧">
-            Hallucinationに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Novelty.html" title="Noveltyに関する論文・技術記事メモの一覧">
+            Noveltyに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/articles/translation_required.html b/docs/articles/translation_required.html
index 395c0f1db..b3e84f329 100644
--- a/docs/articles/translation_required.html
+++ b/docs/articles/translation_required.html
@@ -18,11 +18,11 @@
 <meta property="og:url" content="http://akihikowatanabe.github.io/paper_notes/articles/translation_required.html">
 <meta property="og:site_name" content="わたしのべんきょうノート">
 <meta property="og:type" content="article">
-<meta property="article:published_time" content="2024-07-27T00:35:19+00:00">
+<meta property="article:published_time" content="2024-07-28T00:39:32+00:00">
 <meta name="twitter:card" content="summary">
 <meta property="twitter:title" content="translation_requiredに関する論文・技術記事メモの一覧">
 <script type="application/ld+json">
-{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-27T00:35:19+00:00","datePublished":"2024-07-27T00:35:19+00:00","description":"translation_required #NaturalLanguageGeneration#NLP#LLM-as-a-JudgeIssue Date: 2024-01-25 Large Language Models Are State-of-the-Art Evaluators of Translation Quality, EAMT23 SummaryGEMBAは、参照翻訳の有無に関係なく使用できるGPTベースの翻訳品質評価メトリックです。このメトリックは、ゼロショットのプロンプティングを使用し、4つのプロンプトバリアントを比較します。私たちの手法は、GPT 3.5以上のモデルでのみ機能し、最先端の精度を達成します。特に、英語からドイツ語、英語からロシア語、中国語から英語の3つの言語ペアで有効です。この研究では、コード、プロンプトテンプレート、およびスコアリング結果を公開し、外部の検証と再現性を可能にします。 #PersonalizedDocumentSummarization#NLP#PersonalizedGeneration#Personalization#PersonalizedHeadlineGenerationIssue Date: 2023-07-22 Generating User-Engaging News Headlines, ACL23 Summaryニュース記事の見出しを個別化するために、ユーザープロファイリングを組み込んだ新しいフレームワークを提案。ユーザーの閲覧履歴に基づいて個別のシグネチャフレーズを割り当て、それを使用して見出しを個別化する。幅広い評価により、提案したフレームワークが多様な読者のニーズに応える個別の見出しを生成する効果を示した。 Comment# モチベーション 推薦システムのヘッドラインは未だに全員に同じものが表示されており、ユーザが自身の興味とのつながりを正しく判定できるとは限らず、推薦システムの有用性を妨げるので、ユーザごとに異なるヘッドラインを生成する手法を提案した。ただし、クリックベイトは避けるようなヘッドラインを生成しなけれ# ... #NLP#LanguageModel#Evaluation#LLM-as-a-JudgeIssue Date: 2023-07-22 Can Large Language Models Be an Alternative to Human Evaluations? Cheng-Han Chiang, Hung-yi Lee, ACL23 Summary本研究では、人間の評価が機械学習モデルのテキスト品質評価に不可欠であるが再現性が難しいという問題を解決するために、大規模言語モデル（LLMs）を使用した評価方法を提案している。具体的には、LLMsに同じ指示と評価対象のサンプルを与え、それに対する応答を生成させることで、LLM評価を行っている。実験結果から、LLM評価の結果は人間の評価と一致しており、異なるフォーマットやサンプリングアルゴリズムでも安定していることが示されている。LLMsを使用したテキスト品質評価の可能性が初めて示されており、その制限や倫理的な考慮事項についても議論されている。 more","headline":"translation_requiredに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/translation_required.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/translation_required.html"}</script>
+{"@context":"https://schema.org","@type":"BlogPosting","author":{"@type":"Person","name":"AkihikoWATANABE"},"dateModified":"2024-07-28T00:39:32+00:00","datePublished":"2024-07-28T00:39:32+00:00","description":"translation_required #NaturalLanguageGeneration#NLP#LLM-as-a-JudgeIssue Date: 2024-01-25 Large Language Models Are State-of-the-Art Evaluators of Translation Quality, EAMT23 SummaryGEMBAは、参照翻訳の有無に関係なく使用できるGPTベースの翻訳品質評価メトリックです。このメトリックは、ゼロショットのプロンプティングを使用し、4つのプロンプトバリアントを比較します。私たちの手法は、GPT 3.5以上のモデルでのみ機能し、最先端の精度を達成します。特に、英語からドイツ語、英語からロシア語、中国語から英語の3つの言語ペアで有効です。この研究では、コード、プロンプトテンプレート、およびスコアリング結果を公開し、外部の検証と再現性を可能にします。 #PersonalizedDocumentSummarization#NLP#PersonalizedGeneration#Personalization#PersonalizedHeadlineGenerationIssue Date: 2023-07-22 Generating User-Engaging News Headlines, ACL23 Summaryニュース記事の見出しを個別化するために、ユーザープロファイリングを組み込んだ新しいフレームワークを提案。ユーザーの閲覧履歴に基づいて個別のシグネチャフレーズを割り当て、それを使用して見出しを個別化する。幅広い評価により、提案したフレームワークが多様な読者のニーズに応える個別の見出しを生成する効果を示した。 Comment# モチベーション 推薦システムのヘッドラインは未だに全員に同じものが表示されており、ユーザが自身の興味とのつながりを正しく判定できるとは限らず、推薦システムの有用性を妨げるので、ユーザごとに異なるヘッドラインを生成する手法を提案した。ただし、クリックベイトは避けるようなヘッドラインを生成しなけれ# ... #NLP#LanguageModel#Evaluation#LLM-as-a-JudgeIssue Date: 2023-07-22 Can Large Language Models Be an Alternative to Human Evaluations? Cheng-Han Chiang, Hung-yi Lee, ACL23 Summary本研究では、人間の評価が機械学習モデルのテキスト品質評価に不可欠であるが再現性が難しいという問題を解決するために、大規模言語モデル（LLMs）を使用した評価方法を提案している。具体的には、LLMsに同じ指示と評価対象のサンプルを与え、それに対する応答を生成させることで、LLM評価を行っている。実験結果から、LLM評価の結果は人間の評価と一致しており、異なるフォーマットやサンプリングアルゴリズムでも安定していることが示されている。LLMsを使用したテキスト品質評価の可能性が初めて示されており、その制限や倫理的な考慮事項についても議論されている。 more","headline":"translation_requiredに関する論文・技術記事メモの一覧","mainEntityOfPage":{"@type":"WebPage","@id":"http://akihikowatanabe.github.io/paper_notes/articles/translation_required.html"},"url":"http://akihikowatanabe.github.io/paper_notes/articles/translation_required.html"}</script>
 <!-- End Jekyll SEO tag -->
 <link rel="icon" href="">
   <link rel="canonical" href="http://akihikowatanabe.github.io">
@@ -764,7 +764,7 @@ <h2 class="post-subtitle">勉強した論文や技術等の情報をGithubのIss
 最近は特にLLMにお熱 :)</h2>
 
   <div class="post-meta">
-    <time class="dt-published" datetime="2024-07-27T00:35:19+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 27, 2024
+    <time class="dt-published" datetime="2024-07-28T00:39:32+00:00" itemprop="datePublished"><i class="fa fa-calendar"></i> Jul 28, 2024
     </time><span class="post-author left-vsplit"><i class="fa fa-pencil"></i> AkihikoWATANABE</span>
     
 
@@ -1390,32 +1390,32 @@ <h2 id="translation_required">translation_required</h2>
       <div>Related Articles</div>
       <ul>
         <li class="">
-          <a class="post-link" href="/paper_notes/articles/WebSearch.html" title="WebSearchに関する論文・技術記事メモの一覧">
-            WebSearchに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/RecommenderSystems.html" title="RecommenderSystemsに関する論文・技術記事メモの一覧">
+            RecommenderSystemsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/pretrained-LM.html" title="pretrained-LMに関する論文・技術記事メモの一覧">
-            pretrained-LMに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/MultiLingual.html" title="MultiLingualに関する論文・技術記事メモの一覧">
+            MultiLingualに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/QA-based.html" title="QA-basedに関する論文・技術記事メモの一覧">
-            QA-basedに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Controllable.html" title="Controllableに関する論文・技術記事メモの一覧">
+            Controllableに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
 </a>
         </li>
 <li class="">
-          <a class="post-link" href="/paper_notes/articles/SemanticTextualSimilarity.html" title="SemanticTextualSimilarityに関する論文・技術記事メモの一覧">
-            SemanticTextualSimilarityに関する論文・技術記事メモの一覧<span class="post-badges">
+          <a class="post-link" href="/paper_notes/articles/Tools.html" title="Toolsに関する論文・技術記事メモの一覧">
+            Toolsに関する論文・技術記事メモの一覧<span class="post-badges">
   <span class="post-badge badge-top">TOP</span>
   <span class="post-badge badge-new">NEW</span>
 </span>
diff --git a/docs/feed.xml b/docs/feed.xml
index 385d25a5b..e1d90f7ee 100644
--- a/docs/feed.xml
+++ b/docs/feed.xml
@@ -1 +1 @@
-<?xml version="1.0" encoding="utf-8"?><feed xmlns="http://www.w3.org/2005/Atom" xml:lang="ja"><generator uri="https://jekyllrb.com/" version="4.3.2">Jekyll</generator><link href="http://akihikowatanabe.github.io/paper_notes/feed.xml" rel="self" type="application/atom+xml" /><link href="http://akihikowatanabe.github.io/paper_notes/" rel="alternate" type="text/html" hreflang="ja" /><updated>2024-07-27T00:35:19+00:00</updated><id>http://akihikowatanabe.github.io/paper_notes/feed.xml</id><title type="html">わたしのべんきょうノート</title><subtitle>勉強した論文や技術等の情報をGithubのIssueにまとめており、Issueの内容を全て1ページに集約しました。 自然言語処理 (NLP), 推薦システム (RecommenderSystem), Educational Data Mining (EDM), Learning Analytics (LA)などの分野のメモが多め。 最近はLLMの勉強が多めです。</subtitle></feed>
\ No newline at end of file
+<?xml version="1.0" encoding="utf-8"?><feed xmlns="http://www.w3.org/2005/Atom" xml:lang="ja"><generator uri="https://jekyllrb.com/" version="4.3.2">Jekyll</generator><link href="http://akihikowatanabe.github.io/paper_notes/feed.xml" rel="self" type="application/atom+xml" /><link href="http://akihikowatanabe.github.io/paper_notes/" rel="alternate" type="text/html" hreflang="ja" /><updated>2024-07-28T00:39:32+00:00</updated><id>http://akihikowatanabe.github.io/paper_notes/feed.xml</id><title type="html">わたしのべんきょうノート</title><subtitle>勉強した論文や技術等の情報をGithubのIssueにまとめており、Issueの内容を全て1ページに集約しました。 自然言語処理 (NLP), 推薦システム (RecommenderSystem), Educational Data Mining (EDM), Learning Analytics (LA)などの分野のメモが多め。 最近はLLMの勉強が多めです。</subtitle></feed>
\ No newline at end of file
diff --git a/docs/sitemap.xml b/docs/sitemap.xml
index 607091508..0650c818d 100644
--- a/docs/sitemap.xml
+++ b/docs/sitemap.xml
@@ -2,927 +2,927 @@
 <urlset xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd" xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/AWS.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/A_B%20Testing.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Abstractive.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Adapter_LoRA.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/AdaptiveLearning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/AffectDetection.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Alignment.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Analysis.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Annotation.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Argument.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Article.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Assessment.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Attention.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/AudioProcessing.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/AutoML.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/AutomaticPromptEngineering.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/BeamSearch.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Bias.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/CTRPrediction.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/CVRPrediction.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/ChatGPT.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Classic.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/CoT.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/CodeGeneration.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Coherence.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/CollaborativeFiltering.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/CommentGeneration.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Comments.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Composition.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/ComputerVision.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/ConceptToText.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Contents-based.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/ContextAware.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/ContextWindow.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/ContrastiveLearning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Controllable.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Conversation.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/CrossLingual.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/DataAugmentation.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/DataDistillation.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/DataDriven.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/DataGeneration.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/DataToText.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Dataset.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/DesignPattern.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/DialogueGeneration.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/DiffusionModel.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Discourse.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Distillation.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Document.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/DocumentSummarization.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/DomainAdaptation.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/DropoutPrediction.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/DynamicNetworks.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/ECS.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Education.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/EducationalDataMining.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Efficiency_SpeedUp.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Embed.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Ensemble.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/EssayScoring.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Evaluation.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/ExperimentManagement.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Explanation.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/ExplicitFeedback.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Extractive.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/FactorizationMachines.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/FactualConsistency.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Faithfulness.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Financial.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Finetuning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/FoundationModel.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/General.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/GenerativeAI.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/GenerativeAdversarialNetwork.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/GrammaticalErrorCorrection.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/GraphBased.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/GraphConvolutionalNetwork.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Grokking.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Hallucination.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/HumanComputerInteraction.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/ILP.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/IRT.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/ImageCaptioning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/ImageSegmentation.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/ImplicitFeedback.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/In-ContextLearning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/InductiveBias.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/InformationExtraction.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/InformationRetrieval.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Infrastructure.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/InstructionGeneration.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/InstructionTuning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/InteractivePersonalizedSummarization.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/InteractiveRecommenderSystems.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Interleaved.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/ItemBased.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/KnowledgeGraph.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/KnowledgeTracing.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/LLM-as-a-Judge.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/LLMAgent.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/LM-based.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/LabelBias.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Lambda.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/LanguageModel.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/LayoutGeneration.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/LearningAnalytics.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/LearningPath.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/LearningStyle.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/LearningToRank.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Library.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/ListWise.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/LongSequence.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/MLOps.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/MachineLearning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/MachineTranslation.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Mathematics.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/MatrixFactorization.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Metrics.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Mindset.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/MulltiModal.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Multi.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/MultiLingual.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/MultitaskLearning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/NLP.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/NaturalLanguageGeneration.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/NaturalLanguageUnderstanding.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Navigation.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Neural.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/NeuralArchitectureSearch.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/NewsCitations.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/NewsRecommendation.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Novelty.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/NumericReasoning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/OnlineEvaluation.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/OnlineLearning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Online_Interactive.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/OpenLLM.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/OpinionMining.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Optimizer.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/OptionTracing.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Others.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Out-of-DistributionDetection.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/PPO.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/PairWise.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/PerformanceTesting.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Personalization.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/PersonalizedDocumentSummarization.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/PersonalizedGeneration.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/PersonalizedHeadlineGeneration.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Planning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Pocket.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/PointWise.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Poisoning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/PositionalEncoding.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Pretraining.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Programming.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Prompting.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Proprietary.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Pruning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/PsychologicalScience.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/QA-based.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Quantization.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/QueryBiased.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/QueryClassification.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/QuestionAnswering.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/QuestionGeneration.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/RLHF.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/ReadingComprehension.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Reasoning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/RecommenderSystems.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Reference-based.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Reference-free.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Regularization.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/ReinforcementLearning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/RelevanceFeedback.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/RelevanceJudgment.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Repository.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/RepresentationLearning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/RetrievalAugmentedGeneration.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/ReviewGeneration.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/RuleBased.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/ScorePrediction.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/SearchEngine.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Self-SupervisedLearning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/SemanticTextualSimilarity.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Sentence.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/SentimentAnalysis.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Session.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Single.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/SingleFramework.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/SmallModel.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Snippets.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Speech.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Spoken%20Language%20Processing.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/SpokenLanguageGeneration.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/StructuredData.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/StructuredLearning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/StudentPerformancePrediction.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Supervised.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Survey.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Synchrophancy.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/SyntheticData.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/TabularData.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/TechnologyEnhancedLearning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Temporal.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/TextToImage.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/TextualInversion.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/TheoryOfMind.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/TimeSeriesDataProcessing.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Tools.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/TrainedMetrics.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Training-Free.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/TransferLearning.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Transformer.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Tutorial.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Unsupervised.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Update.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/UserModeling.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/VariationalAutoEncoder.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Visual%20Words.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/WebSearch.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Word.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/Zero_Few-shot.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/action_wanted.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/post-pretraining.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/pretrained-LM.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/project_template.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/python.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/review.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/articles/translation_required.html</loc>
-<lastmod>2024-07-27T00:35:19+00:00</lastmod>
+<lastmod>2024-07-28T00:39:32+00:00</lastmod>
 </url>
 <url>
 <loc>http://akihikowatanabe.github.io/paper_notes/about/</loc>