《Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN-CRF》阅读笔记前言本文作者窦洪健在阅读《Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN-CRF》论文后受到启发，下面将分享对这篇论文的理解。问题描述分词及词性标注是higher...
《Attention is All You Need》细读 一、引言 本文开篇即提到了递归神经网络（RNN）、长短期记忆（LSTM）以及门控循环神经网络（GRU）等主流研究方向，并以此为背景引出了文章的核心——注意力机制。文章通过大量实验（在8张P100上进行12小时的测试）验证了注意力机制的有效性，其效果较为明显。二、减少...
在深度学习领域，Attention机制已成为处理序列数据的一种重要手段，尤其在自然语言处理（NLP）任务中展现出强大的性能。本文将以“Attention is all you need”这篇论文为核心，分享Attention机制的基本原理及其在Transformer模型中的应用。一、背景 在NLP领域的机器翻译任务中，传统的seq2seq框架通常使用RNN或...
