20241212 修订:
新增 CTR Prediction 相关的 5 篇论文：EDCN, GDCN, DCN V3, FINAL, FinalMLP
20230920 修订:
新增 LLM 量化章节，新增 9 篇相关的论文
《Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference》
《Mixed Precision Training》
《The case for 4-bit precision: k-bit Inference Scaling Laws》
《SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models》
《LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale》
《ZeroQuant: Efficient and Affordable Post-Training Quantization for Large-Scale Transformers》
《SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot》
《GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers》
《LUT-GEMM: Quantized Matrix Multiplication based on LUTs for Efficient Inference in Large-Scale Generative Language Models》
20230828 修订:
7.Transformer(9) 章节新增两篇论文：LIMA、LLAMA2
新增 PEFT 章节，新增 10 篇关于 LORA 和 ADAPTER 相关的热门论文
《Parameter-Efficient Transfer Learning for NLP》
《BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models》
《LoRA: Low-Rank Adaptation of Large Language Models》
《Towards a Unified View of Parameter-Efficient Transfer Learning》
《AdapterDrop: On the Efficiency of Adapters in Transformers》
《AdapterFusion: Non-Destructive Task Composition for Transfer Learning》
《QLoRA: Efficient Finetuning of Quantized LLMs》
《AdapterHub: A Framework for Adapting Transformers》
《Compacter: Efficient Low-Rank Hypercomplex Adapter Layers》
《MAD-X: An Adapter-based Framework for Multi-task Cross-lingual Transfer》
20230801 修订:
新增 36 篇关于 Prompt Engineering 的热门论文:
《Chain of Thought Prompting Elicits Reasoning in Large Language Models》
《Least-to-Most Prompting Enables Complex Reasoning in Large Language Models》
《Automatic Chain of Thought Prompting in Large Language Models》
《Self-Consistency Improves Chain of Thought Reasoning in Language Models》
《Large Language Models are Zero-Shot Reasoners》
《Calibrate Before Use: Improving Few-Shot Performance of Language Models》
《What Makes Good In-Context Examples for GPT-3?》
《Making Pre-trained Language Models Better Few-shot Learners》
《It’s Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners》
《Exploiting Cloze-Questions for Few-Shot Text Classification and Natural Language Inference》
《GPT Understands, Too》
《P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks》
《Prefix-Tuning: Optimizing Continuous Prompts for Generation》
《The Power of Scale for Parameter-Efficient Prompt Tuning》
《How Can We Know What Language Models Know?》
《Eliciting Knowledge from Language Models Using Automatically Generated Prompts》
《Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity》
《Can language models learn from explanations in context?》
《Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?》
《Multitask Prompted Training Enables Zero-Shot Task Generalization》
《Language Models as Knowledge Bases?》
《Do Prompt-Based Models Really Understand the Meaning of Their Prompts?》
《Finetuned Language Models Are Zero-Shot Learners》
《Factual Probing Is [MASK]: Learning vs. Learning to Recall》
《How many data points is a prompt worth?》
《Learning How to Ask: Querying LMs with Mixtures of Soft Prompts》
《Learning To Retrieve Prompts for In-Context Learning》
《PPT: Pre-trained Prompt Tuning for Few-shot Learning》
《Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm》
《Show Your Work: Scratchpads for Intermediate Computation with Language Models》
《True Few-Shot Learning with Language Models》
《Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning》
《Improving and Simplifying Pattern Exploiting Training》
《MetaICL: Learning to Learn In Context》
《SPoT: Better Frozen Model Adaptation through Soft Prompt Transfer》
《Noisy Channel Language Model Prompting for Few-Shot Text Classification》
20230524 修订:
新增 Transformer 7、8、9 三章，包括：《Scaling Laws for Neural Language Models》、
《Training Compute-Optimal Large Language Models》、LLaMA、GLM、GLM-130B、
GPT-NeoX-20B、Bloom、PaLM、PaLM2、Self-Instruct 等十篇论文。
20230516 修订:
新增 HuggingFace Transformer 应用、Gradio。 所有 HuggingFace Transformer 官方教程和 API ，
包括 Tokenizer、Dataset、Trainer、Evaluator、Pipeline、Model、Accelerate、AutoClass、应用，等九章内容
20230408 修订:
整理了 Paragraph Vector、Skip-Thought Vector、FastSent、InferSent、Simple-But-Tough-To-Beat Baseline For Sentence Embedding
、QuickThoughts 等六篇传统 sentence embedding 论文
整理了 T5、mT5、ExT5、Muppet、Self-Attention with Relative Position Representation、
DeCLUTR、CLEAR、ConSERT、Sentence-T5、ULMFiT、USE、Sentence-BERT、SimCSE、BERT-Flow、BERT-Whitening、
Compare the Geometry of BERT/ELMo/GPT-2 Embedding、CERT 等十七篇论文
整理了 CodeGen 一篇自动生成代码的论文
20230221 修订:
整理了 CTR 预估模型(神经网络方法 3)、CTR 预估模型(神经网络方法 4)、CTR 预估模型(神经网络方法 5)， 共包括 AutoInt、
Fi-GNN、FwFM、FM2、FiBiNet、AutoFIS、DCN-V2、AFN、FGCNN、AutoCross、InterHAt、xDeepInt、BarsCTR、AutoDis、
MDE、NIS、AutoEmb、AutoDim、PEP、DeepLight 等二十篇经典论文
20230213 修订:
整理了 HuggingFace Transformer 官方教程和 API ，包括 Tokenizer、Dataset、Trainer、Evaluator、Pipeline、Model、Accelerate、AutoClass 等八章内容
20221219 修订:
- 新增了 《Transformer(3)》，新增了 SpanBERT, ALBERT, UniLM, MASS, MacBERT, 《Fine-tuning Language Models From Human Preferences》,
《Learning to summarize from human feedback》, InstrctGPT 的内容
- 新增了《强化学习》，新增了 PPO 的内容
20221219 修订:
- 新增了 《Transformer(3)》，新增了 SpanBERT, ALBERT, UniLM, MASS, MacBERT, 《Fine-tuning Language Models From Human Preferences》,
《Learning to summarize from human feedback》, InstrctGPT 的内容
- 新增了《强化学习》，新增了 PPO 的内容
20221127 修订:
- 调整了 《Transformer(2)》，新增了 ERNIE3.0, ERNIE-Huawei, BART, mBART, 以及调整了 BERT, XLNet, RoBERTa, ERNIE1.0, ERNIE2.0, MT-DNN 的内容
20221106 修订:
- 调整了 Graph Embedding 综述、GNN 综述相关章节
20221022 修订:
- 调整 《Transformer》，新增了 GPT3、OPT，以及调整了 Transformer、Universal Transformer、Transformer-XL、GPT1、GPT2 的内容
20220925 修订:
- 调整 《15.图神经网络(续)》，主要新增了论文介绍和相关文献等部分
20220917 修订:
- 新增《28. 推荐算法之序列推荐(续)》，新增九篇论文：MCPRN、RepeatNet、LINet、NextItNet、GCE-GNN、LESSR、HyperRec、DHCN、TiSASRec
20220822 修订:
- 重新修订了《14. 图神经网络》，主要新增了论文介绍和相关文献等部分
20220731 修订:
- 新增《27. 推荐算法之序列推荐(续)》，新增八篇论文：Phased LSTM、Time-LSTM、STAMP、Latent Cross、CSRM、SR-GNN、GC-SAN、BERT4Rec
20220526 修订:
- 新增《26. 推荐算法之序列推荐(续)》，新增七篇论文：RRN、Caser、p-RNN、GRU4Rec Top-k Gains、SASRec、RUM、SHAN
20220509 修订:
- 新增《25. 推荐算法之序列推荐》，新增七篇论文：FPMC、GRU4Rec、HRM、DREAM、Improved GRU4Rec、NARM、HRNN
20220403 修订:
- 重新修订了《13. Graph Embedding(续)》，主要新增了论文介绍和相关文献等部分
20220306 修订:
- 重新修订了《12. Graph Embedding》，主要新增了论文介绍和相关文献等部分
20211121 修订:
- 重新修订了《21. 神经网络推荐算法(续)》、《22. 多任务学习》、《23. 系统架构》，主要新增了论文介绍和相关文献等部分
20211114 修订:
- 重新修订了《20. 神经网络推荐算法(续)》，主要新增了论文介绍和相关文献等部分
20211031 修订:
- 重新修订了《19. 神经网络推荐算法》，主要新增了论文介绍和相关文献等部分
20211019 修订:
- 重新修订了《18.传统推荐算法》，主要新增了论文介绍和相关文献等部分
20210925 修订:
- 重新修订了《11.神经网络 CTR 预估模型(续)》，主要新增了论文介绍和相关文献等部分
20210919 修订:
- 重新修订了《10.神经网络 CTR 预估模型》，主要新增了论文介绍和相关文献等部分
20210807 修订:
- 重新修订了《9.传统 CTR 预估模型》，主要新增了论文介绍和相关文献等部分
20210726 修订:
- “神经网络CTR预估模型(续)”章节新增《CAN: Revisiting Feature Co-Action for Click-Through Rate Prediction》
- “神经网络推荐算法(续)”章节新增《Neural Collaborative Filtering》、
《Neural Graph Collaborative Filtering》、
《LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation》、
《Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations》、
《Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba》、
《SDM: Sequential Deep Matching Model for Online Large-scale Recommender System》、
《COLD: Towards the Next Generation of Pre-Ranking System》、
《Controllable Multi-Interest Framework for Recommendation》、
《EdgeRec: Recommender System on Edge in Mobile Taobao》、
《Towards Personalized and Semantic Retrieval: An End-to-End Solution for E-commerce Search via Embedding Learning》、
《Path-based Deep Network for Candidate Item Matching in Recommenders》
20210620 修订:
- “神经网络CTR预估模型(续)”章节新增 《 Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems》 (MV-DNN 模型)
- 新增“系统架构”章节，并新增 《Hidden Technical Debt in Machine Learning Systems》
- 新增“神经网络推荐算法(续)”，并新增《Related Pins at Pinterest: The Evolution of a Real-World Recommender System》(Pinterest 推荐系统)，
《Deep Learning Recommendation Model for Personalization and Recommendation Systems》(DLRM)，
《Applying Deep Learning To Airbnb Search》，《Improving Deep Learning For Airbnb Search》，
《HOP-Rec: High-Order Proximity for Implicit Recommendation》，《Neural Collaborative Filtering》，《Neural Graph Collaborative Filtering》
20210516 修订:
-
“神经网络推荐算法”章节新增四篇论文：
《MOBIUS: Towards the Next Generation of Query-Ad Matching in Baidu’s Sponsored Search》(MOBIUS 模型)，
《Learning Tree-based Deep Model for Recommender Systems》(TDM模型)，
《Deep Retrieval: An End-to-End Learnable Structure Model for Large-Scale Recommendations》(DR模型)，
《Joint Optimization of Tree-based Index and Deep Model for Recommender Systems》(JTM模型)
-
“神经网络CTR预估模型(续)”章节新增三篇论文：
《Behavior Sequence Transformer for E-commerce Recommendation in Alibaba》(BST模型)、
《Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction》(SIM模型)、
《Entire Space Multi-Task Modeling via Post-Click Behavior Decomposition for Conversion Rate Prediction》(ESM2模型)
20210420 修订:
- “神经网络推荐算法”章节新增五篇论文： 《Deep Neural Networks for YouTube Recommendations》、
《Recommending What Video to Watch Next: A Multitask Ranking System》 、
《ESAM: Discriminative Domain Adaptation with Non-Displayed Items to Improve Long-Tail Performance》、
《Embedding-based Retrieval in Facebook Search》、
《Real-time Personalization using Embeddings for Search Ranking at Airbnb》
-
“神经网络 CTR 预估模型(续)”章节新增一篇论文： 《Deep Spatio-Temporal Neural Networks for Click-Through Rate Prediction》
-
新增“多任务学习”章节，包括一篇论文: 《Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》
20210330 新增 scala 笔记
来自于 《Scala 编程第三版》的笔记。
20210317 修订：
-
新增 “神经网络 CTR 预估模型(续)”章节，包括：DeepMCP、MIMN、DMR、MiNet 等四个模型。
-
新增 “神经网络推荐算法”章节，包括：MIND 模型。
20210227 修订：
-
图神经网络综述部分新增十篇论文：《Neural Message Passing for Quantum Chemistry》(MPNN)、
《MASKED LABEL PREDICTION: UNIFIED MESSAGE PASSING MODEL FOR SEMI-SUPERVISED CLASSIFICATION》(UniMP)、
《COMBINING LABEL PROPAGATION AND SIMPLE MODELS OUT-PERFORMS GRAPH NEURAL NETWORKS》(C&S)、
《Large-Scale Learnable Graph Convolutional Networks》(LGCN)、
《An End-to-End Deep Learning Architecture for Graph Classification》(DGCNN)、
《Adaptive Sampling Towards Fast Graph Representation Learning》(AS-GCN)、
《DEEP GRAPH INFOMAX》(DGI)、
《Hierarchical Graph Representation Learning with Differentiable Pooling》(DIFFPOOL)、
《Diffusion-Convolutional Neural Networks》(DCNN)、
《Interaction Networks for Learning about Objects, Relations and Physics》(IN)
20210120 修订：
- 图神经网络综述部分新增六篇论文《HOW POWERFUL ARE GRAPH NEURAL NETWORKS?》、《When Does Self-Supervision Help Graph Convolutional Networks?》、
《A FAIR COMPARISON OF GRAPH NEURAL NETWORKS FOR GRAPH CLASSIFICATION》、《Pitfalls of Graph Neural Network Evaluation》、
《AGL: A Scalable System for Industrial-purpose Graph Machine Learning》、《AliGraph: A Comprehensive Graph Neural Network Platform》
20201212 修订：
- 图神经网络综述章节新增四篇论文 《Relational inductive biases, deep learning, and graph networks》、
《Graph Neural Networks: A Review of Methods and Applications》、《A Comprehensive Survey on Graph Neural Networks》、
《GNNExplainer: Generating Explanations for Graph Neural Networks》
20201117 修订：
- 图神经网络：图神经网络章节新增： Geom-GCN 模型
- 图神经网络综述：图神经网络章节新增五篇综述：《A Comprehensive Survey of Graph Embedding:Problems, Techniques and Applications》、
《Graph Embedding Techniques, Applications, and Performance: A Survey》、《Representation Learning on Graphs: Methods and Applications》、
《Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning》、《Deep Learning on Graphs: A Survey》
20201018 修订：
- 图神经网络：图神经网络章节新增： HAN、HetGNN、NGCF、HGT、GPT-GNN 等模型的内容
20200921 修订：
- 图神经网络：图神经网络章节新增： GCMC、JK-Net、PPNP、VRGCN、ClusterGCN、LDS-GNN、DIAL-GNN 等模型的内容
20200816 修订：
- Graph Embedding 章节新增： ProNE 模型的内容
- 图神经网络：图神经网络章节新增： R-GCN、AGCN、FastGCN、PinSage 模型的内容
20200726 修订：
- Graph Embedding 章节新增：LANE、 MVE、 PMNE、 ANRL、 DANE、 HERec、 GATNE、 MNE、 MVN2VEC、 SNE 等十个模型的内容
20200601 修订：
- Graph Embedding 章节新增：NetMF、NetSMF、PTE、HNE、AANE 五个模型的内容。 另外 graph embedding 章节庞大， 已经拆分为两个子章节
- 新增传统推荐算法章节， 包括：ItemBasedCF、Amazon I-2-I CF、 Slope One Rating Based CF、Bipartite Network Projection、Implicit Feedback CF、PMF、SVD++、MMMF、OCCF、BPR 等十余个模型
20200405 修订：
- 图神经网络：图神经网络章节新增：GNN、GCN、FastGCN、Semi-Supervised GCN、分子指纹GCN、GGS-NN、PATCHY-SAN、GraphSage、GAT 九个模型的内容
- Graph Embedding：Graph Embedding 章节新增：metapath2vec、GraphGAN、struc2vec、GraphWave 四个模型的内容
20200112 修订：
- Graph Embedding：Graph Embedding 章节 新增：DeepWalk, LINE, GraRep, TADW, DNGR, Node2Vec, WALKLETS, SDNE, CANE, EOE 十个模型的内容
20191201 修订：
- CTR 预估模型：神经网络模型 章节 新增：DSSM、FNN、PNN、DeepCrossing、Wide&Deep、DCN、DeepFM、NFM、AFM、xDeepFM、ESMM、DIN、DIEN、DSIN、DICM 十五个模型的内容
20190928 修订：
- 最优化章节新增在线学习优化算法 online learning
- 新增章节 传统 CTR 预估算法：LR 模型、POLY2 模型、FM 模型、FFM 模型、GBDT-LR 模型、FTRL 模型、LS-PLM 模型
- RNN 章节 微调图片格式
20190825 修订：
- Transformer 章节 新增：Transformer-XL, XLNet, MT-DNN, ERNIE, ERNIE 2.0, BERT_wwm_ext, RoBERTa 内容
20190802 修订：
- 调整循环神经网络章节的内容
- 新增 Transformer 章节
- 新增 词向量 章节