Blog

本文回顾了2024年秋季软件测试期末考试的内容，包括选择题、简单题和应用题。选择题主要涉及PPT上的概念，如隐式语言和显示语言的判断等。简单题部分要求介绍并举例变异测试、差分测试以及基于文本和图像的软件测试方法。应用题则涉及到贪心算法及其相关计算、为LCS设计蜕变测试关系和用例，以及为语音识别系统设计模糊测试的策略、规则和评价指标。

本文介绍了请求防抖：多场景解决方案。在维护博客系统时，作者遇到了并发导致的多次请求问题。通过记录各种解决方案，包括内存锁方案、Promise缓存方案、数据库锁方案和Redis分布式锁方案，展示了如何根据不同场景选择合适的技术方案来避免重复请求和提高性能。

本文介绍了Byte Pair Encoding（BPE）算法在分词场景中的应用。传统对文本的分词方式包括基于单词和字符两种方式，而针对中文还有基于常用词的分词方式。在LLM时代，BPE算法因其适合海量数据的特性而被采用。文章通过对比不同级别的分词方法，如char level、word level以及sub word level等，指出了各自的优缺点及适用场景。

本文介绍了LLM分布式训练技术，包括单机训练的瓶颈、三种主要的并行方式（数据并行、模型/流水线/层间并行和张量/层内并行），以及去中心化架构下的通讯原语和加速策略。还讨论了NVIDIA Megatron和Microsoft DeepSpeed在工业实现中的应用，特别是DeepSpeed提供的参数冗余消除能力。

本文探讨了LLM（Language Model）在生成预测Token时采用的三种策略：贪心策略、Beam Search和Top-K sampling。贪心策略倾向于生成重复内容，而Beam Search通过保留概率最大的Token序列来引入多样性，但可能仍导致模型陷入局部最优解。Top-K sampling则通过随机采样概率最高的k个token来增加多样性，同时丢弃低概率词。此外，文章还讨论了温度参数对sigmoid函数归一化效果的影响，以及如何通过调整温度来控制生成文本的创造性和多样性。