马林梵多童话镇

总有一条蜿蜒在童话镇里七彩的河.

LLM 中的 Decoder Only

LLM 中的 Decoder Only为什么现在的大模型大都是 decoder only 架构？这个问题想来稀松平常，经常能看到各大社区中的众多回答，但对于该问题的了解也非常碎片化，今天就系统的对该问题进行归纳梳理 Encoder 和 Decoder 的区别Encoder encoder 的主要功能是处理输入数据，并将其转换成向量化表示，这种表示捕捉了输入数据的重要特征。encoder 较为......

Posted by xyx on 2025-03-24

Decoder Only

动态量化和静态量化

动态量化和静态量化量化神经网络中的计算通常以浮点数计算(Float32)进行，模型量化是指以较低的精度损失将这些浮点数计算近似为更低比特的计算，如Float16、Int8等。从而降低模型存储大小、降低显存占用、提升推理性能。在不同的需求下，选择不同的量化方案。量化方案线性量化与非线性量化根据量化数据表示的原始数据范围是否均匀，可以将量化分为线性量化和非线性量化对称量化与非对称量化......

Posted by xyx on 2025-02-15

动态量化静态量化 ONNX

Elasticsearch scroll 之滚动查询

Elasticsearch scroll 之滚动查询Elasticsearch 的 Scroll API 是一种用于处理大规模数据集的机制，特别是在需要从索引中检索大量数据时。通常情况下，Elasticsearch 的搜索请求会有一个结果集大小的限制 (from+size 的检索数量默认是 10,000 条记录)，而 Scroll API 允许你绕过这个限制，通过滚动的方式逐步获取数据关键......

Posted by xyx on 2025-01-14

Elasticsearch scroll

Elasticsearch 的存储与查询

Elasticsearch 的存储与查询在搜索系统领域，数据的存储与查询是两个最基础且至关重要的环节。Elasticsearch(ES) 在这两方面进行了深度优化，使其在关系型数据库或非关系型数据库中脱颖而出，成为搜索系统的首选。映射 (Mapping) 映射 (Mapping) 映射是 ES 中的一种元数据，用于描述文档中的数据结构和类型。映射可以在创建索引时自动推断，也可以手动定义。映......

Posted by xyx on 2025-01-13

Elasticsearch

IntelliJ IDEA 远程调试

IntelliJ IDEA 远程调试在平时开发 JAVA 程序时，在遇到比较棘手的 Bug 或者是线上线下结果不一致的情况下，我们会通过打 Log 或者 Debug 的方式去定位并解决问题，两种方式各有利弊，今天就简要介绍下如何通过远程 Debug 的情况下去定位问题远程启动调试 -jar dolphin-service-master-SNAPSHOT.jar: 指定要运行的 JAR ......

Posted by xyx on 2025-01-01

远程调试