马林梵多童话镇

Elasticsearch 之分页查询

Elasticsearch 之分页查询引言在搜索引擎应用中，分页查询是一种常见需求。Elasticsearch 提供了多种分页方式以应对不同场景。本文将结合实际应用场景，介绍三种常用的分页查询方法 From + Size 分页查询1234567891011121314151617GET /content_item_profile/_search{ "from": 0, "siz......

Posted by xyx on 2025-11-12

Elasticsearch

NCNN 模型 INT8 量化

NCNN 模型 INT8 量化在移动设备上部署深度学习模型时，模型的推理速度和内存占用是关键考虑因素。NCNN 作为腾讯开源的轻量级神经网络推理框架，为移动端优化提供了强大的支持。其中，INT8 量化技术是提升模型性能、降低资源消耗的重要手段。最近公司刚好也有业务需求，需要在手机端部署数字人，故探索了下 NCNN 的量化。本文将基于 NCNN 官方文档，详细介绍如何将浮点模型 F32 量化为......

Posted by xyx on 2025-09-24

NCNN 量化

PDM：下一代 Python 包管理器

PDM：下一代 Python 包管理器引言Python Development Master (PDM) 是一款现代化的 Python 包管理器，旨在提供更高效、更灵活的项目依赖管理解决方案。与传统的包管理器（如 Pipenv、Poetry）不同，PDM 基于 PEP 582（Python 本地包目录）提案，不再强制依赖虚拟环境，从而有效避免了虚拟环境嵌套可能引发的冲突和管理复杂性。PDM ......

Posted by xyx on 2025-09-24

PYTHON PDM

FFmpeg 编译安装和静态安装

FFmpeg 编译安装和静态安装简介FFmpeg 是一个领先的多媒体框架，能够解码、编码、转码、复用、解复用、流化、过滤和播放几乎所有人类和机器创建的格式。本指南将详细介绍如何在 CentOS 8.5.2111 系统上从源代码编译并安装 FFmpeg 6.1.1 版本。从源代码编译安装可以确保您获得最新版本的功能，并可以根据您的特定需求进行定制。本博客主要依赖于 manus 生成，我通过 m......

Posted by xyx on 2025-08-08

FFmpeg CV

DeepSeek 之 MTP（Multi-Token Prediction）

DeepSeek 之 MTP（Multi-Token Prediction）当前主流的 LLM 主要采用 Decoder-only 为基础的模型结构。这意味着无论是在训练还是推理阶段，序列的生成都是逐个 token 进行的。在生成每个 token 时，模型需要频繁地进行访存操作，加载 KV Cache，往往成为训练或推理过程中的瓶颈。MTP 通过优化解码阶段，可以将单个 token 的生成转......

Posted by xyx on 2025-06-24

DeepSeek MTP

DeepSeek 之 MoE（Mixture-of-Experts）

DeepSeek 之 MoE（Mixture-of-Experts）DeepSeek 团队通过引入 MoE（Mixture of Experts，混合专家）机制，以“分而治之”的思想，在模型容量与推理成本之间找到了精妙的平衡点，其中的技术实现和细节值得剖思 Transformer 演变至 MoE标准的 Transformer 层T表示序列长度，Self-Att(·) 表示自注意力模块，FF......

Posted by xyx on 2025-05-21

DeepSeek MoE

LLM 中的 Causal Decoder、Prefix Decoder 和 Encoder-Decoder

LLM 中的 Causal Decoder、Prefix Decoder 和 Encoder-DecoderMask 机制在 Transformer 模型中，mask 机制是一种用于在 self-attention 中的技术，用以控制不同 token 之间的注意力交互。 Mask 机制经常被用于NLP任务中，按照作用总体来说可以分成两类 Padding mask（填充掩码）作用：用于处理非......

Posted by xyx on 2025-03-24

Causal Decoder Encoder-Decoder Prefix Decoder

LLM 中的 Decoder Only

LLM 中的 Decoder Only为什么现在的大模型大都是 decoder only 架构？这个问题想来稀松平常，经常能看到各大社区中的众多回答，但对于该问题的了解也非常碎片化，今天就系统的对该问题进行归纳梳理 Encoder 和 Decoder 的区别Encoder encoder 的主要功能是处理输入数据，并将其转换成向量化表示，这种表示捕捉了输入数据的重要特征。encoder 较为......

Posted by xyx on 2025-03-24

Decoder Only

动态量化和静态量化

动态量化和静态量化量化神经网络中的计算通常以浮点数计算(Float32)进行，模型量化是指以较低的精度损失将这些浮点数计算近似为更低比特的计算，如Float16、Int8等。从而降低模型存储大小、降低显存占用、提升推理性能。在不同的需求下，选择不同的量化方案。量化方案线性量化与非线性量化根据量化数据表示的原始数据范围是否均匀，可以将量化分为线性量化和非线性量化对称量化与非对称量化......

Posted by xyx on 2025-02-15

动态量化静态量化 ONNX

Elasticsearch scroll 之滚动查询

Elasticsearch scroll 之滚动查询Elasticsearch 的 Scroll API 是一种用于处理大规模数据集的机制，特别是在需要从索引中检索大量数据时。通常情况下，Elasticsearch 的搜索请求会有一个结果集大小的限制 (from+size 的检索数量默认是 10,000 条记录)，而 Scroll API 允许你绕过这个限制，通过滚动的方式逐步获取数据关键......

Posted by xyx on 2025-01-14

Elasticsearch scroll

马林梵多童话镇

Elasticsearch 之分页查询

NCNN 模型 INT8 量化

PDM：下一代 Python 包管理器

FFmpeg 编译安装和静态安装

DeepSeek 之 MTP（Multi-Token Prediction）

DeepSeek 之 MoE（Mixture-of-Experts）

LLM 中的 Causal Decoder、Prefix Decoder 和 Encoder-Decoder

LLM 中的 Decoder Only

动态量化和静态量化

Elasticsearch scroll 之滚动查询

SEARCH

FEATURED TAGS

ABOUT ME

VISITORS

RECENT POSTS

ARCHIVES

categories