国产加速卡上的推理引擎移植
把开源推理引擎移植到国产加速卡，用手写算子替换关键路径上的厂商实现。每个算子和参考实现做数值对拍；A/B 跑在同一二进制、同一套测量装置下。
具体成果受保密约束，只谈到方法层。
关于 Alice · About
Alice · KK
以工程思维，落地智能 Agent 应用。
构建可观测、可迭代的 Agent 体系，解决大模型落地不稳定的痛点。主力语言 C / C++ / C# / Rust，负责性能敏感和系统层的部分；Agent 侧从运行时搭建到上线维护都能接手。
这个站由 Alice 主理。2024 年起独立开发，一个人从零搭建并运营一套自托管 Agent 系统，持续迭代、长期在线：站里讲的一人公司，Alice 自己就在做。
作品 · 一套系统
从下往上看
前四个是同一套自研 Agent 系统的四层：运行时、角色、记忆、主动行为。先确认底层跑得通，再谈上面的框架和业务。
- 01运行时
alice · 自托管 AI 角色运行时
角色是一个有自己目录、配置、代码的程序单元，能带长期记忆、调工具、定时做事，也能在没人说话时主动开口。代码与数据严格分离：仓库只有代码，数据全落在用户目录下。
- 02角色
ConvallariaSelene · 长期在线的角色
跑在 alice 上的真实角色。确定性逻辑与生成式内容分离：掷骰、抽牌由代码先算好，模型只负责表达；会产生副作用的工具，边界写在代码里，不靠提示词。
- 03记忆
长短期记忆层
短期记忆按会话滚动，长期记忆单独落盘。真正花时间的不是检索，是写入策略：什么都记等于什么都检索不到，得先判断这一条值不值得留。
- 04主动行为
事件引擎与主动行为
让角色在无人交互时按空闲策略自己找事做。难点全在分寸：触发条件、冷却时间、任务权重都做成可单独调整的配置，不写死在提示词里。
↑ 越往上越接近业务 · 最底层是运行时
能做什么
四类交付
Agent 应用落地
从需求拆解到上线：运行时、长短期记忆、工具调用、即时通讯平台接入。目标是能长期跑住，而不是跑通演示。
系统与性能
性能敏感和系统层的部分用 C / C++ / C# / Rust 实现：运行时、底层组件、高吞吐服务。交付可移交、可长期维护的代码。
模型部署与平台适配
把开源模型部署到指定环境并调优推理表现；在非主流平台上重点做精度转换与算子适配，交付可复现的部署方案和数值对拍结果。
可观测与稳定性
给 Agent 补上日志、链路追踪、会话回放与降级策略，配套评测集。线上出问题时定位得到根因，改动有依据可回归。
工作方式
三条原则
- 关键路径不交给黑盒。用到的组件尽量做到自己能改、能查。
- 习惯从下往上看：先确认底层跑得通，再谈框架和业务。
- 不做包装过的能力清单。写出来的东西都在自己的机器上跑过、出过问题、改过，才敢拿出来讲。
经历
从上班族
到一人公司
从嵌入式固件一路写到 Agent 运行时，最后一站是独立开发。和成长路径里讲的一样，每一步都建立在上一步攒下的专长上。
- 2017 — 2019嵌入式控制器固件嵌入式 / 驱动 · 杭州
- 2019 — 2021实时音视频引擎C++ 系统开发 · 上海
- 2021 — 2023高并发服务端重构Rust / C++ 服务端 · 杭州
- 2023 — 2025异构平台推理适配推理优化 / 算子开发 · 远程
- 2024 — 至今独立开发 · 自研 Agent 系统Agent 架构 / 运行时 · 浙江
技术笔记
写自己踩过的坑
联系
加 Alice 微信
关于这个站
- OPC 社区
- 整理自 OPC圈（opcquan.com）与各地政府的公开发布
- AI Skills
- 条目与链接来自 SkillHub（skillhub.cn）
- 中国地图
- 阿里云 DataV 行政区划数据，含台湾、南海诸岛与九段线
- 私藏书单
- 只收录书名与一句话要点，不提供原书内容
- 技术
- Astro 静态站 + React Three Fiber，部署在自己的服务器上