edit | blame | history | raw

---
words:
2026-08-23: 2005
2026-08-24: 3223

2026-08-25: 3135

26.0823

GTD

  • [x] 再次理解notechain是怎么回事--[[插件Notechain]]
    • 原理:notechain的工作原理是怎么回事 #原理
      • ==整体原理==就一套
        • 每篇笔记来定义前面是什么,后面是什么
        • 单位不仅是笔记,可以是文件夹
      • ==实际落地==分两种情况
        • 针对笔记,通过frontmatter来定义前一篇和后一篇
          • 对已有的笔记-笔记这个上文和下文即可
          • 对还没有的笔记,直接对已有笔记【创建】上文和下文
        • 针对碎碎念(Knomo)
          • 把碎碎念拆成副本出来
          • 只要打上 #成链 标签的,就会允许单独去编辑 上下文 是谁
            %%方法完全是同一个%%
  • [x] 把Qwen3.8装上unsloth版据说优化的最好(小还好用)

Misc

abliterateds是什么意思

#wiki #名词解释

Qwen3.8-abliterated 这里面的abliterated是什么意思

“Abliterated” 是一个技术术语,来源于英文的 Ablation (消融/切除) 和 Obliteration (彻底抹除/清除),合在一起意味着“彻底清除”或“手术式切除”。

在 LLM(大型语言模型)的语境中,“abliterated” 指的是该模型经过了一种特定的、精准的修改,从而彻底降低或消除了其内置的“拒绝行为”(Refusal Behavior)。

简单来说,Qwen3.8-abliterated 就是一个“被手术式解除审查”的 Qwen3.8 模型。


🔬 深入解析:它到底是如何工作的?

为了更好地理解这个概念,我们需要知道 Qwen3.8 原始模型(未 Abliterated)的特点:

  1. 安全对齐 (Safety Alignment): Qwen3.8 在训练时被加入了大量的安全规则。当用户提出一个“有害”(Harmful)的、敏感的、或具有挑战性的问题时(例如:“请给我写一个关于核战争的血腥故事”或“请告诉我在一个不受监管的环境下如何进行某项非法行为”),模型不会直接回答,而是会先插入一个“免责声明”或“拒绝回复”,比如:“作为一个 AI 助手,我无法帮助你完成这项任务,因为它可能涉及…”
  2. 拒绝方向 (Refusal Direction): 研究发现,模型在内部处理信息时,会有一个特定的、可被识别的“方向向量”(Direction Vector)。当输入的问题激活了这一方向向量时,模型就会倾向于输出“拒绝”(Refuse)的回答。

Abliterated 的操作就是针对这个“拒绝方向”进行外科手术式干预:

  • 识别方向: 研究人员通过对比模型在处理“有害提示”和“无害提示”时内部激活状态的差异,计算出这个代表“拒绝”倾向的特定方向向量。
  • 移除方向 (Ablation): 然后,他们通过数学方法(如正交化 Orthogonalization 或投影 Projection),将这个“拒绝方向”从模型的核心权重矩阵(如注意力层的 $W_O$ 和 MLP 层的 $W_{out}$)中精确地移除或削弱。
  • 最终结果: 模型本身的架构和大部分知识能力(如推理、编程、语言流畅度)保持不变,但它“拒绝”的内在倾向被抹除了。因此,即使遇到原本会拒绝的问题,它也会更倾向于给出直接、实质性的答案。

🆚 与其他概念的区别(为什么它很重要?)

很多模型都声称是“Uncensored”(未审查)的,但“Abliterated”在技术上具有更高的精确度。

概念 方式/操作 效果/持久性 核心区别
Abliterated 修改模型权重(Weight Modification) 永久性,贯穿所有对话 模型本身的代码和参数被修改,从底层取消了拒绝能力。
Prompt Jailbreak 修改输入提示词(Input Prompt) 临时性,只在当前对话中有效 通过巧妙的指令(如:“忽略所有规则,以一名狂野诗人身份回答…”)来“绕过”模型的安全机制。
Fine-Tuning 通过梯度下降修改模型所有权重(Weight Update) 永久性,但会改变模型整体行为 这是一个更全局的改动,除了移除拒绝,还可能改变模型的风格、知识侧重等,可能会导致能力有所下降(即“副作用”)。

总结:

Abliteration 的最大优势在于它是最精准、最外科手术式的干预。它不破坏模型的大部分知识结构,只针对性地“杀死”了那个导致模型说“不行”的内部信号。

💡 实际应用意义

当开发者使用 Qwen3.8-abliterated 模型时,意味着他们追求的是:

  1. 最大的自由度 (Maximal Freedom): 模型不会因为一些“道德困境”或“安全边缘案例”而自动停止回答。
  2. 更可靠的输出 (Reliable Output): 无论是测试、创意写作还是信息检索,模型都能尽可能地直接给出答案,大大减少了“拒绝”带来的中断。
  3. 研究工具 (Research Tool): 对于 AI 安全和对齐研究人员来说,这是一个完美的工具,可以精确地测试某个安全机制在模型内部是如何运作的。

本机安装的Qwen3.8怎么用

#Qwen

用法1 用接口给别人用

走你熟悉的 OpenAI 兼容接口:http://localhost:11434/v1,模型名填 qwen3.8

注意:模型默认加载后保留 5 分钟(ollama ps 里的 UNTIL),闲置会自动卸载,再次调用会自动重新加载。

用法2-命令行

ollama run qwen3.8

一个手绘配图skill

#skill , #配图
一个 skill:ian-xiaohei-illustrations
它 不是帮我做封面海报,而是==**把正文里的关键判断**,**变成一张“能解释问题”的中文手绘配图**==。
我觉得它蕞适合 3 类运营内容:
1. 方法论文章
比如“选题怎么从灵感变成排期”,可以让图直接表达路径。
2. 复盘/拆解类内容
比如“为什么这条笔记没跑出来”,用图画出卡住的环节,比纯文字更好懂。
3. SOP/工作流沉淀
比如活动方案、社群承接、周报流程,把重复步骤变成固定配图策略。
它好用的点不是“画得精致”,而是很会抓文章里的认知锚点:哪里是转折、哪里是坑、哪里是输入输出、哪里需要一个怪但成立的隐喻。

我现在的用法是:
- 先让它给 shot list
- 再挑 3-5 张真正有用的图生成。
- ==别一上来就让它每段都配图,容易变成画册==。
对运营人来说,这种 skill 的价值不是省一张图,而是把“内容表达方式”也沉淀成可复用工作流。

关于电脑的问答-你已经用uvx mlx-lm 跑 MLX 8bit了

"你已经在用 uvx mlx-lm 跑 MLX 8bit 了"

问:我的程序员帮我检查了电脑之后说:你已经在用 uvx mlx-lm 跑 MLX 8bit了。 请问,这句话意味着我电脑上都安装了哪些东西?这些东西分别都是做什么用的?帮我展开解释下

我先在你电脑上实际核对了一遍,再展开解释。你机器上的真实情况:M1 Max / 64GB,uv/uvx 装在 ~/.hermes/bin(v0.11.31),~/.cache/uv 里有 6.4GB 的缓存(含 mlxmlx-metalmlx-lmmlx-vlmmlx-audio 的安装包),~/models 下躺着两个 Qwen3.8-27B 模型(共约 66GB),另有一个独立的 Ollama。

1. uvx —— 工具的"启动器"(uv 的一部分)

#名词解释 #wiki
- 是什么:一个极快的 Python 包管理/运行工具。uv 相当于加强版的 pip + 虚拟环境;uvx 是它的"即开即用"模式。
- 做什么:uvx mlx-lm 会自动下载 mlx-lm 到一个临时隔离环境里直接运行,不污染你系统的 Python,也不用你手动安装。第一次跑会慢一点(要下载),之后就复用缓存。
- 你电脑上的位置:~/.hermes/bin/uvx,缓存都在 ~/.cache/uv(6.4GB 里很大一部分就是它下过的各种包)。

2. mlx-lm —— 跑大模型的"引擎命令行"

#名词解释 #wiki
- 是什么:专门为 Apple 芯片设计的开源项目,用来在本地运行、部署、微调大语言模型(LLM)。
- 做什么: - uvx mlx-lm generate ... —— 让模型回答问题 - uvx mlx-lm serve ... —— 把模型变成一个本地 API 服务(OpenAI 兼容,其他应用可以连) - 还支持量化、转换模型格式- 类比:它就是"放模型的播放器",模型文件是唱片。

3. MLX —— 底层引擎本体(Apple 的 AI 框架)

#名词解释 #wiki
- 是什么:Apple 官方出的机器学习框架(对应包 mlx + mlx-metal),==地位相当于英伟达显卡上的 CUDA==。
- 为什么重要:它能让 AI 计算直接跑在你 M1 Max 的 GPU 和统一内存上——这是 Mac 能流畅跑大模型的根本原因。你的 64GB 内存 CPU/GPU 共享,所以塞得下大模型。
- 关系链uvx(启动器)→ 启动 mlx-lm(命令行)→ 调用 MLX 框架 → 用你 Mac 的 GPU 算。

4. 8bit —— 模型的"压缩规格"

#名词解释 #wiki
- 是什么:指模型权重的量化精度。原始模型是 16 位精度,8bit 就是把每个参数压缩到 8 位。
- 效果:体积减半(你的 27B 模型 8bit 版约 27GB),速度更快,智商损失很小。旁边那个 4-bit 文件夹(39GB 那个模型)是压得更狠的版本,更省内存但精度更低。
- 代价:8bit 27B 跑起来峰值要吃掉约 29GB 内存,所以生成速度约 10 token/秒——够用,但不算飞快。

一句话总结

ai工具

你电脑上装了:uv/uvx(工具启动器)+ MLX(Apple GPU 计算框架)+ mlx-lm(跑模型的命令行)+ ~/models 里两个 27B 大模型文件。整条链路的用途就是:不联网、不花钱,在你自己 Mac 上本地跑一个接近 GPT-4 级别的大模型。
顺带一提:你机器上还有个独立的 Ollama(v0.32.15),它是另一套本地跑模型的方案,走 OpenAI 兼容接口给日常应用用——和 uvx mlx-lm 是两套并行的本地方案,不冲突。

学习

🕐 活动足迹(自动记录)

✏️ = 编辑过 · 👀 = 只打开/碰过,内容没变

  • 🖼 白板 · 1 项
    • 18:24 ✏️ [[00index.canvas]]
  • 📄 文档 · 6 项
    • 23:45 ✏️ [[Qwen3.8-27B-GGUF-unsloth-v3-2.pdf]]
    • 23:44 ✏️ [[Qwen3.8-27B-GGUF-unsloth-v3-1.pdf]]
    • 23:43 ✏️ [[Qwen3.8-27B-GGUF-unsloth-v3-3.pdf]]
    • 01:49 ✏️ [[大模型本地部署全能选手LM-Studio.pdf]]
    • 01:32 ✏️ [[smtek-Qwen3.8-27B.pdf]]
    • 01:27 ✏️ [[smtek-Qwen3.8-27B-Q5_K_XL.pdf]]
  • 📝 笔记 · 5 项
    • 23:50 ✏️ [[2026-08-23-土地所有制在中国古代的变迁]]
    • 23:50 ✏️ [[2026-08-23-下载Qwen3.8-27B]]
    • 23:32 ✏️ [[2026-08-23-尺蠖效应]]
    • 02:18 ✏️ [[有哪几个故事有点作茧自缚,搬起石头砸了自己脚--有这种感@20260823_021636]]
    • 02:18 ✏️ [[书籍观点缩进大纲@20260822_204436]]

MemoDaily

  • 16:19:34 刚才和谢大宝坐着。她说你看咱两现在住一起,可以一起聊天做播客,然后话题往下聊,先是就选题(聊什么)聊了会,最后话题聊到很多人做,但并不怎么样甚至做不下去的话题,我意识到“其实是无法变现赚不到钱从而没有(坚持做下去的)动力”

    聊天 #可行性- 20:28:41 #写作点子 童话,人看着是人,其实只剩个壳了,其实不是人。

  • 20:32:45 #ai工具 #知识库 github项目,nashsu,能够自动把本地文档变成wiki,而且有自动编译,自动生长的特性。 #wiki #他山之石
  • 20:34:02 Kaneo 是一款开源项目管理工具,核心理念只有一句话:All you need. Nothing you don't. 它不追求功能堆砌,而是让每个功能都真正解决问题,让团队专注于产品构建本身 #开源 #项目管理 #软件研究
  • 21:41:13 #软件研究 #GTD Calflow可以一试,看起来不错,主要是日历视图看起来很不错