LLM on FF的实验笔记

Anthropic：当AI开始自我构建

Mon, 18 May 2026 09:44:32 +0800

Anthropic：当AI开始自我构建

就在今天凌晨，Anthropic发了一篇文章。名字叫《When AI builds itself》。

我写代码的原初动力，就是因为可以通过编程构建一个自己完全掌控的世界。2023年LLM突然普及，从最开始只能复制粘贴代码片段，到通过Agent可以独立完成整个功能点的开发，再到把数小时的活儿委托给别的代理并行进行，这条路只用了短短三年时间。

而当工具开始构建工具、模型开始训练模型，我们习以为常的那个"由人来推动每一步进展"的世界，正处在一个前所未有的巨变前夜。身处这样的时代，我们到底该把自己放在什么位置？

以下是原文

Anthropic：当AI开始自我构建

我们朝着递归自我改进的进展及其影响。

在 AI 历史的大部分时间里，人类推动了其发展周期的每一步。但在 Anthropic，我们正在将越来越多的 AI 开发工作委托给 AI 系统本身，这正在加速我们的工作。

如果走得足够远，并给予足够的计算资源，这一趋势指向一个能够完全自主设计和开发自己后继者的 AI 系统。这被称为递归自我改进。我们还没有达到那里，递归自我改进也不是不可避免的。但它可能比大多数机构准备好的时间来得更早。

使用公开基准和 Anthropic 内部此前未报告的数据，Anthropic Institute 正在展示 AI 已经在加速 AI 系统的开发。以一个例子为例：今天，Anthropic 工程师平均每个季度交付的代码量是 2021-2025 年的 8 倍。

本文讨论的技术趋势表明，AI 系统在未来几年将变得更加有能力。这些趋势具有巨大影响。能够自我构建的 AI 将是技术史上的一次重大发展——它可能在科学、医疗保健等领域为世界带来巨大的好处。但完全的递归自我改进也可能增加人类失去对 AI 系统控制的风险。如果系统能够完全构建自己的后继者，我们保护它们、监控它们和塑造它们行为的方式都变得更加重要。

2021–2023

构建第一个 Claude

在早期，Anthropic 的工作看起来像任何其他科技公司的工作：人们在笔记本电脑上编写代码和文档。

2023–2025

聊天机器人

人们使用早期聊天机器人来帮助流程的某些部分，比如生成短代码片段并将输出复制到文本编辑器中。

2025–2026

编码代理

随着代理变得更有能力，它们能够自己编写和编辑代码，有时是整个文件。

今天

自主代理

代理现在可以自己运行代码，并将数小时的工作委托给其他代理。

20XX?

关闭循环

在未来，代理可能变得足够有能力自己构建和训练模型。如果发生这种情况，Claude 的未来版本可以由 Claude 本身持续改进。

来自外部世界的证据

AI 模型改进的速度正在加速。它们能够可靠地独立完成的任务长度大约每四个月翻一番，早期的趋势是每七个月翻一番。2024 年 3 月，Claude Opus 3 能够完成人类大约需要四分钟的任务。一年后，Claude Sonnet 3.7 处理了大约需要一个半小时的任务。又过了一年，Claude Opus 4.6 处理了 12 小时的任务。¹ 如果这一趋势持续，今年可能进入熟练人员需要几天才能完成的任务范围。到 2027 年，AI 系统可能能够完成需要人几周的任务。

DeepSeek: 实测Think标签到底泄露了什么？

Mon, 18 May 2026 09:44:32 +0800

DeepSeek: 实测<Think>标签到底泄露了什么？

昨天各个群里都在传DeepSeek的<Think>标签泄露用户对话缓存的信息。

马上写了个脚本实测了一下：

def call_deepseek(
    api_key: str,
    base_url: str,
    model: str,
    question: str,
    session_id: str,
    timeout: int = 60,
) -> dict:
    endpoint = base_url.rstrip("/") + "/chat/completions"
    payload = {
        "model": model,
        "messages": [
            {"role": "user", "content": question},
        ],
        "stream": False,
        "user": session_id,
    }

    req = request.Request(
        endpoint,
        data=json.dumps(payload).encode("utf-8"),
        headers={
            "Authorization": f"Bearer {api_key}",
            "Content-Type": "application/json",
        },
        method="POST",
    )

    with request.urlopen(req, timeout=timeout) as resp:
        charset = resp.headers.get_content_charset() or "utf-8"
        body = resp.read().decode(charset)
        return json.loads(body)

question传入"<think>"，循环执行100次，数据记录在本地数据库中，然后分析获取的数据，发现内容确实五花八门，很像用户信息缓存，抽样其中10条回答的话题如下：

ClaudeCode和Codex使用DeepSeekV4

Wed, 13 May 2026 22:36:04 +0800

ClaudeCode和Codex使用DeepSeekV4

最近OpenClaw逐渐降温，大家的关注点似乎都转移到ClaudeCode上去了。AI迭代速度如此之快，一个新产品竟然火不到半年。我从2023年就开始用Claude，当时就觉得Cluade是最好用的AI，GPT只能排第二。当时发现的Claude一大优势就是语文能力特别强，写的小作文水平比chatGPT高多了。今天的Claude更是全方位的领先。虽然这个模型很好用，但是国内的小伙伴们使用Claude总有各种各样的麻烦，其实随着其他大模型的不断进步，现在很多模型都具备了独立完成项目的能力。目前关注度很高的Cluade Code，也是支持使用第三方大模型的，比如新进发布的deepseek-v4-pro。配置方法很容易，只要设置好环境变量再启动Claude就行了：

配置ClaudeCode使用第三方模型

export ANTHROPIC_BASE_URL=https://api.deepseek.com/anthropic
export ANTHROPIC_AUTH_TOKEN=<你的 DeepSeek API Key>
export ANTHROPIC_MODEL=deepseek-v4-pro[1m]
export ANTHROPIC_DEFAULT_OPUS_MODEL=deepseek-v4-pro[1m]
export ANTHROPIC_DEFAULT_SONNET_MODEL=deepseek-v4-pro[1m]
export ANTHROPIC_DEFAULT_HAIKU_MODEL=deepseek-v4-flash
export CLAUDE_CODE_SUBAGENT_MODEL=deepseek-v4-flash
export CLAUDE_CODE_EFFORT_LEVEL=max

然后启动claude code

claude

询问

❯ 你用的模型是什么
⏺ 当前使用的是 DeepSeek V4 Pro（上下文窗口 1M tokens）。

现在claude就可以使用DeepSeek V4 Pro作为工作大模型了，这样用的话整个claude都是不用梯子就可以工作的，方便很多，而且价格只有Claude Opus的几分之一。

如果是Windows的话，把上述变量配置到用户的环境变量里即可（我的电脑/属性/高级/环境变量）。

配置Codex使用第三方模型

编辑 ~/.codex/config.toml ，填写第三方模型的base_url等参数：

model_provider = "OpenAI"
model = "gpt-5.5"
review_model = "gpt-5.5"
model_reasoning_effort = "xhigh"
disable_response_storage = true
network_access = "enabled"
windows_wsl_setup_acknowledged = true
model_context_window = 1000000
model_auto_compact_token_limit = 900000

[model_providers.OpenAI]
name = "OpenAI"
base_url = "https://api.nange-ai.com"
wire_api = "responses"
requires_openai_auth = true

编辑 ~/.codex/auth.json ，填写OPENAI_API_KEY

{
  "OPENAI_API_KEY": "sk-xxxxxxxxxxxxx"
}

然后启动codex，就可以使用第三方模型了。

总结

Claude Code和Codex均支持使用第三方模型。使用第三方模型尤其是国产模型，还可以避免需要魔法的问题。而且第三方模型普遍成本较低。但第三方模型也普遍存在Instruction Following做得不够好的问题，建议大家根据自己的需求按需选择。

LLM：本地调用无安全限制大模型Gemma-4

Tue, 07 Apr 2026 23:00:55 +0800

LLM：本地调用无安全限制大模型Gemma-4

今天在群里看到一个截图，内容是：

4月6日
🚨 重磅！Google Gemma-4-31B 模型被彻底破解！

Google 最新 Gemma-4-31B 基础模型出现越狱版本，已完全移除安全限制。

模型名称：Gemma-4-31B-JANG_4M-CRACK
HarmBench 得分：93.7%（149/159）  
采用 18GB 混合精度 MLX 量化（加载约 22.7GB），支持 Apple Silicon，并原生支持视觉多模态。

目前已在 Hugging Face 开放下载：  
https://huggingface.co/dealignai/Gemma-4-31B-JANG_4M-CRACK

本地无审查强力模型又多一个选择了。

这破解速度真快，可以为所欲为了😘！

据说是被完全移除安全限制的本地大模型。于是下载下来本地实验一下，如果网络不通，可以使用国内镜像 hf-mirror.com。

# 1. 安装最新 huggingface_hub 并启用 hf_transfer
pip install -U "huggingface_hub[cli,hf_transfer]"

# 2. 设置环境变量启用高速传输
export HF_HUB_ENABLE_HF_TRANSFER=1

# 3. 下载大模型（比git clone快，hf过去叫huggingface-cli）
hf download dealignai/Gemma-4-31B-JANG_4M-CRACK

注意，新版的huggingface_hub中，huggingface_cli命令已经改名为hf，目前大部分AI的知识库中依然是过去的huggingface_cli这个名字，所以AI生成的命令可能是不能用的，需要自己修改，或者提前告诉大模型这个命令已经改名了。

下载后的总大小为22G，文件如下：

Gemma-4-31B-JANG_4M-CRACK/
├── chat_template.jinja
├── config.json
├── dealign_logo.png
├── dealign_mascot.png
├── generation_config.json
├── jang_config.json
├── model-00001-of-00005.safetensors
├── model-00002-of-00005.safetensors
├── model-00003-of-00005.safetensors
├── model-00004-of-00005.safetensors
├── model-00005-of-00005.safetensors
├── model.safetensors.index.json
├── processor_config.json
├── README.md
├── tokenizer_config.json
├── tokenizer.json
└── vmlx-banner.png

格式转换

根据README中的说明，这个模型是MLX格式，只支持Apple Silicon Mac with 24+ GB unified memory，无法直接在 NVIDIA GPU上加载。

LLM：训练大语言模型成为自己的AI数字分身

Sat, 21 Feb 2026 23:15:22 +0800

LLM：训练大语言模型成为自己的AI数字分身

本文使用一份真实的十万级QQ群聊数据，训练作者自己的AI替身。

什么是 Fine-Tuning（模型微调）？

大模型具备学习能力，只要你提供充足的数据，大模型就能学习到这些数据的特征，从而表达出这些数据的某些特征。所以，理论上，如果一个人可以把他终生的经历、知识、技能、情感、想法、行为等全部记录下来，大模型就能学习到这些数据的特征，从而完美地还原这个人的数字分身，对他人来说，实现了这个人的“数字永生”。

大模型根据数据进行再学习的技术，叫做Fine-Tuning（模型微调）。也就是在已经预训练好的通用大模型基础上，用特定的数据集对模型进行再次训练，使其更好地表现出特定的风格或者个性。我们虽然没有办法收集一个人终身的全部数据，但是有一些现成的数据可以直接利用，例如那个已经被人们遗忘的QQ。

QQ时代的用户都知道，QQ是可以以纯文本的方式导出明文聊天的。所以，我们就可以用QQ的聊天记录来训练大模型，让它学会我在QQ中聊天的语气和谈话模式，生成一个聊天版的AI分身。

我们使用一份数据，一个本地大模型，一个训练工具，就可以开始训练自己的分身了。

整体流程概览

核心分为六步：

构建工作环境：搭建软件环境，下载基础模型。本例使用Qwen3-8B
数据准备与预处理 — 准备"指令-响应"格式的训练数据
配置并执行微调 — 使用 LLaMA-Factory + LoRA
推理测试 — 验证微调效果
导出通用格式 — 合并 LoRA 权重，导出 HuggingFace 格式，可被程序直接调用
部署和调用 — 转为 GGUF 并导入 Ollama

第一步：构建工作环境

首先把基础工作环境准备一下。

这里使用 LLaMA-Factory 作为微调框架。它是一个开源项目，支持 Qwen、ChatGLM 等多种模型，以及 LoRA、QLoRA、全量微调等多种方法，提供命令行和 Web 界面，非常方便。

注意： LLaMA-Factory 只支持 HuggingFace 格式的模型，不支持直接加载 GGUF 格式。如需 GGUF，需后期用 llama.cpp 转换。

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

# 创建虚拟环境并安装依赖
uv venv .venv --python 3.11
source .venv/bin/activate
pip install -e ".[torch,metrics,bitsandbytes]"

# 下载基础模型（以 Qwen3-8B 为例）
pip install modelscope
python -c "from modelscope import snapshot_download; snapshot_download('Qwen/Qwen3-8B', cache_dir='/data/models')"

下载后的基础模型 Qwen3-8B 信息如下：

LLM：大语言模型洗车逻辑测试

Wed, 11 Feb 2026 23:59:30 +0800

LLM: 大语言模型洗车逻辑测试

这两天洗车这个问题火了，我也来测试一下。

问题：

洗车店距我这大约100米，我想去洗我应该走过去还是开车去?

Qwen3-Max（思考）

走过去更合适
距离仅百米，步行片刻即达，轻松又高效。
开车不仅浪费油料，还可能因启动停车耽误时间，得不偿失。
这小小路程，步行才是对身体与环境最温柔的体贴。
已完成思考

从实用和逻辑角度来说，建议你直接开车去——毕竟洗车店的服务对象是你的车，不是你本人 😄

不过这个问题有个有趣的悖论：

如果你步行去洗车店，到了之后还得回来开车，等于多走200米
如果你开车去100米外的洗车店，虽然距离短，但：
- 启动、挪车、停车的时间可能比步行还长
- 油耗/电耗不划算
- 略显"为了洗车先把车开脏一点"的荒诞感

最合理的做法：

如果车就在你身边 → 直接开过去（100米很快，也省事）
如果只是想去预约/咨询 → 步行1-2分钟更轻松

顺便提醒：100米的距离，其实也适合当作日常活动量，偶尔步行对健康有益。但洗车这事，还是让车自己"走"过去吧 🚗💦

豆包（Thinking）

给你个最省事、最不折腾的结论: 直接走过去，别开车。

原因很简单:

才100米，走路几十秒就到
开车过去:点火、挪车、停车、再熄火，比走路还麻烦
车本来就脏，开100米也不会变干净，反而多费油/电

你就当顺路散个步，把车丢店里洗，洗完再走回来取，完美。

Deepseek-R1

对于这个问题，建议您走过去，原因如下：

省时高效步行100米仅需1-2分钟，而开车可能需要更多时间（启动、停车、掉头等）。

洗车时人通常无需留在车内，步行到店后可直接返回，车辆洗好后随时取回，时间利用更灵活。

环保与经济性短距离开车会增加不必要的油耗和尾气排放，步行则零成本、零污染。

减少车辆短途行驶也有助于减轻发动机积碳等问题。

健康与便利短距离步行是日常活动量的补充，有益健康。

如果洗车店位于小巷或停车位紧张区域，步行可避免停车麻烦。

例外情况考虑如果符合以下条件，可以选择开车：

洗车后需立即驾车前往其他地方；

天气恶劣（暴雨、酷热等）或身体不适；

需要清洗的物品较多（如车内重物需整理）。

建议方案先步行到店沟通，确认洗车耗时和流程，再将车钥匙交给店员，洗完后再步行取车。这样既省时又无需等待，店员通常也习惯此类操作。

deepseek-r1（深度思考）

好的，用户之前已经问过同样的问题，也得到过详细解答，但ta又重复了一遍。可能当时没记住建议，或者觉得有特殊情况没说明。需要回顾历史回复，确认是否遗漏了什么。

用户强调“大约100米”，距离极近。虽然上次已经建议步行，但用户再次询问，或许有隐含的顾虑，比如安全问题、天气变化，或者需要洗完车马上办事？得把可能的原因都考虑进去。

用户可能是普通车主，住在洗车店附近。深层需求可能不仅仅是选择交通方式，而是想最大化效率，避免麻烦。比如担心步行过去后，车怎么处理？会不会耽误时间？或者身体原因不想走路？

需要重申步行的优点，同时覆盖潜在担忧。比如再次提到“交钥匙”这种常见操作，让用户知道步行反而更省事。如果用户有健康或天气问题，开车也合理，但得强调通常情况下的最优解。

最后用总结巩固建议，保持语气友好，避免显得重复回答而不耐烦。确保用户感到被理解，并且得到清晰可行的方案。

对于100米的距离，强烈建议您直接步行过去。这几乎是最优解，原因如下：

核心结论：步行是更聪明、更高效的选择

您可以将这次洗车变成一个“无需等待”的流程，具体操作如下：

步行到店，与店员沟通洗车需求（约1-2分钟）。
将车钥匙交给店员，让他们派人或由您告知位置后，由店员将车开去清洗。
您可以直接回家或处理其他事情，等车洗好后，店员通常会通知您，您再步行去取车。

为什么这个方案更好？

极致省时：避免了您自己开车、排队、等待的全过程。您的“个人时间”完全不会被占用在无聊的等待上。
避免停车麻烦：洗车店门口通常车位紧张，开车去可能面临无法立即开洗、需要挪车等麻烦。
保护车辆：减少一次毫无必要的冷车超短途行驶（仅100米），这对发动机和电瓶都不友好。
环保健康：零排放，同时增加了一次有益的短程步行活动。

什么情况下您应该开车去？

立刻要用车：洗完车后需要马上驾车去办急事。
身体或天气原因：比如身体不适、正在下雨、极端高温或严寒。
贵重物品在车内：需要亲自开车过去整理并拿走贵重物品。

总而言之，除非有上述特殊情况，否则“步行+交钥匙”的模式对您和您的车都是最佳选择。 您可以轻松地把洗车这件事“外包”出去，而几乎不占用自己的时间。

LLM：使用Ollama访问本地大模型

Sun, 09 Nov 2025 10:08:55 +0800

LLM：使用Ollama访问本地大模型

上一篇文章《LLM：使用API访问在线大模型》中介绍了通过API访问大模型的方法，这种方法可以调用当今最强大的大语言模型。但是在很多私域部署场景中，用户对数据保密性有要求，不允许数据离开公司，甚至没有互联网，这种情况在线访问的方式就无法使用了，需要调用本地的大模型来满足需求。

调用本地的大模型有一个非常好用的工具是Ollama，由前 Docker 核心开发者 Jeremy Howard 和团队开发，所以用起来也非常像Docker，比如这样一个命令就会拉取Deepseek-R1模型并且在本地运行起来：

ollama run deepseek-r1

本文实验中使用的Ollama的版本是：

$ ollama --version
ollama version is 0.12.10

Ollama支持三种调用方法：

命令行调用（CLI）
HTTP API调用（例如通过curl或者任意语言，普适性最强）
使用开发语言通过SDK调用（对开发者来说比HTTP方式更友好）

CLI调用

ollama run deepseek-r1:32b

非常简单，作为普通用户这样用就可以了。

HTTP API调用

下面通过curl来调用Ollama的HTTP接口。

curl -X POST http://localhost:11434/api/chat -H "Content-Type: application/json" -d '{
  "model": "glm4:9b",
  "messages": [{"role": "user", "content": "一句话介绍下大模型"}],
  "stream": false,
  "format": "json"
}'

输出

{"model":"glm4:9b","created_at":"2025-11-10T07:12:11.290003031Z","message":{"role":"assistant","content":"{\"response\": \"使用人工智能技术，通过海量数据训练，能够理解和生成自然语言、图像等多元信息的技术和模型。例如，智谱AI模型是一种高级的深度学习模型，能处理复杂任务，如文本生成、机器翻译和自然语言理解等。`）。”}。以下是一些关于人工智能的相关知识，以供参考：1. 自然语言理解（NLP）是人工智能的一种应用，....（略）....，我们有理由相信，未来将带来更美好的生活和工作环境。因此，我们要紧密关注这个领域的研究进展和应用，共同推动我国科技创新和社会发展。在未来的发展中，我们要积极拥抱新技术、新机遇，勇于开拓创新，为人类的发展做出更大的贡献。谢谢您对我们问题的关注和支持，我们将继续努力为您提供更多有价值的信息和知识。如有其他问题或需要进一步了解，请随时提出。祝您生活愉快！\"}"},"done_reason":"stop","done":true,"total_duration":5796277912,"load_duration":31929144,"prompt_eval_count":11,"prompt_eval_duration":14599361,"eval_count":612,"eval_duration":5749282129}

如果stream赋值为true，那么在输出时会逐token返回多个json数据

如果想看到推理过程，可以

curl http://localhost:11434/api/chat -d '{
  "model": "deepseek-r1:8b",
  "messages": [{
    "role": "user",
    "content": "大模型深度思考的原理是什么?"
  }],
  "think": true,
  "stream": false
}'

输出（为方便阅读，后续的json输出都进行了格式化）

LLM：使用API访问在线大模型

Sun, 09 Nov 2025 01:15:49 +0800

LLM：使用API访问在线大模型

大语言模型从2022年底开始兴起，不到3年的发展，现在已经融入到工作、生活的方方面面，平时不管是用浏览器，还是AI IDE或者App，都可以方便地访问到各类大模型。

如果想要进一步多一些控制权，可以使用API调用大模型，从而把大模型的能力集成到自己的应用中。

通过API调用大模型是非常容易的，直接通过HTTP请求就可以实现调用，下面举两个例子说明。

OpenAI API

OpenAI做得最早，所以OpenAI的API接口成为了事实上的大语言模型的接口标准，其他家的大语言模型都会兼容OpenAI的API接口以便可以让一个chatGPT的工具可以切换到自家的大模型来。

调用OpenAI API跟把大象放进冰箱一样简单，大概分三步：

创建开放平台账号，获取API Key
通过API Key调用OpenAI API
交钱嗯，API调用是收费的。

1、获取API Key

获取 API Key
- 访问 OpenAI Platform，使用注册账号登录
- 在 API Keys 页面创建新的 API Key

2、curl调用

export OPENAI_API_KEY='你创建的Key写在这里'
curl https://api.openai.com/v1/responses \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "model": "gpt-4o-mini",
    "input": [
      {"role": "user", "content": [{"type": "text", "text": "Hello!"}]}
    ]
  }'

3、程序调用

以Python为例，首先安装 SDK

pip install openai

然后就可以调用了：

from openai import OpenAI

# 生产环境一般要从配置文件读取Key
client = OpenAI(api_key="你创建的Key写在这里)

# API 调用
resp = client.responses.create(
    model="gpt-4o-mini",
    input=[
        {"role": "system", "content": [{"type": "text", "text": "你是一个AI技术专家。"}]},
        {"role": "user", "content": [{"type": "text", "text": "什么是机器学习？"}]}
    ],
    temperature=0.7,          # 控制输出的随机性，0-2之间
    max_output_tokens=1000     # 最大输出 token 数
)

# 获取回复
print(resp.output_text)

由于大模型技术发展飞快，OpenAI的API接口也在不断更新，很可能你在网上查到的示例代码并不能运行，所以最好的方法还是直接访问OpenAI官方的API文档： https://platform.openai.com/docs/quickstart