上期的让语音助手接入AI，变得更聪明：MiGPT项目引起了不少小伙伴的兴趣，这一期我们继续探讨大模型的应用，这次我们会使用Ollama。

通过这篇文章，我们将实现以下目标：

在本地Mac上运行大模型，通过ngrok进行网络穿透，使所有能联网的iOS设备（macOS、iOS、WatchOS、Vision Pro）都能使用私有大模型，享受无过滤、安全、私密和多模态的体验。

MacBook：

iPhone:

Vision Pro：

1. Mac安装端侧大模型

如果你已经按照上期的步骤完成了Mac的安装，可以直接跳到下一部分“2. 在Mac上使用ngrok”。

1.1 安装Ollama

首先，我们需要安装Ollama，它是一个容器平台，能简化本地AI模型的运行。

1. 访问官网：Ollama官网
2. 点击Download下载并选择合适的操作系统版本。

下载完成后，打开安装程序，成功安装后，在“终端”中输入以下命令验证安装：

ollama -v

若出现版本号则表示安装成功。接着，浏览器中访问http://localhost:11433/或者http://127.0.0.1:11433/，若显示“Ollama is running”则表示Ollama运行正常。

1.2 下载本地AI模型

在Ollama中，我们可以下载多种AI模型，例如热门的llama3、阿里的千问等。模型参数量（B代表十亿）越大，性能越强，但对机器性能的要求也更高。

例如，可以在“终端”中运行以下命令下载llama3的700亿参数模型：

ollama run llama3:70b

如果你的机器性能较高，可以尝试下载更大参数的模型，否则可以选择小语言模型（SLM），例如微软发布的Phi-3系列。

下载Phi-3模型：

ollama run phi3

下载完成后，可以直接在“终端”中与模型对话。

输入：

hi

输入：

/bye

退出。

2. 在Mac上使用ngrok

为了让其他设备也能访问本地模型，我们需要使用ngrok来进行网络穿透。

ngrok是一款反向代理工具，可以将本地服务器暴露到公网上，提供一个公网URL，从而简化Web开发测试。

2.1 下载ngrok

1. 访问官网：ngrok官网
2. 注册或登录后，完成邮箱验证和二步验证。

2.2 安装ngrok

在“终端”中运行以下命令安装ngrok：

brew install ngrok/ngrok/ngrok

绑定账号：

ngrok config add-authtoken 你的Authtoken

2.3 使用ngrok

运行以下命令启动一个HTTP隧道，代理本地的11434端口：

ngrok http 11434 --host-header="localhost:11434"

ngrok会提供一个公网可访问的URL，通过这个URL可以访问本地运行的服务。

2.4 确认ngrok运行

访问生成的URL，若显示“Ollama is running”则表示成功。

3. Enchanted app下载

我们可以使用Enchanted这个APP来访问本地模型。

GitHub地址：Enchanted GitHub

App Store下载地址：Enchanted App Store

Enchanted支持多种功能，如文本转语音、对话历史存储、Markdown支持等。

4. 连接Enchanted与本地Ollama

在Enchanted的设置中，填入ngrok生成的公网URL，即可使用本地部署的模型。

5. 使用与演示

通过Enchanted可以进行语音输入（目前仅支持英文）和文本转语音等功能，赶紧体验一下吧！

赶紧玩起来吧！

最佳标题：

实现无过滤、安全和私密的大模型应用：在Mac上运行Ollama并通过ngrok进行网络穿透

标签：

• 大模型
• Ollama
• ngrok
• 本地部署
• iOS生态系统