上期的让语音助手接入AI，变得更聪明：MiGPT项目引起了不少小伙伴的兴趣，这一期我们继续探讨大模型的应用，这次我们会使用Ollama。
通过这篇文章，我们将实现以下目标：
在本地Mac上运行大模型，通过ngrok进行网络穿透，使所有能联网的iOS设备（macOS、iOS、WatchOS、Vision Pro）都能使用私有大模型，享受无过滤、安全、私密和多模态的体验。
MacBook：
iPhone:
Vision Pro：
1. Mac安装端侧大模型
如果你已经按照上期的步骤完成了Mac的安装，可以直接跳到下一部分“2. 在Mac上使用ngrok”。
1.1 安装Ollama
首先，我们需要安装Ollama，它是一个容器平台，能简化本地AI模型的运行。
- 访问官网：Ollama官网
- 点击
Download下载并选择合适的操作系统版本。
下载完成后，打开安装程序，成功安装后，在“终端”中输入以下命令验证安装：
ollama -v
若出现版本号则表示安装成功。接着，浏览器中访问http://localhost:11433/或者http://127.0.0.1:11433/，若显示“Ollama is running”则表示Ollama运行正常。
1.2 下载本地AI模型
在Ollama中，我们可以下载多种AI模型，例如热门的llama3、阿里的千问等。模型参数量（B代表十亿）越大，性能越强，但对机器性能的要求也更高。
例如，可以在“终端”中运行以下命令下载llama3的700亿参数模型：
ollama run llama3:70b
如果你的机器性能较高，可以尝试下载更大参数的模型，否则可以选择小语言模型（SLM），例如微软发布的Phi-3系列。
下载Phi-3模型：
ollama run phi3
下载完成后，可以直接在“终端”中与模型对话。
输入：
hi
输入：
/bye退出。
2. 在Mac上使用ngrok
为了让其他设备也能访问本地模型，我们需要使用ngrok来进行网络穿透。
ngrok是一款反向代理工具，可以将本地服务器暴露到公网上，提供一个公网URL，从而简化Web开发测试。
2.1 下载ngrok
- 访问官网：ngrok官网
- 注册或登录后，完成邮箱验证和二步验证。
2.2 安装ngrok
在“终端”中运行以下命令安装ngrok：
brew install ngrok/ngrok/ngrok
绑定账号：
ngrok config add-authtoken 你的Authtoken2.3 使用ngrok
运行以下命令启动一个HTTP隧道，代理本地的11434端口：
ngrok http 11434 --host-header="localhost:11434"
ngrok会提供一个公网可访问的URL，通过这个URL可以访问本地运行的服务。
2.4 确认ngrok运行
访问生成的URL，若显示“Ollama is running”则表示成功。
3. Enchanted app下载
我们可以使用Enchanted这个APP来访问本地模型。
App Store下载地址：Enchanted App Store
Enchanted支持多种功能，如文本转语音、对话历史存储、Markdown支持等。
4. 连接Enchanted与本地Ollama
在Enchanted的设置中，填入ngrok生成的公网URL，即可使用本地部署的模型。
5. 使用与演示
通过Enchanted可以进行语音输入（目前仅支持英文）和文本转语音等功能，赶紧体验一下吧！
赶紧玩起来吧！
最佳标题：
实现无过滤、安全和私密的大模型应用：在Mac上运行Ollama并通过ngrok进行网络穿透
标签：
- 大模型
- Ollama
- ngrok
- 本地部署
- iOS生态系统
