LLaVA Llama-3 and Phi-3 now on MLX 🎉🚀

You can now run inference locally on your Mac.

pip install -U mlx-vlm

I’m getting ~50 tokens on a M3 Max.

Model cards 👇🏾

Made a quick function calling fine-tuned Llama 3 8B via MLX for my local agent stuff 🦙
huggingface.co/mzbac/llama-3-…

はい始まってしまった

Phi-3 已经快加载到现在常用的所有苹果设备上了，利用 MLX 在 Vision pro 上本地运行 Phi-3。

每秒 22 个Token。

MLX Vision Language Model (VLM) v0.0.3 🚀

You can create your own local image QA assistant 🔥

> pip install -U mlx-vlm

Here is a demo using Llava-1.5-4bit👇🏾

MLX: Fine-tune Llama3 with function calling via MLX-LM

Perfect article from mzba straight to the point Steps 1,2,3,4,5 (well) done!

medium.com/@anchen.li/fin…

こりゃすごい。なんじゃこの性能状態。

【Appleの新しいOpenELMモデルをMLX LMで】
512トークン、340Token/S

M3 Pro Mac (64GB)で16ビットの270Mモデルで超高速ローカルLLMが実現。

これ、ローカルLLMでこの性能はPhi-3やLlama3の7Bなど見てきたがMac単体でこれはスゴすぎる。

固定にしとく

MLX Whisper is available on PyPi thanks to Madroid !

pip install mlx-whisper

Example:

RAG using LLM is now in Adobe Acrobat. RIP all the Chat with PDF.

Chat with MLX is free and fast on Mac devices tho! xD
github.com/qnguyen3/chat-…

奢り飯さいこー！

マックでも／ためしてみたよ／いーえるえむ
ということでOpenELM w/MLXで試したので書きました。
M3 Proで推論したところ、270MのモデルだとRTX 4090(24GB)と比較して約3.4倍の推論速度をたたき出してます

MacBook ProでOpenELMを試してみる｜noguchi-shoji NOGUCHI, Shoji #note note.com/ngc_shj/n/n452…

100% local chatting in Obsidian. Chat history gets saved into your obsidian vault. Can easily search previous chats and reopen them

Powered by MLX and Llama3

使用 MLX 在 iPhone 上本地运行Phi-3

完全离线，速度很快！

🫡

Now i can run llava-1.5-7b model on Macbook pro M2 Max without any convert!

He actually understood that i'm a fencer 🤺

MLX 😍

Thanks for all great works!

Awni Hannun

Prince Canuma

MacbookPro上の MLXでとりま Local-Novel-LLM-project/Vecteus-v1 を動かしてみてるーー
いろいろな面でちゃんとした日本語が生成されてる印象！

固定

Apple MLX: Phi-3 running locally on a VisionPro with VisionOS 1.2 Beta 3!

Fully offline, pretty fast! 22.25 t/s 🔥

Credit to Awni Hannun for the special quantized version for MLX 😉

In the code I used displayEveryNTokens = 3 to make streaming more 'continuous'.

実績