github-starred/ollama
2
0
Fork 0
mirror of https://github.com/ollama/ollama.git synced 2026-05-06 16:11:34 -05:00
Code Issues 14.5k Packages Projects Releases 120 Wiki Activity

[PR #1268] [CLOSED] complete gguf upgrade #21072

New Issue
Closed
opened 2026-04-19 15:25:36 -05:00 by GiteaMirror · 0 comments
GiteaMirror commented 2026-04-19 15:25:36 -05:00
Owner
Copy Link

📋 Pull Request Information

Original PR: https://github.com/ollama/ollama/pull/1268
Author: @BruceMacD
Created: 11/24/2023
Status: ❌ Closed

Base: main ← Head: brucemacd/remove-ggml-runner

📝 Commits (2)

📊 Changes

19 files changed (+78 additions, -397 deletions)

View changed files

📝 .dockerignore (+0 -1)
📝 .gitmodules (+0 -5)
📝 cmd/cmd.go (+22 -2)
📝 docs/modelfile.md (+1 -1)
📝 llm/ggml.go (+4 -74)
📝 llm/llama.cpp/generate_darwin_amd64.go (+0 -9)
📝 llm/llama.cpp/generate_darwin_arm64.go (+0 -9)
📝 llm/llama.cpp/generate_linux.go (+0 -12)
📝 llm/llama.cpp/generate_windows.go (+0 -7)
➖ llm/llama.cpp/ggml (+0 -1)
➖ llm/llama.cpp/patches/0001-add-detokenize-endpoint.patch (+0 -51)
➖ llm/llama.cpp/patches/0002-34B-model-support.patch (+0 -89)
➖ llm/llama.cpp/patches/0003-metal-fix-synchronization-in-new-matrix-multiplicati.patch (+0 -30)
➖ llm/llama.cpp/patches/0004-metal-add-missing-barriers-for-mul-mat-2699.patch (+0 -41)
➖ llm/llama.cpp/patches/0005-ggml-support-CUDA-s-half-type-for-aarch64-1455-2670.patch (+0 -32)
📝 llm/llama.go (+11 -16)
📝 llm/llm.go (+4 -12)
📝 server/images.go (+35 -4)
📝 server/routes.go (+1 -1)

📄 Description

  • remove ggml runner
  • automatically pull gguf models when ggml detected
  • tell users to update to gguf in the case automatic pull fails

On running a ggml model, a gguf model will be automatically pulled before running:

ollama run orca-mini
This model is no longer compatible with Ollama. Pulling a new version...
pulling manifest 
pulling 66002b78c70a... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏(2.0 GB/2.0 GB)                             
pulling dd90d0f2b7ee... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏(95 B/95 B)                                 
pulling 93ca9b3d83dc... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏(89 B/89 B)                                 
pulling 33eb43a1488d... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏(52 B/52 B)                                 
pulling fd52b10ee3ee... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏(455 B/455 B)                               
verifying sha256 digest 
writing manifest 
removing any unused layers 
success 
>>> hello

When a gguf model is not available:

ollama run custom-ggml
pulling manifest 
Error: pull model manifest: file does not exist
Error: unsupported model, please update this model to gguf format

Create from a GGML library model:

ollama create mario -f ~/models/mario/Modelfile
transferring model data
reading model metadata
updating base model
pulling manifest
pulling 22f7f8ef5f4c... 100% ▕███████████████████████████████████████▏(3.8 GB/3.8 GB)
pulling 8c17c2ebb0ea... 100% ▕███████████████████████████████████████▏(7.0 KB/7.0 KB)
pulling 7c23fb36d801... 100% ▕███████████████████████████████████████▏(4.8 KB/4.8 KB)
pulling 2e0493f67d0c... 100% ▕███████████████████████████████████████▏(59 B/59 B)
pulling 2759286baa87... 100% ▕███████████████████████████████████████▏(105 B/105 B)
pulling 5407e3188df9... 100% ▕████████████████████████████████████���██▏(529 B/529 B)
verifying sha256 digest
writing manifest
removing any unused layers
success
... etc

Create from a custom ggml model:

ollama create orca-ggml -f ~/models/orca-ggml/Modelfile
transferring model data
creating model layer
Error: model binary specified in FROM field is not a valid gguf format model, unsupported model format

API request from a GGML file error (same for embeddings and generate):

{
  "error": "unsupported model format: this model may be incompatible with your version of ollama. If you previously pulled this model, try updating it by running `ollama pull orca-ggml:latest`"
}

🔄 This issue represents a GitHub Pull Request. It cannot be merged through Gitea due to API limitations.

## 📋 Pull Request Information **Original PR:** https://github.com/ollama/ollama/pull/1268 **Author:** [@BruceMacD](https://github.com/BruceMacD) **Created:** 11/24/2023 **Status:** ❌ Closed **Base:** `main` ← **Head:** `brucemacd/remove-ggml-runner` --- ### 📝 Commits (2) - [`26d953f`](https://github.com/ollama/ollama/commit/26d953f504765f454d21884134ebd28dc8493c02) deprecate ggml - [`823271d`](https://github.com/ollama/ollama/commit/823271d18d1b91500887e981e8adab7eef6d49f1) Update images.go ### 📊 Changes **19 files changed** (+78 additions, -397 deletions) <details> <summary>View changed files</summary> 📝 `.dockerignore` (+0 -1) 📝 `.gitmodules` (+0 -5) 📝 `cmd/cmd.go` (+22 -2) 📝 `docs/modelfile.md` (+1 -1) 📝 `llm/ggml.go` (+4 -74) 📝 `llm/llama.cpp/generate_darwin_amd64.go` (+0 -9) 📝 `llm/llama.cpp/generate_darwin_arm64.go` (+0 -9) 📝 `llm/llama.cpp/generate_linux.go` (+0 -12) 📝 `llm/llama.cpp/generate_windows.go` (+0 -7) ➖ `llm/llama.cpp/ggml` (+0 -1) ➖ `llm/llama.cpp/patches/0001-add-detokenize-endpoint.patch` (+0 -51) ➖ `llm/llama.cpp/patches/0002-34B-model-support.patch` (+0 -89) ➖ `llm/llama.cpp/patches/0003-metal-fix-synchronization-in-new-matrix-multiplicati.patch` (+0 -30) ➖ `llm/llama.cpp/patches/0004-metal-add-missing-barriers-for-mul-mat-2699.patch` (+0 -41) ➖ `llm/llama.cpp/patches/0005-ggml-support-CUDA-s-half-type-for-aarch64-1455-2670.patch` (+0 -32) 📝 `llm/llama.go` (+11 -16) 📝 `llm/llm.go` (+4 -12) 📝 `server/images.go` (+35 -4) 📝 `server/routes.go` (+1 -1) </details> ### 📄 Description - remove ggml runner - automatically pull gguf models when ggml detected - tell users to update to gguf in the case automatic pull fails On running a ggml model, a gguf model will be automatically pulled before running: ``` ollama run orca-mini This model is no longer compatible with Ollama. Pulling a new version... pulling manifest pulling 66002b78c70a... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏(2.0 GB/2.0 GB) pulling dd90d0f2b7ee... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏(95 B/95 B) pulling 93ca9b3d83dc... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏(89 B/89 B) pulling 33eb43a1488d... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏(52 B/52 B) pulling fd52b10ee3ee... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏(455 B/455 B) verifying sha256 digest writing manifest removing any unused layers success >>> hello ``` When a gguf model is not available: ``` ollama run custom-ggml pulling manifest Error: pull model manifest: file does not exist Error: unsupported model, please update this model to gguf format ``` Create from a GGML library model: ``` ollama create mario -f ~/models/mario/Modelfile transferring model data reading model metadata updating base model pulling manifest pulling 22f7f8ef5f4c... 100% ▕███████████████████████████████████████▏(3.8 GB/3.8 GB) pulling 8c17c2ebb0ea... 100% ▕███████████████████████████████████████▏(7.0 KB/7.0 KB) pulling 7c23fb36d801... 100% ▕███████████████████████████████████████▏(4.8 KB/4.8 KB) pulling 2e0493f67d0c... 100% ▕███████████████████████████████████████▏(59 B/59 B) pulling 2759286baa87... 100% ▕███████████████████████████████████████▏(105 B/105 B) pulling 5407e3188df9... 100% ▕████████████████████████████████████���██▏(529 B/529 B) verifying sha256 digest writing manifest removing any unused layers success ... etc ``` Create from a custom ggml model: ``` ollama create orca-ggml -f ~/models/orca-ggml/Modelfile transferring model data creating model layer Error: model binary specified in FROM field is not a valid gguf format model, unsupported model format ``` API request from a GGML file error (same for embeddings and generate): ``` { "error": "unsupported model format: this model may be incompatible with your version of ollama. If you previously pulled this model, try updating it by running `ollama pull orca-ggml:latest`" } ``` --- <sub>🔄 This issue represents a GitHub Pull Request. It cannot be merged through Gitea due to API limitations.</sub>
GiteaMirror added the pull-request label 2026-04-19 15:25:36 -05:00
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels
amd
api
app
bug
build
cli
cloud
compatibility
context-length
create
docker
documentation
embeddings
feature request
feedback wanted
good first issue
gpt-oss
gpu
harmony
help wanted
image
install
intel
js
launch
linux
macos
memory
mlx
model
needs more info
networking
nvidia
ollama.com
performance
pull-request
Mirrored from GitHub Pull Request
 python
question
registry
rendering
thinking
tools
top
vulkan
windows
wsl
No Label pull-request
Milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
GiteaMirror ninjasurge
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: github-starred/ollama#21072
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?