Needle 2

Needle 2は、ツール呼び出し、端末操作、構造化データ抽出に用途を絞った4500万パラメータの小型モデルです。モデルと実行エンジンを約14MBの単一バイナリへまとめ、セッション全体を約28MBのメモリで動かす設計です。

一般的なチャットAIを小さくした製品ではありません。入力から適切な関数と引数を選び、JSONとして返す処理を、スマートフォン、Raspberry Pi、VR機器、組み込み端末などでオフライン実行するためのモデルです。

小さな実行サイズ：公式モデルカードでは14MBのバイナリ、約28MBのセッションメモリを案内しています。
構文を制約したJSON出力：ツールのスキーマからバイト単位の文法を作り、生成できる形式を制限します。
信頼度による分岐：各呼び出しに信頼度を付け、閾値未満の結果を大きなモデルや人間へ回す設計ができます。
多数のツールから検索：候補ツールを検索し、関連度の高い少数だけをプロンプトへ入れます。
固定に近いメモリ使用量：256トークンのスライディングウィンドウを使い、長いセッションでもメモリ増加を抑えます。
複数環境へ配布：ARM64、x86-64、ARMv7、RISC-V、WebAssemblyを対象とし、Apple、Windows、Linux、Android、Raspberry Piなどで動かせます。

pip install cactus-needle

Python関数へデコレーターを付ける方法のほか、JSON Schemaからツールを定義する方法、Pydanticモデルを使った構造化抽出も用意されています。誤実行の影響が大きい送金、削除、公開操作では、型や範囲の制約だけに頼らず、人間の承認も残してください。

公式ページにはRaspberry Pi 5やスマートフォンでの速度、他の小型モデルとのツール呼び出し比較が掲載されていますが、数値は開発元による測定です。45Mパラメータと256トークン窓という制約もあるため、一般知識、長文会話、複雑な計画を大規模モデルの代わりに処理する用途には向きません。

日本語専用の品質保証も確認できません。日本語の口語、日時表現、固有名詞、曖昧な省略を含む自社データで、誤呼び出し率と信頼度の閾値を検証してください。

モデルカードはApache 2.0、ソースコードと実行エンジンはMIT Licenseです。組み込む成果物ごとに該当ライセンスを確認してください。

ツール紹介