تشغيل نموذج DeepSeek R1 Distilled على أجهزة كمبيوتر InHand AI Edge

DeepSeek R1، نموذج ذكاء اصطناعي مفتوح المصدر، يُعيد تعريف مفهوم الكفاءة والأداء في مجتمع الذكاء الاصطناعي. تُحوّل تقنيته المتطورة لتقطير المعرفة النماذج المعقدة إلى وحدات قوية خفيفة الوزن، مُوفرةً قدرات استدلالية فائقة. هذا المزيج من سهولة الوصول مفتوح المصدر والتصميم خفيف الوزن يُقلل من عوائق نشر الذكاء الاصطناعي، ويفتح آفاقًا جديدة للحوسبة الطرفية.

نجح فريق تكنولوجيا الذكاء الاصطناعي في InHand Networks للتو في نشر نموذج DeepSeek R1 المقطر على سلسلة EC5000 من أجهزة الكمبيوتر الطرفية ذات الذكاء الاصطناعييُثبت هذا الإنجاز الإمكانات الهائلة لأجهزة الحافة خفيفة الوزن في مهام استدلال الذكاء الاصطناعي. مقارنةً بعمليات النشر السحابية التقليدية، تُلغي حوسبة الذكاء الاصطناعي الحافة الحاجة إلى خوادم عالية الأداء، مما يُتيح الاستدلال الفوري في بيئات منخفضة الطاقة. وهذا يجعل حلول الذكاء الاصطناعي أكثر فعالية. مرنة وآمنة وفعالة لتطبيقات مثل فحص الجودة الصناعية، والنقل الذكي، والطب عن بعد.

تشغيل نموذج DeepSeek R1 Distilled على أجهزة الكمبيوتر EC5000 AI Edge

باتباع بضع خطوات فقط، يمكنك نشر نموذج DeepSeek R1 المقطر على أجهزة الكمبيوتر الطرفية من سلسلة EC5000:

الخطوة 1: تثبيت مجموعة أدوات Jetson Containers من Nvidia

(تساعد مجموعة الأدوات هذه على إدارة ونشر تطبيقات الذكاء الاصطناعي المحوسبة بكفاءة.)

قم بتشغيل الأوامر التالية لتنزيل مجموعة أدوات Jetson Containers وتثبيتها:

نسخة git https://github.com/dusty-nv/jetson-containers

bash jetson-containers/install.sh

الخطوة 2: تثبيت Nvidia JetPack Toolkit

(يوفر JetPack برامج تشغيل ومكتبات أساسية لتشغيل أحمال عمل الذكاء الاصطناعي على الأجهزة التي تعمل بنظام Jetson.)

لتثبيت مجموعة أدوات JetPack، قم بتنفيذ:

sudo apt update

sudo apt install nvidia-jetpack

sudo systemctl إعادة تشغيل docker

انتظر لمدة دقيقة تقريبًا قبل الخطوات التالية.

`الخطوة 3: تنزيل وتشغيل Ollama Container`

docker run -itd --runtime nvidia --name ollama ollama/ollama

`الخطوة 4: تنزيل وتشغيل نموذج DeepSeek R1 Distilled باستخدام Ollama`

مرجع: مكتبة DeepSeek R1

حدد نموذج DeepSeek R1 المقطر المناسب من مكتبة أولاما وتثبيته تلقائيًا عبر سطر الأوامر. على سبيل المثال، لتشغيل DeepSeek-R1-Distill-Qwen-1.5B نموذج، تنفيذ:

docker exec -it ollama ollama تشغيل deepseek-r1:1.5b

يمكنك استبدال deepseek-r1:1.5b بأي اسم طراز متاح آخر من صفحة بحث أولاما.

يوضح الجدول أدناه نماذج DeepSeek R1 المقطرة التي تدعمها أجهزة الكمبيوتر الطرفية EC5000.

التفاعل مع النموذج

بمجرد تشغيل النموذج، يمكنك التفاعل معه مباشرة من خلال سطر الأوامر، مما يتيح لك إجراء استعلامات واستجابات في الوقت الفعلي مصممة خصيصًا لتطبيقات الذكاء الاصطناعي الخاصة بك.

ملحوظة: استبدل "deepseek-r1:1.5b" باسم النموذج الذي تريد استخدامه، استنادًا إلى متطلباتك المحددة.

مراقبة استخدام أجهزة EC5000

للتحقق من استخدام وحدة المعالجة المركزية ووحدة معالجة الرسومات والذاكرة لجهاز الكمبيوتر EC5000 الخاص بك في الوقت الفعلي، استخدم جي توب يأمر:

سودو جي توب

سيؤدي هذا إلى عرض الحالة الحالية للجهاز.

مهم: يجب تنفيذ الأمر jtop باستخدام امتيازات الجذر.

ملاحظات إضافية

In addition to the DeepSeek R1 distilled model, the EC5000 series edge computers also support other open-source large language models (LLMs), such as LLaMA 3.
Running LLMs on EC5000 edge computers via Ollama is not the only method available—other deployment options can be explored based on your specific needs.

Deploying the DeepSeek R1 distilled model on the EC5000 series demonstrates the seamless integration of cutting-edge AI with edge computing hardware, paving the way for a new era of lightweight, high-performance edge AI.

As distillation technology continues to evolve, businesses can leverage these advancements to build private AI services, reducing computing costs while ensuring data security. This progress unlocks transformative opportunities across industries—from smart manufacturing and intelligent transportation to healthcare diagnostics and autonomous vehicles—enabling local data processing, reduced latency, enhanced data privacy, and real-time decision-making.

InHand Networks remains dedicated to advancing the edge intelligence ecosystem, empowering enterprises worldwide to embrace the future of intelligent edge computing.

المنتجات ذات الصلة: