Accélérer le Service de vos LLM : Découvrez Semi-PD pour une Performance Optimale !

Vous cherchez à optimiser le service de vos grands modèles de langage (LLM) ? Semi-PD offre une solution innovante pour disjoindre les phases de "prefill" et de décodage, permettant une utilisation plus efficace de la mémoire GPU partagée et un contrôle précis de l'allocation des ressources. Découvrez comment Semi-PD peut transformer la performance de vos LLM.

Qu'est-ce que Semi-PD et comment ça marche ?

Semi-PD est un framework de service LLM qui désagrège les processus de "prefill" et de décodage. Cette approche permet une isolation fine du calcul et une gestion optimisée de la mémoire GPU. Avec Semi-PD, vous pouvez améliorer significativement l'efficacité et la rapidité de vos services basés sur des LLM. L'implémentation s'appuie sur le Service Multi-Processus (MPS).

Installation Facile : Démarrez Rapidement avec Semi-PD

L'installation de Semi-PD est simple et directe. Suivez les étapes ci-dessous pour configurer votre environnement en quelques minutes :

1. Créez un environnement Conda :

   conda create -n semi_pd -y python=3.11
   conda activate semi_pd
   

   Copy

2. Clonez le dépôt Semi-PD :

   git clone [email protected]:infinigence/Semi-PD.git
   cd Semi-PD
   pip install --upgrade pip
   

   Copy

3. Installez les dépendances IPC :

   cd ./semi-pd-ipc/
   pip install -e .
   cd ..
   

   Copy

4. Installez Semi-PD (NVIDIA) :

   pip install -e " python[all] " --find-links https://flashinfer.ai/whl/cu124/torch2.5/flashinfer-python
   

   Copy

5. Installez Semi-PD (AMD) :

   cd ../sgl-kernel
   python setup_rocm.py install
   cd ..
   pip install -e " python[all_hip] "
   

   Copy

Ces étapes vous permettront de bénéficier de l'exécution LLM performante offerte par l'architecture de Semi-PD.

Résoudre les Pénuries de Mémoire GPU avec une Gestion Optimisée

Semi-PD n'opère pas de partage d'activations entre les phases de "prefill" et de décodage. Cette particularité améliore la précision du calcul mais peut, dans certains cas, augmenter la consommation de mémoire. Si vous rencontrez des problèmes de mémoire insuffisante, ajustez le paramètre --mem-fraction-static pour réduire la pression sur la mémoire. Par exemple : --mem-fraction-static 0.85. Cette optimisation simple peut faire une grande différence.

Lancement Facile avec un Simple Flags : une intégration très rapide

Semi-PD s'active facilement avec l'indicateur --enable-semi-pd. Lancez votre serveur en ligne en utilisant la commande suivante :

python3 -m sglang.launch_server \
--model-path $MODEL_PATH --served-model-name $MODEL_NAME \
--host 0.0.0.0 --port $SERVE_PORT --trust-remote-code --disable-radix-cache \
--enable-semi-pd --mem-fraction-static 0.85 --tp $TP_SIZE

Démarrer avec Semi-PD : Guide d'Installation Docker

Simplifiez votre configuration avec Docker ! Suivez ces étapes pour créer un environnement de base rapidement :

1. Récupérez l'image NVIDIA :

   docker pull lmsysorg/sglang:v0.4.4.post1-cu124
   docker run -it --gpus all -p 30000:30000 -v /your/path:/your/path --ipc=host --name semi_pd v0.4.4.post1-cu124:latest
   docker exec -it semi_pd bash
   

   Copy

2. Récupérez l'image AMD :

   docker pull lmsysorg/sglang:v0.4.4.post1-rocm630
   docker run -it --device=/dev/kfd --device=/dev/dri --shm-size=32g -p 30000:30000 -v /your/path:/your/path --ipc=host --name semi_pd v0.4.4.post1-rocm630:latest
   docker exec -it semi_pd bash
   

   Copy

Ensuite, suivez les instructions d'installation mentionnées précédemment pour finaliser la configuration de Semi-PD.

Augmentez la Performance de vos LLM dès Aujourd'hui !

Semi-PD est un outil puissant pour optimiser le service de vos LLM, l'optimisation mémoire GPU pour LLM est le véritable atout de cet outil. En désagrégeant les phases de "prefill" et de décodage, vous pouvez obtenir une meilleure utilisation des ressources et une performance accrue. Testez Semi-PD dès aujourd'hui et découvrez comment il peut améliorer vos applications basées sur l'IA !