ORCRUX Protocol - Proof-of-Useful-Work

numpy

Smoke Test - LogReg Quick

smokeonboardingcpuquick

Template ultra-court pour onboarding: valide rapidement pipeline dataset -> workload -> rewards.

Modele: logreg
Dataset exemple: Synthetic smoke (4k)npzDataset source
GPU requis: auto
Poids: -

Entrainer ce modele Voir les workloads

numpy

LogReg - GPU optional

cpuauditbaseline

Baseline PoUW deterministic batch. Sert à valider les mineurs CPU/GPU (seed = hash du bloc précédent).

Modele: logreg
Dataset exemple: Synthetic balanced (75k)npzDataset source
GPU requis: auto
Poids: -

Entrainer ce modele Voir les workloads

torch

CNN Lite Vision

visiongpumnist

Fine-tuning d'un CNN compact sur dataset MNIST 32x32 (+ data aug). Budget idéal pour GPU 8 Go.

Modele: cnn-lite
Dataset exemple: MNIST-lite (augmenté)parquetDataset source
GPU requis: gpu_8g
Poids: -

Entrainer ce modele Voir les workloads

torch

Vision Transformer Small

visiontransformergpu

Fine-tuning d'un ViT-S/16 sur CIFAR-100. Demande un GPU 12 Go pour le micro-batching.

Modele: vit-small
Dataset exemple: CIFAR-100 augmentétarDataset source
GPU requis: gpu_12g
Poids: -

Entrainer ce modele Voir les workloads

torch

Tiny QA Transformer

nlptransformerpremium

Modèle distillé, 55M params pour question/réponse multi-langue. Nécessite un GPU 24 Go pour la fenêtre contextuelle étendue.

Modele: transformer-mini
Dataset exemple: QA Global 40kjsonlDataset source
GPU requis: gpu_24g
Poids: -

Entrainer ce modele Voir les workloads

torch

Text - DistilBERT QA

textqanlpsmall

QA extractive leger pour texte. Rapide a entrainer.

Modele: distilbert
Dataset exemple: SQuAD v1jsonlDataset source
GPU requis: auto
Poids: 0.07B66M params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Text - BERT Base QA

textqanlpmedium

Fine-tuning QA extractive sur un modele texte classique.

Modele: bert-base
Dataset exemple: SQuAD v1jsonlDataset source
GPU requis: gpu_8g
Poids: 0.11B110M params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Text - RoBERTa Large QA

textqanlplarge

QA extractive haute qualite, plus lourd.

Modele: roberta-large
Dataset exemple: SQuAD v1jsonlDataset source
GPU requis: gpu_24g
Poids: 0.36B355M params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Image - ResNet-50

imagevisionsmall

Classification image classique, rapide a entrainer.

Modele: resnet-50
Dataset exemple: CIFAR-10parquetDataset source
GPU requis: auto
Poids: 0.03B26M params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Image - CLIP ViT-B/32

imagevisionclipmedium

Adaptation image/texte via CLIP pour recherche visuelle.

Modele: clip-vit-b32
Dataset exemple: COCO captionstarDataset source
GPU requis: gpu_12g
Poids: 0.15B151M params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Image - ViT Large

imagevisionlarge

Vision Transformer large pour classification image.

Modele: vit-large
Dataset exemple: ImageNet-1ktarDataset source
GPU requis: gpu_24g
Poids: 0.31B307M params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Audio - Whisper Tiny

audioasrsmall

ASR ultra leger pour tests rapides.

Modele: whisper-tiny
Dataset exemple: LibriSpeech ASRwavDataset source
GPU requis: auto
Poids: 0.04B39M params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Audio - Whisper Base

audioasrmedium

ASR audio multi-langue, equilibre cout/qualite.

Modele: whisper-base
Dataset exemple: LibriSpeech ASRwavDataset source
GPU requis: gpu_8g
Poids: 0.07B74M params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Audio - Whisper Small

audioasrlarge

ASR audio multi-langue. Bon compromis qualite/cout.

Modele: whisper-small
Dataset exemple: LibriSpeech ASRwavDataset source
GPU requis: gpu_12g
Poids: 0.24B244M params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Video - VideoMAE Small

videotransformersmall

Classification video courte, modele compact.

Modele: videomae-small
Dataset exemple: Kinetics-400mp4Dataset source
GPU requis: gpu_12g
Poids: 0.09B86M params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Video - TimeSformer Base

videotransformermedium

Classification video courte (sports, actions).

Modele: timesformer-base
Dataset exemple: Kinetics-400mp4Dataset source
GPU requis: gpu_24g
Poids: 0.12B121M params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Video - TimeSformer Large

videotransformerlarge

Video transformer large pour classification exigeante.

Modele: timesformer-large
Dataset exemple: Kinetics-400mp4Dataset source
GPU requis: gpu_24g
Poids: 0.30B300M params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Code - CodeT5 Small

codenlpsmall

Generation/resume de code rapide pour prototypes.

Modele: codet5-small
Dataset exemple: CodeSearchNetjsonlDataset source
GPU requis: gpu_8g
Poids: 0.06B60M params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Code - CodeT5 Base

codenlpmedium

Generation/resume de code pour Python/JS.

Modele: codet5-base
Dataset exemple: CodeSearchNetjsonlDataset source
GPU requis: gpu_12g
Poids: 0.22B220M params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Code - CodeT5 Large

codenlplarge

Generation de code plus lourde, qualite superieure.

Modele: codet5-large
Dataset exemple: CodeSearchNetjsonlDataset source
GPU requis: gpu_24g
Poids: 0.77B770M params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Text - Llama 3 8B Instruct

textgenerationlarge

Generation texte/assistant, gros modele 8B.

Modele: llama3-8b-instruct
Dataset exemple: OpenWebTextjsonlDataset source
GPU requis: gpu_24g
Poids: 8.00B8.00B params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Text - Llama 3 8B (Shard v2)

textgenerationlargev2sharded

Gros modele 8B avec sharding + micro-batching + checkpoints (spec v2).

Modele: llama3-8b-instruct
Dataset exemple: OpenWebTextjsonlDataset source
GPU requis: gpu_24g
Poids: 8.00B8.00B params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Code - CodeLlama 7B

codegenerationlarge

Generation de code avec un modele 7B.

Modele: codellama-7b
Dataset exemple: CodeSearchNetjsonlDataset source
GPU requis: gpu_24g
Poids: 7.00B7.00B params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Code - CodeLlama 7B (Shard v2)

codegenerationlargev2sharded

Modele 7B avec sharding + micro-batching + checkpoints (spec v2).

Modele: codellama-7b
Dataset exemple: CodeSearchNetjsonlDataset source
GPU requis: gpu_24g
Poids: 7.00B7.00B params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Image - FLUX.1 Schnell

imagegenerationlarge

Generation d images rapide (support LoRA).

Modele: flux1-schnell
Dataset exemple: LAION-2B (subset)tarDataset source
GPU requis: gpu_24g
Poids: 1.00B1.00B params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Image - SDXL 1.0

imagegenerationlarge

Generation d images haute qualite (support LoRA).

Modele: sdxl-1.0
Dataset exemple: LAION-5B (subset)tarDataset source
GPU requis: gpu_24g
Poids: 2.60B2.60B params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Audio - AudioLDM2

audiogenerationlarge

Generation audio a partir de texte (text-to-audio).

Modele: audioldm2
Dataset exemple: Common VoicewavDataset source
GPU requis: gpu_24g
Poids: 0.70B700M params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Text - Llama 3 8B LoRA (sharded-ready)

textllmlorashardedlarge

Fine-tuning LoRA d'un Llama 3 8B. Concu pour tourner sur un GPU 20 Go unique ou en mode sharde/adapters sur plusieurs GPU plus modestes.

Modele: byo
Dataset exemple: OpenOrca ORCRUX LitejsonlDataset source
GPU requis: gpu_12g
Poids: 8.00B8.03B params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Text - Llama 3 8B LoRA Smoke (20G)

textllmlorashardedlargesmokegpu-20g

Validation courte GPU pour testnet et beta tests sur cartes 20 Go. Workflow LoRA/adapters, sharding actif, duree et reward bornees.

Modele: byo
Dataset exemple: OpenOrca ORCRUX LitejsonlDataset source
GPU requis: gpu_12g
Poids: 8.00B8.03B params

Entrainer ce modele Voir les workloads Source Hugging Face

torch

Video - Stable Video Diffusion

videogenerationlarge

Generation video a partir d image ou prompt.

Modele: stable-video-diffusion
Dataset exemple: Kinetics-400mp4Dataset source
GPU requis: gpu_24g
Poids: 1.70B1.70B params

Entrainer ce modele Voir les workloads Source Hugging Face

Bibliotheque de modeles

Smoke Test - LogReg Quick

LogReg - GPU optional

CNN Lite Vision

Vision Transformer Small

Tiny QA Transformer

Text - DistilBERT QA

Text - BERT Base QA

Text - RoBERTa Large QA

Image - ResNet-50

Image - CLIP ViT-B/32

Image - ViT Large

Audio - Whisper Tiny

Audio - Whisper Base

Audio - Whisper Small

Video - VideoMAE Small

Video - TimeSformer Base

Video - TimeSformer Large

Code - CodeT5 Small

Code - CodeT5 Base

Code - CodeT5 Large

Text - Llama 3 8B Instruct

Text - Llama 3 8B (Shard v2)

Code - CodeLlama 7B

Code - CodeLlama 7B (Shard v2)

Image - FLUX.1 Schnell

Image - SDXL 1.0

Audio - AudioLDM2

Text - Llama 3 8B LoRA (sharded-ready)

Text - Llama 3 8B LoRA Smoke (20G)

Video - Stable Video Diffusion

Simple, accessible a tous