Rapid Packets
sRIO Switches von IDT
Zum Interconnect zwischen Bauelementen eingebetteter Systeme stehen dem Entwickler heute leistungsfähige Technologien zur Verfügung, die bekanntesten darunter sind Ethernet, PCI Express und Serial RapidIO (sRIO). Allen gemein ist die differentielle, serielle Übertragung von Daten mit vergleichbaren Serializer/Deserializer- Funktionen (SERDES) und einer deutlichen Überlegenheit in Sachen Datendurchsatz und Latenz gegenüber den älteren, parallelen Bustopologien. Die wesentlichen Unterschiede liegen weniger auf der „physikalischen“ Ebene als in den jeweiligen Protokollen und hier sind auch jene Unterscheidungskriterien zu finden, die zur Auswahl einer Technologie für ein Entwicklungsvorhaben zugrunde gelegt werden sollten.
Protokolle
Fangen wir bei Ethernet an, einem auf die 1970’er-Jahre zurückgehenden Protokoll, das nach der Strategie des „Best Efforts“, also des „besten Bemühens“ Datenpakete transportiert. Tatsächlich gibt es auf der physikalischen Ebene keine Flusskontrolle, so dass erst auf höheren Protokollebenen z.B. im TCP/IP-Stack eine zuverlässige Übermittlung von Daten sichergestellt werden kann. Dieser Ansatz reicht für den Datenaustausch zwischen Systemen, die hohe Latenzzeiten tolerieren können, ist aber weniger gut geeignet für die I/O-Kommunikation zwischen Baugruppen oder gar einzelnen ICs, bei der neben hohem Durchsatz vor allem niedrige Latenz und hohe Zuverlässigkeit gefordert wird.
PCI-Express oder PCIe dagegen wurde auf die zuverlässige Übermittlung von Datenpaketen innerhalb einer Baugruppe oder eines Systems optimiert, bei dem generell nur kleine Latenzzeiten im Bereich einiger Mikrosekunden auftreten. PCIe verpackt Daten in TLPs, den „Transaction Layer Packets“ und tauscht zusätzlich kleinere Pakete mit Management-Informationen aus, die DLPs oder „Data-Link-Layer Packets“. PCIe ist aus Sicht eines Betriebsystems rückwärtskompatibel mit PCI/X und unterstellt wie diese parallelen Interconnect-Standards eine Host-CPU als Spitze einer hierarchischen Bustopologie. Rückwärtskompatibel bedeutet ganz praktisch, dass bestehende Software ohne Änderung weiterverwendet werden kann, wenn die PC-Hardware hochgerüstet wird. Damit konnte PCI-Express sehr schnell und weitestgehend schmerzlos eingeführt werden, die Kompatibilität allerdings führt zu einigen Nachteilen, vor allem wenn es um Mehrprozessor- oder Multi-Host-Systeme geht.
Die RapidIO-Technologie schließlich wurde auf den Einsatz in eingebetteten Systemen optimiert, besonders solchen, die ein Zusammenspiel vielfacher Prozessorelemente benötigen. Wie PCIe ist auch RapidIO ein paketorientiertes Verfahren und versendet ebenfalls Link-spezifi che Informationen, die hier „Control Symbols“ genannt werden. RapidIO verfügt über Eigenschaften von Ethernet als auch PCIe, so z.B. Mechanismen zur gesicherten als auch ungesicherten Übermittlung von Datenpaketen
Der Physical Layer
PCIe und RapidIO verfügen – anders als Ethernet – über eine Flusskontrolle auf der physikalischen Ebene, um eine sichere Zustellung von Datenpaketen zwischen Link- Partnern zu gewährleisten. Dazu tauschen sie DLPs bzw. Control-Symbols aus und behalten solange eine Kopie versendeter Datenpakete, bis sie eine Empfangsbestätigung von der anderen Seite erhalten. Für den Fall eines Übermittlungsfehlers sorgt ein Link-Maintenance- Protokoll dafür, dass die korrupten Inhalte erneut gesendet werden.
Anders als die DLPs bei PCIe können die Control- Symbols bei PCIe in die Datenströme eingebettet werden. Damit weisen diese Steuersymbole, z.B. solche zur Anzeige von Buffer- Füllgraden, eine nur geringe Verzögerung auf, sind also stets aktuell und ermöglichen damit eine raschere Zustellung von Paketen.
Die Abbildung unten links, zeigt die Unterschiede, zunächst der Ausgangszustand (links): Device „A“ kann keine weiteren Daten senden, da der Empfangsbuffer in Device „B“ belegt ist. Device „B“ wiederum sendet kontinuierlich Pakete an Device „A“. Bild Mitte zeigt die Situation, wenn sich der Buffer leert und Device “A” nun informiert werden muss, dass es die Sendung beginnen kann. Die Darstellung rechts zeigt nun das Verfahren bei RapidIO (oben) und PCIe (unten). Bei RIO kann sofort ein entsprechendes Control- Symbol an Device „A“ abgesetzt werden, während im Falle von PCIe erst der Abschluss der aktuellen Transaktion abgewartet werden muss, bevor ein vergleichbares DLP Device „A“ benachrichtigen kann.
- PCIe tauscht zwischen Link-Partnern getrennte DLPs zur Flusssteuerung aus, während RapidIO vergleichbare Control-Symbols in die Pakete eingebettet
- Unterschiedliches Messaging bei RapidIO und PCIe - da sich bei RIO die Messages in Datenpakete einbetten lassen, können auch mehrere Endpoints gleichzeitig benachrichtigt werden
- Unterschiedliches Messaging bei RapidIO und PCIe - da sich bei RIO die Messages in Datenpakete einbetten lassen, können auch mehrere Endpoints gleichzeitig benachrichtigt werden
Neben der deutlich effizienteren Flusskontrolle kann also RapidIO Steuersymbole innerhalb normaler Transportpakete einbetten und verfügt damit über eine Möglichkeit zur Distribution von System- Events, was weder PCIe noch Ethernet bieten können.
Wie in der Abbildung rechts dargestellt, können mit RapidIO Steuersymbole mit geringer Verzögerung in einem System zugestellt werden, was nahezu echtzeitfähige Interaktionen zwischen mehreren Endpunkten erlaubt. Weniger als 50 ns Latenzzeit je Switch und Jitterwerte kleiner als 10 UI treten bei der Zustellung der Nachrichten auf.
Abgesehen von Flusskontrolle und Link-Maintenance ist der offensichtlichste Unterschied zwischen den 3 Standards Ethernet, PCIe und RapidIO die möglichen Geschwindigkeitsoptionen auf der physikalischen Ebene. Ethernet hat dabei eine lange Geschichte der „Verzehnfachung“, angefangen mit 10 MBit/s zu 100, 1000 MBit/s und inzwischen sogar bis 10 GBit/s. Bereits die nächste Generation sieht eine Übertragungsrate von 40, möglicherweise sogar 100 GBit/s vor.
Als On-Board und Inter-Board Bussysteme verfolgen die beiden Standards PCIe und RapidIO dagegen eine andere Strategie, da in deren bevorzugten Anwendungsfeldern flexible Möglichkeiten bestehen müssen, um die jeweils geforderten Übertragungsraten zu erfüllen. So gibt es hier im Vergleich zu Ethernet recht umfangreiche Kombinationen aus Lane-Breite (= Anzahl serieller, bidirektionaler Übertragungsstrecken per Link) und Datenrate. PCIe kann mit 2.5 oder 5 GT/s arbeiten, bei RapidIO sind es 1.25, 2.5, 3.125 und 6.125 GT/s. Beide Standards erlauben Lane-Kombinationen von x1, x2, x4, x8 und x16, wobei PCIe sogar noch eine x32- Variante spezifi ziert. Insgesamt ist RapidIO an dieser Stelle aber ein wenig flexibler, da es aus feineren Abstufungen der Transaktionsgeschwindigkeiten wählen kann.
- Read/Write- und Messaging-Schematics
Der Transport-Layer
RapidIO und Ethernet sind beide Topologie-agnostisch, d.h. in beiden Standards können Teilnehmer mit beliebiger Topologie verbunden sein, egal ob Ring-, Baum- oder Netz-Anordnung. Die zu transportierenden Pakete werden auf Basis der Netzwerk-Zieladresse zugestellt, was im Falle von Ethernet die MAC-Adresse ist, bei RapidIO nennt sich das „Destination Identifi er“ (destIDs). Dies kann natürlich dazu führen, das in komplexeren Anordnungen redundante Pfade existieren (Daten können also auf verschiedenen Wegen zum Ziel gelangen), was wiederum Funktionen notwendig macht, um bevorzugte Routes festzulegen (z.B. Spanning-Tree-Protokoll). Ganz anders PCI-Express, hier wird im Ansatz ausschließlich die hierarchische Baumstruktur unterstützt mit dem sog. „Root Complex“ als Chef des Ganzen an der Spitze. Je nach Art der TLPs stehen verschiedene Routing-Methoden zur Verfügung, z.B. auf Basis der Speicheradresse oder auf Basis von IDs (Bus#, Device#, Funktions#). Mittlerweile wurde der PCIe-Standard allerdings um Multi-Root I/O-Virtualization (MRIOV) erweitert und ermöglicht damit auch zusätzliche physikalische Topologien. Ebenfalls implementiert ist das Non-Transparent-Bridging (NTB), bei dem 2 oder mehr Adress-Domänen einen limitierten Zugriff auf den jeweils anderen Hauptspeicher erhalten. Beide Erweiterungen aber, MRIOV sowie NTB, sind nicht mehr kompatibel mit alten PCI/X Systemen und bedürfen zu ihrer Implementierung neben erweiterter Hardware auch zusätzlichen Software-Support.
Auf einen Blick
Ethernet, PCIe, und RapidIO basieren alle auf vergleichbaren SerDes-Technologien. Die 3 Übertragungsstandards unterscheiden sich daher nicht wesentlich auf der physikalischen Ebene, sehr wohl aber in den höher liegenden Protokollschichten. Jeder der Standards ist für einen bestimmten Anwendungsbereich optimiert: Ethernet wurde für Netze entwickelt, bei denen die Teilnehmer an verschiedenen Lokationen sein können, hohe Latenzzeiten akzeptabel sind und dynamische Rekonfiguration zwingend ist. PCI-Express wurde für hierarchische Bus-Architekturen innerhalb einer elektronischen Baugruppe entwickelt. Beide, Ethernet als auch PCIe wurden aber auch schon eingesetzt für On-Board-, Inter- Board- und Inter-Chassis-Kommunikation und mitunter werden sie sogar gemeinsam in einem System verwendet. RapidIO bzw. sRIO schließlich verbindet in gewisser Weise Eigenschaften beider Interconnect-Technologien und eignet sich ganz hervorragend für den Einsatz in eingebetteten Systemen:
- Verteilung von System-Events mit niedriger Latenz und geringem Jitter.
- Kombiniert Flußkontroll-Verfahren auf Link- und Network-Ebene.
- Konfigurierbare Fehler-Erkennung und ein Topologie-agnostisches Paket-Routing ermöglichen hohe Zuverlässigkeit und einfachen Aufbau von hoch verfügbaren Systemen.
- Implementierung von Read/Write- und Messaging-Semantics auf Hardware- Ebene.
sRIO Switches von IDT
IDT ist führender Anbieter von Switching- und Bridging-Lösungen sowohl im Bereich von PCI-Express als auch sRIO. Für Serial-RapidIO bietet IDT ein umfangreiches Portfolio an Switches mit den unterschiedlichsten Spezifi kationen bis zu einer Durchsatzleistung von 100 Gbps.
sRIO als leistungsfähiger Interconnect- Standard wird vor allem in Systemen der drahtlosen Infrastruktur (3G- und 4G-Base-Stations etc.), Telekommunikationsanwendungen aber auch Video- und Imaging-Applikationen verwendet. Es ist bevorzugtes Busprotokoll in AdvancedT CA® Blades und Backplanes und kommt auch auf vielen MicroTCA™AMCs (Advanced Mezzanine Cards) zum Einsatz. Dank seiner Eigenschaften kann sRIO mehrere CPU-Domänen miteinander problemlos verbinden, egal ob auf dem gleichen Board oder auf einer getrennten Baugruppe in einem anderen Chassis. Hier einige Highlights der IDT sRIO-Switches:
- 1-10 Gbps tatsächliche Datenrate und hohe Link-Flexibilität durch vielfältige Festlegung von Portbreiten und –geschwindigkeiten.
- Lowest-Power RapidIO-Switch mit 120-220 mW je Port für Shortund Long-Reach.
- Lowest-Latency 110 ns Switch, gemessen zwischen Ports im Cut-Through- Mode.
- Sehr leistungsfähiges Hardware-Multicasting für verbesserte Performance in verteilten Prozessorsystemen.
- Programmierbare Buffer und vielseitige Scheduling-Algorithmen für optimalen Verkehrsfluß auf Systemebene.
- Hohe Signal-Integrität wegen eines störarmen IC-Kerns, einstellbaren Treiberströmen, justierbarer Pre-Emphase und Empfangs-Equalization je Lane.
- Zahlreiche Features zur Vereinfachng des Designs wie Lane-Swap sowie Optimierung der Board-Level-Oszillatoren zur Reduktion benötigter Bauelemente.
- Industrieweit führende Interop-Eigenschaften mit RIOLAB DIL-3 Zertifizierung
| Part Number | Description | S-Rio Specification | Max 4x Ports | Max 1x Ports | Throughput |
|---|---|---|---|---|---|
| 80KSW0002 | 16-Port Serial RapidIO Switch | 1.3 | 4 | 16 | 40Gbps |
| 80KSW0003 | 8-Port Serial RapidIO Switch | 1.3 | 2 | 8 | 20Gbps |
| 80KSW0004 | 12-Port Serial RapidIO Switch | 1.3 | 3 | 16 | 30Gbps |
| 80KSW0005 | 10 4x Port Serial RapidIO Switch | 1.3 | 10 | 16 | 100Gbps |
| 80KSW0006 | 6 4x Port Serial RapidIO Switch | 1.3 | 6 | 16 | 60Gbps |
| Tsi564A | 4 x4 / 8x1 Serial RapidIO Switch | 1.2 | 4 | 8 | 40Gbps |
| Tsi568A | 8 x4 / 16x1 Serial RapidIO Switch | 1.2 | 8 | 16 | 80Gbps |
| Tsi572A | 2 x4 / 8x1 Serial RapidIO Switch | 1.3 | 2 | 8 | 30Gbps |
| Tsi574A | 4 x4 / 8x1 Serial RapidIO Switch | 1.3 | 4 | 8 | 40Gbps |
| Tsi576A | 2 x4 / 8x1 Serial RapidIO Switch | 1.3 | 2 | 12x1 or 8x1 with 2x4 | 40Gbps |
| Tsi577A | 4 x4 / 16x1 Serial RapidIO Switch | 1.3 | 4 | 16 | 40Gbps |
| Tsi578A | 8 x4 / 16x1 Serial RapidIO Switch | 1.3 | 8 | 16 | 80Gbps |
| Tsi620A | 3 x4 / 6x1 Serial RapidIO Switch | 1.3 | 3 | 6 | 50Gbps |
