Comércio Front-to-Back Finanças A maioria dos bancos que fornecem serviços comerciais agora reconhecem a necessidade de oferecer aos clientes um best-of-breed trade finance front-end sistema para complementar a sua infra-estrutura de back-office existente. O sistema de front-end deve ser fácil de usar e funcionalmente rico, de modo que os bancos podem aumentar a satisfação do cliente e retenção. Devido às pressões da concorrência, esse sistema muitas vezes deve ser implementado dentro de semanas, a fim de demonstrar resultados concretos para os clientes bancários. Para maximizar o uso e eficiência do front-end do cliente, ele deve ser totalmente integrado com os bancos back-office do sistema de financiamento do comércio. No entanto, o estabelecimento de uma solução de finanças comerciais de ponta a ponta que incorpora sistemas front-end e back-office de bancos de clientes é uma tarefa desafiadora. A integração de frente para trás pode ser difícil devido aos sistemas legados de back-office, que muitas vezes são incapazes de receber feeds em tempo real, mapeando a entrada de dados pelos clientes e baixando os dados necessários para o cliente. O sucesso depende do estabelecimento de uma solução inovadora de classe mundial, de frente para trás, apoiada por um serviço de qualidade ao cliente de um fornecedor de renome. Solução de Financiamento de Comércio de ponta a ponta A Surecomp fornece soluções integradas de finanças comerciais de ponta a ponta, compostas por sistemas front-end e back-office de primeira classe. No lado de back-office dos bancos, a Surecomp oferece vários sistemas, cada um segmentado para diferentes níveis de uso, localização geográfica e infra-estrutura de TI. No lado frontal dos clientes, o Surecomp oferece um sistema único e unificado compatível com J2EE, totalmente integrado a todos os sistemas de back-office Surecomps. Devido à sua arquitetura altamente aberta, o sistema front-end também se integra facilmente com sistemas de back-office de terceiros ou in-house. Independentemente da localização dos bancos, do tamanho, da extensão geográfica das operações ou do volume de transações, a Surecomp possui uma solução de financiamento de comércio de frente para trás que atende às necessidades específicas de cada cliente. Implementação O Surecomp aprecia que a implementação completa do sistema de back-office pode levar tempo, retardando assim a implantação de uma solução de frente para trás. O banco, por exemplo, pode exigir a personalização do sistema. Além disso, o sistema deve ser instalado, configurado para os bancos de práticas específicas, interface com vários sistemas internos, testados e movidos para a produção. Como resultado, a implementação de sistemas de back-office Surecomps geralmente leva alguns meses. No entanto, nem todos os bancos estão preparados para esperar pela conclusão da implementação de back-office antes de lançar seus serviços front-end de clientes. É por isso que Surecomp também fornece uma versão independente do seu sistema front-end, que pode ser lançado como uma solução provisória em apenas algumas semanas. Imediatamente após a conclusão da produção de back-office, a solução totalmente integrada pode ser disponibilizada ao banco. Esta abordagem de ponta a ponta significa que os bancos que licenciam qualquer um dos sistemas de back-office da Surecomps juntamente com o seu sistema front-end enfrentam desafios de integração pouco ou nenhum. Soluções de ponta a ponta Benefícios Os bancos em todo o mundo que já implementaram uma solução de financiamento comercial da Surecomp de frente para trás estão agora colhendo os benefícios. Eles, juntamente com seus clientes, estão abraçando a solução end-to-end integrada com grande entusiasmo. Perspectiva Bancária Implementação e integração ponta-a-ponta rápida Entrada de dados vastamente reduzida devido ao mapeamento automático de dados Transação mais rápida de transação Transações complexas ndash concluídas em minutos Aumento comprovado no volume de negócios devido à satisfação do cliente Extremamente curto ROI ndash até 6 meses Perspectiva do cliente 24 x 7 uso do sistema ndash sem tempo de inatividade Implementação extremamente rápida do sistema de front-end Acesso à Internet a partir de qualquer local ndash nenhuma instalação de software Início do cliente de qualquer tipo de transação de trade finance Fácil organização e gerenciamento da carteira via ferramenta de ajuda multilíngüe Why Surecomp Proven: Surecomprsquos Os sistemas de financiamento comercial já estão implementados em centenas de bancos e corporações em todo o mundo, incluindo grandes bancos nacionais, regionais e globais. Experiente: A Surecomp tem atuado no setor bancário de finanças comerciais desde 1987 e adquiriu um vasto conhecimento das práticas locais e regionais. State-of-the-Art: Surecomprsquos ponta soluções de financiamento de comércio são desenvolvidos internamente por equipes de TI dedicado e especialistas em banca. Best-of-Breed: Surecomprsquos back-office e sistemas front-end são amplamente reconhecidos como as principais ofertas em suas respectivas áreas. Principais licenças do Banco Paraguai Surecomps Java End-to-End Trade Finance SolutionCapital Markets Derivados são complexos 8230 A paisagem regulatória e tecnológica em rápida mutação está a transformar os mercados financeiros. A adaptação a estas novas condições de mercado é vital. Dodd-Frank e EMIR são as novas realidades com negociação eletrônica, compensação obrigatória e relatórios comerciais que afetam significativamente operações de derivativos e fluxo de trabalho. As firmas de venda devem refletir com precisão todos os riscos de mercado, crédito e liquidez nos cálculos de preços e de gerenciamento de riscos. O aumento dos requisitos de capital ditados pelo Basiléia III proporcionam pressões adicionais sobre a lucratividade. Calypso torna fácil. Calypsos cross-asset frente-para-trás plataforma para negociação, processamento, gestão de riscos e contabilidade adaptado para lidar com todos os novos aspectos dos mercados de derivados compensados e OTC. Nossas soluções permitem que os clientes atendam às demandas em constante mudança de nossa indústria sem impor desenvolvimentos tecnológicos onerosos. Conjunto integrado de soluções de gerenciamento de riscos e de ativos cruzados Arquitetura de piso comercial Arquitetura do piso de negociação Visão geral executiva A crescente concorrência, o maior volume de dados do mercado e as novas demandas regulatórias são algumas das forças motrizes das mudanças no setor. As empresas estão tentando manter sua vantagem competitiva, mudando constantemente suas estratégias de negociação e aumentando a velocidade de negociação. Uma arquitetura viável deve incluir as mais recentes tecnologias de domínios de rede e aplicativos. Ele tem de ser modular para fornecer um caminho gerenciável para evoluir cada componente com o mínimo de interrupção para o sistema global. Portanto, a arquitetura proposta neste artigo é baseada em uma estrutura de serviços. Examinamos serviços como mensagens de latência ultra baixa, monitoramento de latência, multicast, computação, armazenamento, virtualização de dados e aplicativos, resiliência comercial, mobilidade comercial e thin client. A solução para os requisitos complexos da plataforma de negociação da próxima geração deve ser construída com uma mentalidade holística, cruzando os limites dos silos tradicionais, como negócios e tecnologia ou aplicações e redes. Este documento tem como principal objetivo fornecer diretrizes para a construção de uma plataforma de negociação de latência ultra-baixa, ao mesmo tempo em que otimiza o débito bruto ea taxa de mensagens para os dados de mercado e as ordens de negociação FIX. Para isso, propomos as seguintes tecnologias de redução de latência: Conectividade de alta velocidadeInfiniBand ou conectividade de 10 Gbps para o cluster de negociação Bus de mensagens de alta velocidade Aceleração de aplicativos via RDMA sem re-código de aplicação Monitoramento de latência em tempo real e re-direção de Negociação de tráfego para o caminho com latência mínima Indústria Tendências e Desafios arquiteturas de negociação de última geração têm de responder às crescentes exigências de velocidade, volume e eficiência. Por exemplo, espera-se que o volume de dados de mercado de opções duplique após a introdução de opções de negociação de moeda de um centavo em 2007. Existem também demandas regulatórias para melhor execução, que exigem o manuseio de atualizações de preço a taxas que se aproximam de 1M msgsec. Para trocas. Eles também exigem visibilidade na frescura dos dados e prova de que o cliente tem a melhor execução possível. No curto prazo, a velocidade de negociação e inovação são diferenciais chave. Um número crescente de negócios são tratados por aplicações de negociação algorítmicas colocadas o mais próximo possível do local de execução de negócios. Um desafio com esses motores de negociação de quotblack-boxquot é que eles combinam o aumento de volume através da emissão de ordens apenas para cancelá-los e voltar a submetê-los. A causa desse comportamento é a falta de visibilidade em qual local oferece melhor execução. O comerciante humano é agora um engenheiro quotfinancial, quotquantquot (analista quantitativo) com habilidades de programação, que pode ajustar os modelos de negociação na mosca. As empresas desenvolvem novos instrumentos financeiros como os derivados do tempo ou transacções de classes de activos cruzados e precisam de implementar as novas aplicações de forma rápida e escalável. A longo prazo, a diferenciação competitiva deve vir da análise, e não apenas do conhecimento. Os comerciantes estrela de amanhã assumir o risco, alcançar verdadeira visão do cliente e consistentemente bater o mercado (fonte IBM: www-935.ibmservicesusimcpdfge510-6270-trader. pdf). A resiliência dos negócios tem sido uma das principais preocupações das empresas comerciais desde 11 de setembro de 2001. Soluções nesta área variam de data centers redundantes situados em diferentes geografias e conectados a múltiplos locais de negociação para soluções de comerciante virtual oferecendo aos comerciantes de energia a maior parte da funcionalidade de um pregão Em um local remoto. O setor de serviços financeiros é um dos mais exigentes em termos de requisitos de TI. A indústria está experimentando uma mudança arquitetônica em direção à Arquitetura Orientada a Serviços (SOA), serviços da Web e virtualização de recursos de TI. O SOA aproveita o aumento da velocidade da rede para permitir a vinculação dinâmica ea virtualização de componentes de software. Isso permite a criação de novas aplicações sem perder o investimento em sistemas e infraestrutura existentes. O conceito tem o potencial de revolucionar a forma como a integração é feita, permitindo reduções significativas na complexidade e custo de tal integração (gigaspacesdownloadMerrilLynchGigaSpacesWP. pdf). Outra tendência é a consolidação de servidores em farms de servidores de data centers, enquanto as mesas de comerciantes têm apenas extensões KVM e clientes ultrafinos (por exemplo, soluções blade SunRay e HP). As redes de área metropolitana de alta velocidade permitem que os dados de mercado sejam multicast entre diferentes locais, permitindo a virtualização do pregão. Arquitetura de Alto Nível A Figura 1 descreve a arquitetura de alto nível de um ambiente de negociação. A planta de ticker e os motores de negociação algorítmicos estão localizados no cluster de negociação de alto desempenho no data center da empresa ou na central. Os comerciantes humanos estão localizados na área de aplicações do usuário final. Funcionalmente, há dois componentes de aplicativo no ambiente de negócios corporativo, editores e assinantes. O barramento de mensagens fornece o caminho de comunicação entre editores e assinantes. Existem dois tipos de tráfego específicos para um ambiente de negociação: Market DataCarries informações de preços de instrumentos financeiros, notícias e outras informações de valor agregado, como analítica. Ele é unidirecional e muito sensível à latência, geralmente fornecido através de multicast UDP. É medido em updatessec. E em Mbps. Os dados de mercado fluem de um ou vários feeds externos, provenientes de fornecedores de dados de mercado, como bolsas de valores, agregadores de dados e ECNs. Cada provedor tem seu próprio formato de dados de mercado. Os dados são recebidos por manipuladores de alimentação, aplicações especializadas que normalizam e limpam os dados e, em seguida, enviá-lo para os consumidores de dados, como motores de precificação, aplicações de negociação algorítmica ou comerciantes humanos. As firmas de venda também enviam os dados de mercado para seus clientes, firmas de buy-side, como fundos mútuos, hedge funds e outros gestores de ativos. Algumas empresas de buy-side podem optar por receber feeds diretos de trocas, reduzindo latência. Figura 1 Arquitetura de Negociação para uma Firma Side Side da Buy Não há nenhum padrão da indústria para formatos de dados de mercado. Cada troca tem seu formato proprietário. Fornecedores de conteúdo financeiro como Reuters e Bloomberg agregam diferentes fontes de dados de mercado, normalizam-no e adicionam notícias ou análises. Exemplos de feeds consolidados são RDF (Feed de dados da Reuters), RWF (Reuters Wire Format) e Bloomberg Professional Services Data. Para fornecer dados de mercado de latência mais baixos, ambos os fornecedores liberaram feeds de dados de mercado em tempo real que são menos processados e têm menos análises: Bloomberg B-Pipe Com B-Pipe, Bloomberg desacopla seu feed de dados de mercado de sua plataforma de distribuição porque um terminal Bloomberg Não é necessário para obter B-Pipe. Wombat e Reuters Feed Handlers anunciaram suporte para B-Pipe. Uma empresa pode decidir receber feeds diretamente de uma troca para reduzir a latência. Os ganhos na velocidade de transmissão podem estar entre 150 milissegundos a 500 milissegundos. Estes feeds são mais complexos e mais caros ea empresa tem que construir e manter sua própria planta de ticker (financetechfeaturedshowArticle. jhtmlarticleID60404306). Ordens de Negociação Este tipo de tráfego transporta os negócios reais. É bidirecional e muito sensível à latência. É medido em messagessec. E Mbps. As ordens provêm de um lado de compra ou vendem lado firme e são enviados para locais de negociação como um Exchange ou ECN para execução. O formato mais comum para o transporte de pedidos é FIX (Financial Information eXchangefixprotocol. org). Os aplicativos que manipulam mensagens FIX são chamados de mecanismos FIX e eles interagem com sistemas de gerenciamento de pedidos (OMS). Uma otimização para FIX é chamada FAST (Fix Adapted for Streaming), que usa um esquema de compressão para reduzir o comprimento da mensagem e, na verdade, reduzir a latência. FAST é direcionado mais para a entrega de dados de mercado e tem o potencial para se tornar um padrão. O FAST também pode ser usado como um esquema de compressão para formatos de dados de mercado proprietários. Para reduzir a latência, as empresas podem optar por estabelecer acesso direto ao mercado (DMA). DMA é o processo automatizado de roteamento de uma ordem de títulos diretamente para um local de execução, evitando assim a intervenção de um terceiro (towergroupresearchcontentglossary. jsppage1ampglossaryId383). O DMA requer uma conexão direta com o local de execução. O barramento de mensagens é software de middleware de fornecedores como Tibco, 29West, Reuters RMDS ou uma plataforma de código aberto, como o AMQP. O barramento de mensagens usa um mecanismo confiável para entregar mensagens. O transporte pode ser feito através de TCPIP (TibcoEMS, 29West, RMDS e AMQP) ou UDPmulticast (TibcoRV, 29West e RMDS). Um conceito importante na distribuição de mensagens é o fluxo quotrópico, que é um subconjunto de dados de mercado definido por critérios como símbolo de ticker, indústria ou uma determinada cesta de instrumentos financeiros. Os assinantes aderem a grupos de tópicos mapeados para um ou vários subtópicos, a fim de receber apenas as informações relevantes. No passado, todos os comerciantes receberam todos os dados do mercado. Nos volumes de tráfego atuais, isso seria sub-ótimo. A rede desempenha um papel crítico no ambiente de negociação. Dados de mercado são levados para o pregão onde os comerciantes humanos estão localizados através de uma rede de alta velocidade do Campus ou da Área Metropolitana. Alta disponibilidade e baixa latência, bem como alta taxa de transferência, são as métricas mais importantes. O ambiente de negociação de alto desempenho tem a maioria de seus componentes no farm de servidores do Data Center. Para minimizar a latência, os mecanismos de negociação algorítmica precisam estar localizados na proximidade dos manipuladores de alimentação, motores FIX e sistemas de gerenciamento de pedidos. Um modelo de implantação alternativo tem os sistemas de negociação algorítmicos localizados em uma central ou um provedor de serviços com conectividade rápida a várias centrais. Modelos de implantação Existem dois modelos de implantação para uma plataforma de negociação de alto desempenho. As empresas podem optar por ter uma mistura dos dois: Data Center da empresa comercial (Figura 2) Este é o modelo tradicional, onde uma plataforma de negociação de pleno direito é desenvolvido e mantido pela empresa com links de comunicação para todos os locais de negociação. A latência varia com a velocidade das ligações eo número de saltos entre a empresa e os locais. Figura 2 Modelo de implantação tradicional Co-localização no local de negociação (trocas, provedores de serviços financeiros (FSP)) (Figura 3) A empresa de negociação implanta sua plataforma de negociação automatizada o mais próximo possível dos locais de execução para minimizar latência. Figura 3 Arquitetura de Negociação Orientada a Serviços de Modelo de Distribuição Hospedada Estamos propondo uma estrutura orientada a serviços para a construção da arquitetura de negociação de próxima geração. Essa abordagem fornece uma estrutura conceitual e um caminho de implementação baseado na modularização e minimização de interdependências. Este quadro fornece às empresas uma metodologia para: Avaliar o seu estado actual em termos de serviços Priorizar os serviços com base no seu valor para o negócio Evoluir a plataforma de negociação para o estado desejado usando uma abordagem modular A arquitetura de alto desempenho comercial depende dos seguintes serviços, Definido pela estrutura de arquitetura de serviços representada na Figura 4. Figura 4 Arquitetura de Arquitetura de Serviço para o Serviço de Mensagens de Latência Ultra-Baixa de Alto Desempenho Este serviço é fornecido pelo barramento de mensagens, que é um sistema de software que resolve o problema da conexão de muitos - Muitas aplicações. O sistema consiste em: Um conjunto de esquemas de mensagem pré-definidos Um conjunto de mensagens de comando comuns Uma infra-estrutura de aplicativo compartilhada para o envio de mensagens para os destinatários. A infra-estrutura compartilhada pode ser baseada em um broker de mensagens ou em um modelo publishsubscribe. (Por exemplo, menos de 100 microsegundos) Estabilidade sob carga pesada (por exemplo, mais de 1,4 milhões de msgs.) Controle e flexibilidade (controle de taxa e transportes configuráveis) Lá São esforços na indústria para padronizar o barramento de mensagens. O Advanced Message Queuing Protocol (AMQP) é um exemplo de um padrão aberto defendido por J. P. Morgan Chase e apoiado por um grupo de fornecedores como Cisco, Envoy Technologies, Red Hat, TWIST Process Innovations, Iona, 29West e iMatix. Dois dos principais objetivos são fornecer um caminho mais simples para interoperabilidade para aplicações escritas em diferentes plataformas e modularidade para que o middleware possa ser facilmente evoluído. Em termos muito gerais, um servidor AMQP é análogo a um servidor de correio electrónico com cada intercâmbio actuando como um agente de transferência de mensagens e cada fila de mensagens como uma caixa de correio. As ligações definem as tabelas de roteamento em cada agente de transferência. Os editores enviam mensagens para agentes de transferência individuais, que encaminham as mensagens para caixas de correio. Os consumidores tomam mensagens de caixas de correio, o que cria um modelo poderoso e flexível que é simples (fonte: amqp. orgtikiwikitiki-index. phppageOpenApproachWhyAMQP). Latência Monitoramento Os principais requisitos para este serviço são: Sub-millisecond granularidade de medições Visibilidade em tempo quase-real, sem adicionar latência para o tráfego de negociação Capacidade de diferenciar latência de processamento de aplicativos de latência de trânsito de rede Capacidade de lidar com altas taxas de mensagem Fornecer uma interface programática para Permitindo que os motores de negociação algorítmicos se adaptem às condições de mudança. Correlacione eventos de rede com eventos de aplicação para fins de resolução de problemas. A latência pode ser definida como o intervalo de tempo entre quando uma ordem comercial é enviada e quando a mesma ordem é reconhecida e atuada Pela parte receptora. Abordar o problema de latência é um problema complexo, que requer uma abordagem holística que identifica todas as fontes de latência e aplica diferentes tecnologias em diferentes camadas do sistema. A Figura 5 ilustra a variedade de componentes que podem introduzir latência em cada camada da pilha OSI. Ele também mapeia cada fonte de latência com uma solução possível e uma solução de monitoramento. Esta abordagem em camadas pode dar às empresas uma forma mais estruturada de atacar o problema de latência, pelo qual cada componente pode ser pensado como um serviço e tratado de forma consistente em toda a empresa. Manter uma medida precisa do estado dinâmico desse intervalo de tempo em rotas alternativas e destinos pode ser de grande ajuda nas decisões de negociação táticas. A capacidade de identificar a localização exata dos atrasos, seja na rede de borda de clientes, no hub de processamento central ou no nível de aplicação de transação, determina significativamente a capacidade dos provedores de serviços de atender a seus acordos de nível de serviço de negociação (SLAs). Para os formulários de buy-side e sell-side, bem como para os distribuidores de dados de mercado, a rápida identificação e remoção de estrangulamentos se traduz diretamente em oportunidades de comércio aprimorado e receita. Figura 5 Arquitetura de Gerenciamento de Latência Ferramentas de Monitoramento de Baixa Latência da Cisco As ferramentas de monitoramento de rede tradicionais operam com granularidade de minutos ou segundos. As plataformas de negociação da próxima geração, especialmente aquelas que suportam negociação algorítmica, exigem latências inferiores a 5 ms e níveis extremamente baixos de perda de pacotes. Em uma LAN Gigabit, um microburst de 100 ms pode causar 10.000 transações a serem perdidas ou excessivamente atrasadas. A Cisco oferece aos seus clientes uma variedade de ferramentas para medir a latência em um ambiente de negociação: Gerenciador de qualidade de largura de banda (BQM) (OEM de Corvil) Gerenciador de qualidade de largura de banda (BQM) 4.0 da Cisco AON Um produto de gerenciamento de desempenho de aplicativos de rede de próxima geração que permite aos clientes monitorar e provisionar sua rede para níveis controlados de latência e desempenho de perda. Enquanto a BQM não é exclusivamente direcionada para redes comerciais, sua visibilidade de microssegundos combinada com recursos inteligentes de fornecimento de largura de banda o tornam ideal para esses ambientes exigentes. O Cisco BQM 4.0 implementa um amplo conjunto de tecnologias de medição de tráfego e de análise de tráfego patenteadas e patenteadas que proporcionam ao usuário visibilidade e compreensão sem precedentes de como otimizar a rede para o máximo desempenho da aplicação. O Cisco BQM é agora suportado na família de produtos do Cisco Application Deployment Engine (ADE). A família de produtos ADE da Cisco é a plataforma preferida para aplicações de gerenciamento de rede da Cisco. Benefícios do BQM A micro-visibilidade do Cisco BQM é a capacidade de detectar, medir e analisar latência, jitter e perda induzindo eventos de tráfego até níveis de microsegundo de granularidade com resolução por pacote. Isso permite que o Cisco BQM detecte e determine o impacto de eventos de tráfego na latência, jitter e perda da rede. Crítico para ambientes comerciais é que o BQM pode suportar medições de latência, perda e jitter de sentido único para tráfego TCP e UDP (multicast). Isso significa que relatórios de forma transparente para o tráfego de negociação e feeds de dados do mercado. BQM permite ao usuário especificar um conjunto abrangente de limiares (contra atividade de microburst, latência, perda, jitter, utilização, etc.) em todas as interfaces. BQM, em seguida, opera uma captura de pacotes de rolamento de fundo. Sempre que ocorre uma violação de limite ou outro evento de degradação de desempenho potencial, ele aciona o Cisco BQM para armazenar a captura de pacotes no disco para análise posterior. Isso permite que o usuário examine detalhadamente tanto o tráfego de aplicativos que foi afetado pela degradação de desempenho (quotthe vítimas) quanto o tráfego que causou a degradação de desempenho (quotthe culpritsquot). Isso pode reduzir significativamente o tempo gasto diagnosticando e resolvendo problemas de desempenho da rede. O BQM também é capaz de fornecer recomendações detalhadas de fornecimento de políticas de largura de banda e qualidade de serviço (QoS), que o usuário pode aplicar diretamente para alcançar o desempenho desejado da rede. Medições de BQM ilustradas Para entender a diferença entre algumas das técnicas de medição mais convencionais ea visibilidade fornecida pelo BQM, podemos olhar para alguns gráficos de comparação. No primeiro conjunto de gráficos (Figura 6 e Figura 7), vemos a diferença entre a latência medida pelo BQMs Passive Network Quality Monitor (PNQM) e a latência medida injetando pacotes ping a cada 1 segundo no fluxo de tráfego. Na Figura 6. vemos a latência relatada por pacotes de ping de 1-segundo ICMP para tráfego de rede real (é dividido por 2 para dar uma estimativa para o atraso unidirecional). Ele mostra o atraso confortavelmente abaixo de cerca de 5ms para quase todo o tempo. Figura 6 Latência relatada por pacotes de ping ICMP de 1 segundo para tráfego de rede real Na Figura 7, vemos a latência relatada pelo PNQM para o mesmo tráfego ao mesmo tempo. Aqui vemos que, ao medir a latência unidirecional dos pacotes de aplicativos reais, obtemos uma imagem radicalmente diferente. Aqui a latência é vista como pairando em torno de 20 ms, com explosões ocasionais muito mais altas. A explicação é que, como o ping está enviando pacotes apenas a cada segundo, falta completamente a maior parte da latência do aplicativo. De fato, os resultados de ping tipicamente indicam somente atraso de propagação de viagem de ida e volta em vez de latência de aplicativo realista na rede. No segundo exemplo (Figura 8), vemos a diferença nos níveis de carga ou saturação de link relatados entre uma visualização média de 5 minutos e uma visão de microburst de 5 ms (o BQM pode relatar microbursts down A cerca de 10-100 nanossegundos de precisão). A linha verde mostra a utilização média em médias de 5 minutos para ser baixa, talvez até 5 Mbitss. O gráfico azul escuro mostra a atividade microburst 5ms atingindo entre 75 Mbitss e 100 Mbitss, a velocidade da LAN de forma eficaz. O BQM mostra esse nível de granularidade para todas as aplicações e também fornece regras de provisionamento claras para permitir ao usuário controlar ou neutralizar esses microbursts. Figura 8 Diferença na carga de ligação reportada entre uma vista média de 5 minutos e uma vista de microburst de 5 ms Implementação de BQM na rede de negociação A Figura 9 mostra uma implementação BQM típica numa rede de negociação. Figura 9 Implementação típica de BQM em uma rede de negociação O BQM pode ser usado para responder a esses tipos de perguntas: Algum de meus links principais de LAN Gigabit está saturado por mais de X milissegundos Isso está causando perda Quais links serão mais beneficiados com uma atualização para Etherchannel ou 10 Gigabit velocidades Que tráfego de aplicativos está causando a saturação de meus links de 1 Gigabit É qualquer um dos dados de mercado experimentando perda de ponta a ponta Quanto latência adicional faz a experiência de centro de dados de failover É este link dimensionado corretamente para lidar com microbursts São meus comerciantes Recebendo atualizações de baixa latência da camada de distribuição de dados de mercado Eles estão vendo quaisquer atrasos superiores a X milissegundos Ser capaz de responder a essas perguntas de forma simples e eficaz economiza tempo e dinheiro na execução da rede comercial. BQM é uma ferramenta essencial para ganhar visibilidade em dados de mercado e ambientes comerciais. Ele fornece medições de latência end-to-end granular em infra-estruturas complexas que experimentam movimento de dados de alto volume. Detectar microbursts efetivamente em níveis sub-milissegundos e receber a análise especializada em um evento específico é inestimável para os arquitetos do pregão. Recomendações de provisionamento de largura de banda inteligente, como dimensionamento e análise de simulação, proporcionam maior agilidade para responder a condições de mercado voláteis. À medida que a explosão da negociação algorítmica e o aumento das taxas de mensagens continuam, o BQM, combinado com sua ferramenta QoS, fornece a capacidade de implementar políticas QoS que podem proteger aplicativos comerciais críticos. Solução de Monitoramento de Latência da Cisco Financial Services A Cisco e a Trading Metrics colaboraram em soluções de monitoramento de latência para o fluxo de pedidos FIX e monitoramento de dados de mercado. A tecnologia AON da Cisco é a base para uma nova classe de produtos e soluções embutidas em rede que ajudam a mesclar redes inteligentes com infra-estrutura de aplicativos, com base em arquiteturas orientadas a serviços ou tradicionais. A Trading Metrics é um fornecedor líder de software analítico para infra-estrutura de rede e fins de monitoramento de latência de aplicativos (tradingmetrics). A Solução de Monitoramento de Latência de Serviços Financeiros (FSMS) da Cisco AON correlacionou dois tipos de eventos no ponto de observação: Eventos de rede correlacionados diretamente com manipulação de mensagens de aplicativo coincidentes Fluxo de ordens comerciais e eventos de atualização de mercado correspondentes Usando carimbos de tempo afirmados no ponto de captura no A análise em tempo real desses fluxos de dados correlacionados permite a identificação precisa de gargalos em toda a infra-estrutura enquanto um comércio está sendo executado ou os dados de mercado estão sendo distribuídos. Ao monitorar e medir a latência no início do ciclo, as empresas financeiras podem tomar melhores decisões sobre qual serviço de rede e qual intermediário, mercado ou contraparte devem selecionar para encaminhar ordens comerciais. Da mesma forma, esse conhecimento permite um acesso mais simplificado aos dados de mercado atualizados (cotações de ações, notícias econômicas, etc.), que é uma base importante para iniciar, retirar ou buscar oportunidades de mercado. Os componentes da solução são: Hardware AON em três fatores de forma: Módulo de rede AON para roteadores Cisco 2600280037003800 Lâmina AON para Cisco Catalyst 6500 série AON 8340 Appliance Trading Metrics O software MampA 2.0, que fornece o aplicativo de monitoramento e alerta, exibe gráficos de latência em Um painel e emite alertas quando ocorrem desacelerações (tradingmetricsTMbrochure. pdf). Figura 10 Monitoramento de latência FIX baseado em AON Cisco IP SLA O Cisco IP SLA é uma ferramenta de gerenciamento de rede incorporada no Cisco IOS, que permite que roteadores e switches gerem fluxos de tráfego sintéticos que podem ser medidos para latência, jitter, perda de pacotes e outros critérios (ciscogoipsla ). Dois conceitos-chave são a origem do tráfego gerado eo alvo. Ambos executam um quotresponder IP SLA, que tem a responsabilidade de timestamp o tráfego de controle antes de ser obtido e retornado pelo alvo (para uma medição de viagem de ida e volta). Vários tipos de tráfego podem ser obtidos dentro do SLA IP e são direcionados a métricas diferentes e segmentam diferentes serviços e aplicativos. A operação de jitter UDP é usada para medir o atraso de ida e volta e as variações de relatório. Como o tráfego é carimbado no tempo em ambos os dispositivos de envio e destino usando a capacidade de resposta, o atraso de ida e volta é caracterizado como o delta entre os dois carimbos de data / hora. Um novo recurso foi introduzido no IOS 12.3 (14) T, IP SLA Sub Millisecond Reporting, que permite que os carimbos de data / hora sejam exibidos com uma resolução em microssegundos, proporcionando assim um nível de granularidade não disponível anteriormente. Esse novo recurso tornou o SLA IP relevante para as redes de campus, onde a latência da rede é tipicamente na faixa de 300-800 microssegundos ea capacidade de detectar tendências e picos (tendências breves) com base em contadores de granularidade de microssegundos é uma exigência para os clientes envolvidos no tempo Ambientes de negociação eletrônicos sensíveis. Como resultado, o SLA IP agora está sendo considerado por um número significativo de organizações financeiras, pois todos eles enfrentam requisitos para: Reportar latência de linha de base para seus usuários Latência de linha de base de tendência ao longo do tempo Responder rapidamente aos rajadas de tráfego que causam mudanças na latência relatada Sub - Milissegundo é necessário para estes clientes, uma vez que muitos campus e backbones estão actualmente a entregar em um segundo de latência em vários switch lúpulo. Os ambientes de negociação eletrônicos geralmente trabalham para eliminar ou minimizar todas as áreas de latência do dispositivo e da rede para entregar um cumprimento rápido de pedidos ao negócio. Reporting that network response times are quotjust under one millisecondquot is no longer sufficient the granularity of latency measurements reported across a network segment or backbone need to be closer to 300-800 micro-seconds with a degree of resolution of 100 igrave seconds. IP SLA recently added support for IP multicast test streams, which can measure market data latency. A typical network topology is shown in Figure 11 with the IP SLA shadow routers, sources, and responders. Figure 11 IP SLA Deployment Computing Services Computing services cover a wide range of technologies with the goal of eliminating memory and CPU bottlenecks created by the processing of network packets. Trading applications consume high volumes of market data and the servers have to dedicate resources to processing network traffic instead of application processing. Transport processingAt high speeds, network packet processing can consume a significant amount of server CPU cycles and memory. An established rule of thumb states that 1Gbps of network bandwidth requires 1 GHz of processor capacity (source Intel white paper on IO acceleration inteltechnologyioacceleration306517.pdf ). Intermediate buffer copyingIn a conventional network stack implementation, data needs to be copied by the CPU between network buffers and application buffers. This overhead is worsened by the fact that memory speeds have not kept up with increases in CPU speeds. For example, processors like the Intel Xeon are approaching 4 GHz, while RAM chips hover around 400MHz (for DDR 3200 memory) (source Intel inteltechnologyioacceleration306517.pdf ). Context switchingEvery time an individual packet needs to be processed, the CPU performs a context switch from application context to network traffic context. This overhead could be reduced if the switch would occur only when the whole application buffer is complete. Figure 12 Sources of Overhead in Data Center Servers TCP Offload Engine (TOE)Offloads transport processor cycles to the NIC. Moves TCPIP protocol stack buffer copies from system memory to NIC memory. Remote Direct Memory Access (RDMA)Enables a network adapter to transfer data directly from application to application without involving the operating system. Eliminates intermediate and application buffer copies (memory bandwidth consumption). Kernel bypass Direct user-level access to hardware. Dramatically reduces application context switches. Figure 13 RDMA and Kernel Bypass InfiniBand is a point-to-point (switched fabric) bidirectional serial communication link which implements RDMA, among other features. Cisco offers an InfiniBand switch, the Server Fabric Switch (SFS): ciscoapplicationpdfenusguestnetsolns500c643cdccont0900aecd804c35cb. pdf. Figure 14 Typical SFS Deployment Trading applications benefit from the reduction in latency and latency variability, as proved by a test performed with the Cisco SFS and Wombat Feed Handlers by Stac Research: Application Virtualization Service De-coupling the application from the underlying OS and server hardware enables them to run as network services. One application can be run in parallel on multiple servers, or multiple applications can be run on the same server, as the best resource allocation dictates. This decoupling enables better load balancing and disaster recovery for business continuance strategies. The process of re-allocating computing resources to an application is dynamic. Using an application virtualization system like Data Synapses GridServer, applications can migrate, using pre-configured policies, to under-utilized servers in a supply-matches-demand process (wwwworkworldsupp2005ndc1022105virtual. htmlpage2 ). There are many business advantages for financial firms who adopt application virtualization: Faster time to market for new products and services Faster integration of firms following merger and acquisition activity Increased application availability Better workload distribution, which creates more quothead roomquot for processing spikes in trading volume Operational efficiency and control Reduction in IT complexity Currently, application virtualization is not used in the trading front-office. One use-case is risk modeling, like Monte Carlo simulations. As the technology evolves, it is conceivable that some the trading platforms will adopt it. Data Virtualization Service To effectively share resources across distributed enterprise applications, firms must be able to leverage data across multiple sources in real-time while ensuring data integrity. With solutions from data virtualization software vendors such as Gemstone or Tangosol (now Oracle), financial firms can access heterogeneous sources of data as a single system image that enables connectivity between business processes and unrestrained application access to distributed caching. The net result is that all users have instant access to these data resources across a distributed network (gridtoday030210101061.html ). This is called a data grid and is the first step in the process of creating what Gartner calls Extreme Transaction Processing (XTP) (gartnerDisplayDocumentrefgsearchampid500947 ). Technologies such as data and applications virtualization enable financial firms to perform real-time complex analytics, event-driven applications, and dynamic resource allocation. One example of data virtualization in action is a global order book application. An order book is the repository of active orders that is published by the exchange or other market makers. A global order book aggregates orders from around the world from markets that operate independently. The biggest challenge for the application is scalability over WAN connectivity because it has to maintain state. Todays data grids are localized in data centers connected by Metro Area Networks (MAN). This is mainly because the applications themselves have limitsthey have been developed without the WAN in mind. Figure 15 GemStone GemFire Distributed Caching Before data virtualization, applications used database clustering for failover and scalability. This solution is limited by the performance of the underlying database. Failover is slower because the data is committed to disc. With data grids, the data which is part of the active state is cached in memory, which reduces drastically the failover time. Scaling the data grid means just adding more distributed resources, providing a more deterministic performance compared to a database cluster. Multicast Service Market data delivery is a perfect example of an application that needs to deliver the same data stream to hundreds and potentially thousands of end users. Market data services have been implemented with TCP or UDP broadcast as the network layer, but those implementations have limited scalability. Using TCP requires a separate socket and sliding window on the server for each recipient. UDP broadcast requires a separate copy of the stream for each destination subnet. Both of these methods exhaust the resources of the servers and the network. The server side must transmit and service each of the streams individually, which requires larger and larger server farms. On the network side, the required bandwidth for the application increases in a linear fashion. For example, to send a 1 Mbps stream to 1000recipients using TCP requires 1 Gbps of bandwidth. IP multicast is the only way to scale market data delivery. To deliver a 1 Mbps stream to 1000 recipients, IP multicast would require 1 Mbps. The stream can be delivered by as few as two serversone primary and one backup for redundancy. There are two main phases of market data delivery to the end user. In the first phase, the data stream must be brought from the exchange into the brokerages network. Typically the feeds are terminated in a data center on the customer premise. The feeds are then processed by a feed handler, which may normalize the data stream into a common format and then republish into the application messaging servers in the data center. The second phase involves injecting the data stream into the application messaging bus which feeds the core infrastructure of the trading applications. The large brokerage houses have thousands of applications that use the market data streams for various purposes, such as live trades, long term trending, arbitrage, etc. Many of these applications listen to the feeds and then republish their own analytical and derivative information. For example, a brokerage may compare the prices of CSCO to the option prices of CSCO on another exchange and then publish ratings which a different application may monitor to determine how much they are out of synchronization. Figure 16 Market Data Distribution Players The delivery of these data streams is typically over a reliable multicast transport protocol, traditionally Tibco Rendezvous. Tibco RV operates in a publish and subscribe environment. Each financial instrument is given a subject name, such as CSCO. last. Each application server can request the individual instruments of interest by their subject name and receive just a that subset of the information. This is called subject-based forwarding or filtering. Subject-based filtering is patented by Tibco. A distinction should be made between the first and second phases of market data delivery. The delivery of market data from the exchange to the brokerage is mostly a one-to-many application. The only exception to the unidirectional nature of market data may be retransmission requests, which are usually sent using unicast. The trading applications, however, are definitely many-to-many applications and may interact with the exchanges to place orders. Figure 17 Market Data Architecture Design Issues Number of GroupsChannels to Use Many application developers consider using thousand of multicast groups to give them the ability to divide up products or instruments into small buckets. Normally these applications send many small messages as part of their information bus. Usually several messages are sent in each packet that are received by many users. Sending fewer messages in each packet increases the overhead necessary for each message. In the extreme case, sending only one message in each packet quickly reaches the point of diminishing returnsthere is more overhead sent than actual data. Application developers must find a reasonable compromise between the number of groups and breaking up their products into logical buckets. Consider, for example, the Nasdaq Quotation Dissemination Service (NQDS). The instruments are broken up alphabetically: This approach allows for straight forward networkapplication management, but does not necessarily allow for optimized bandwidth utilization for most users. A user of NQDS that is interested in technology stocks, and would like to subscribe to just CSCO and INTL, would have to pull down all the data for the first two groups of NQDS. Understanding the way users pull down the data and then organize it into appropriate logical groups optimizes the bandwidth for each user. In many market data applications, optimizing the data organization would be of limited value. Typically customers bring in all data into a few machines and filter the instruments. Using more groups is just more overhead for the stack and does not help the customers conserve bandwidth. Another approach might be to keep the groups down to a minimum level and use UDP port numbers to further differentiate if necessary. The other extreme would be to use just one multicast group for the entire application and then have the end user filter the data. In some situations this may be sufficient. Intermittent Sources A common issue with market data applications are servers that send data to a multicast group and then go silent for more than 3.5 minutes. These intermittent sources may cause trashing of state on the network and can introduce packet loss during the window of time when soft state and then hardware shorts are being created. PIM-Bidir or PIM-SSM The first and best solution for intermittent sources is to use PIM-Bidir for many-to-many applications and PIM-SSM for one-to-many applications. Both of these optimizations of the PIM protocol do not have any data-driven events in creating forwarding state. That means that as long as the receivers are subscribed to the streams, the network has the forwarding state created in the hardware switching path. Intermittent sources are not an issue with PIM-Bidir and PIM-SSM. Null Packets In PIM-SM environments a common method to make sure forwarding state is created is to send a burst of null packets to the multicast group before the actual data stream. The application must efficiently ignore these null data packets to ensure it does not affect performance. The sources must only send the burst of packets if they have been silent for more than 3 minutes. A good practice is to send the burst if the source is silent for more than a minute. Many financials send out an initial burst of traffic in the morning and then all well-behaved sources do not have problems. Periodic Keepalives or Heartbeats An alternative approach for PIM-SM environments is for sources to send periodic heartbeat messages to the multicast groups. This is a similar approach to the null packets, but the packets can be sent on a regular timer so that the forwarding state never expires. S, G Expiry Timer Finally, Cisco has made a modification to the operation of the S, G expiry timer in IOS. There is now a CLI knob to allow the state for a S, G to stay alive for hours without any traffic being sent. The (S, G) expiry timer is configurable. This approach should be considered a workaround until PIM-Bidir or PIM-SSM is deployed or the application is fixed. RTCP Feedback A common issue with real time voice and video applications that use RTP is the use of RTCP feedback traffic. Unnecessary use of the feedback option can create excessive multicast state in the network. If the RTCP traffic is not required by the application it should be avoided. Fast Producers and Slow Consumers Today many servers providing market data are attached at Gigabit speeds, while the receivers are attached at different speeds, usually 100Mbps. This creates the potential for receivers to drop packets and request re-transmissions, which creates more traffic that the slowest consumers cannot handle, continuing the vicious circle. The solution needs to be some type of access control in the application that limits the amount of data that one host can request. QoS and other network functions can mitigate the problem, but ultimately the subscriptions need to be managed in the application. Tibco Heartbeats TibcoRV has had the ability to use IP multicast for the heartbeat between the TICs for many years. However, there are some brokerage houses that are still using very old versions of TibcoRV that use UDP broadcast support for the resiliency. This limitation is often cited as a reason to maintain a Layer 2 infrastructure between TICs located in different data centers. These older versions of TibcoRV should be phased out in favor of the IP multicast supported versions. Multicast Forwarding Options PIM Sparse Mode The standard IP multicast forwarding protocol used today for market data delivery is PIM Sparse Mode. It is supported on all Cisco routers and switches and is well understood. PIM-SM can be used in all the network components from the exchange, FSP, and brokerage. There are, however, some long-standing issues and unnecessary complexity associated with a PIM-SM deployment that could be avoided by using PIM-Bidir and PIM-SSM. These are covered in the next sections. The main components of the PIM-SM implementation are: PIM Sparse Mode v2 Shared Tree (spt-threshold infinity) A design option in the brokerage or in the exchange.
No comments:
Post a Comment