<?xml version="1.0"?>
<!DOCTYPE webpage PUBLIC "-//Norman Walsh//DTD Website V2.1b1//EN" "../../../../../dtd/website.dtd" [
<!ENTITY entrepot SYSTEM "../configuration/entrepot.xml" NDATA XML>
]>
<webpage id="charge_tests_ajlsm_200301_indexation">
		<head>
		<title>Performances en indexation</title>
		<titleabbrev>Indexation</titleabbrev>
		<author>
			<firstname>Martin</firstname>
			<surname>Sévigny</surname>
			<affiliation>
				<orgname>AJLSM</orgname>
			</affiliation>
		</author>
		<revhistory>
			<revision>
				<revnumber>1.0</revnumber>
				<date>2003/02/01</date>
			</revision>
		</revhistory>
	</head>
	<para>Voici quelques informations sur les temps d'indexation pour les trois bases de documents.</para><section><title>Base 1&#xA0;: petits documents</title><para>Pour cette base, l'indexation s'est faite sur 1&#xA0;030&#xA0;000 documents, par groupes de 10&#xA0;000 avant optimisation des index. Le temps d'indexation de 10&#xA0;000 documents en fonction du nombre de documents déjà indexés est fourni dans le tableau suivant&#xA0;:</para><table><title>Temps d'indexation de la base 1</title><tgroup cols="4"><colspec colnum="1" colname="col1" colwidth="*"/><colspec colnum="2" colname="col2" colwidth="*"/><colspec colnum="3" colname="col3" colwidth="*"/><colspec colnum="4" colname="col4" colwidth="*"/><tbody><row><entry colname="col1">No du groupe</entry><entry colname="col2">Nb de documents déjà indexés</entry><entry colname="col3">Temps pour 10&#xA0;000 documents</entry><entry colname="col4">Nb de documents à la seconde</entry></row><row><entry colname="col1">1</entry><entry colname="col2">0</entry><entry colname="col3">1&#xA0;758&#xA0;s.</entry><entry colname="col4">5,7</entry></row><row><entry colname="col1">21</entry><entry colname="col2">200&#xA0;000</entry><entry colname="col3">1&#xA0;875&#xA0;s.</entry><entry colname="col4">5,3</entry></row><row><entry colname="col1">41</entry><entry colname="col2">400&#xA0;000</entry><entry colname="col3">2&#xA0;115&#xA0;s.</entry><entry colname="col4">4,7</entry></row><row><entry colname="col1">62</entry><entry colname="col2">610&#xA0;000</entry><entry colname="col3">2&#xA0;476&#xA0;s.</entry><entry colname="col4">4,2</entry></row><row><entry colname="col1">82</entry><entry colname="col2">810&#xA0;000</entry><entry colname="col3">2&#xA0;716&#xA0;s.</entry><entry colname="col4">3,7</entry></row><row><entry colname="col1">103</entry><entry colname="col2">1&#xA0;020&#xA0;000</entry><entry colname="col3">2&#xA0;998&#xA0;s.</entry><entry colname="col4">3,3</entry></row></tbody></tgroup></table><para>Ces chiffres nous indiquent que pour indexer les 10&#xA0;000 premiers documents, environ 30 minutes sont nécessaires, mais pour indexer les 10&#xA0;000 derniers on a besoin de 50 minutes environ, pour une augmentation de 70&#xA0;% du temps requis. Le temps total d'indexation a été de 65 heures environ, ce qui est trop important pour une telle collection. Ce chiffre pourrait être diminué en utilisant des groupes plus importants de documents avant optimisation, surtout sur un serveur avec plus de mémoire.</para><para>Le volume de documents  XML indexés est de 145&#xA0;Mo environ, soit une capacité d'indexation de 37&#xA0;Ko à la minute seulement. La taille des index Lucene est de 476&#xA0;Mo environ.</para></section><section><title>Base 2&#xA0;: moyens documents</title><para>Pour les moyens documents, l'indexation s'est faite sur 440&#xA0;000 documents, par groupes de 10&#xA0;000 également. Le tableau suivant fournit des informations similaires à la première base&#xA0;:</para><table><title>Temps d'indexation de la base 2</title><tgroup cols="4"><colspec colnum="1" colname="col1" colwidth="*"/><colspec colnum="2" colname="col2" colwidth="*"/><colspec colnum="3" colname="col3" colwidth="*"/><colspec colnum="4" colname="col4" colwidth="*"/><tbody><row><entry colname="col1">No du groupe</entry><entry colname="col2">Nb de documents déjà indexés</entry><entry colname="col3">Temps pour 10&#xA0;000 documents</entry><entry colname="col4">Nb de documents à la seconde</entry></row><row><entry colname="col1">1</entry><entry colname="col2">0</entry><entry colname="col3">1&#xA0;821&#xA0;s.</entry><entry colname="col4">5,49</entry></row><row><entry colname="col1">11</entry><entry colname="col2">100&#xA0;000</entry><entry colname="col3">2&#xA0;769&#xA0;s.</entry><entry colname="col4">3,61</entry></row><row><entry colname="col1">21</entry><entry colname="col2">200&#xA0;000</entry><entry colname="col3">2&#xA0;396&#xA0;s.</entry><entry colname="col4">4,17</entry></row><row><entry colname="col1">31</entry><entry colname="col2">300&#xA0;000</entry><entry colname="col3">2&#xA0;577&#xA0;s.</entry><entry colname="col4">3,88</entry></row><row><entry colname="col1">41</entry><entry colname="col2">400&#xA0;000</entry><entry colname="col3">2&#xA0;831&#xA0;s.</entry><entry colname="col4">3,53</entry></row><row><entry colname="col1">44</entry><entry colname="col2">430&#xA0;000</entry><entry colname="col3">3&#xA0;167&#xA0;s.</entry><entry colname="col4">3,16</entry></row></tbody></tgroup></table><para>La première remarque importante à signaler est la plus grande irrégularité dans ces résultats. Cela est dû au fait que pendant certaines périodes d'indexation, le serveur a été utilisé à d'autres fins.</para><para>Ces chiffres nous indiquent que pour indexer les 10&#xA0;000 premiers documents, environ 30 minutes sont encore nécessaires, et pour indexer les 10&#xA0;000 derniers on a aussi besoin de 50 minutes environ, pour une augmentation de 70&#xA0;% du temps requis. Ces chiffres sont conformes à la base 1, ce qui semble indiquer que pour cette dernière, les paramètres d'indexation n'étaient vraiment pas optimisés.</para><para>Le temps total d'indexation a été de 35 heures environ, pour une taille d'environ 1,1Go de documents XML indexés. La capacité d'indexation est donc de 530&#xA0;Ko de XML  à la minute.</para></section><section><title>Base 3&#xA0;: grands documents</title><para>Pour les grands documents de type article, nous avons indexé 23&#xA0;144 documents par groupes de 500. Les 644 premiers documents ont été indexés préalablement et nous n'avons pas d'indication sur les temps nécessaires. Dans le tableau suivant, nous considérons que ces premiers 644 documents ne sont pas présents dans la base.</para><table><title>Temps d'indexation de la base 3</title><tgroup cols="4"><colspec colnum="1" colname="col1" colwidth="*"/><colspec colnum="2" colname="col2" colwidth="*"/><colspec colnum="3" colname="col3" colwidth="*"/><colspec colnum="4" colname="col4" colwidth="*"/><tbody><row><entry colname="col1">No du groupe</entry><entry colname="col2">Nb de documents déjà indexés</entry><entry colname="col3">Temps pour 10&#xA0;000 documents</entry><entry colname="col4">Nb de documents à la seconde</entry></row><row><entry colname="col1">2</entry><entry colname="col2">500</entry><entry colname="col3">260&#xA0;s.</entry><entry colname="col4">1,92</entry></row><row><entry colname="col1">11</entry><entry colname="col2">5&#xA0;000</entry><entry colname="col3">391&#xA0;s.</entry><entry colname="col4">1,46</entry></row><row><entry colname="col1">22</entry><entry colname="col2">10&#xA0;500</entry><entry colname="col3">470&#xA0;s.</entry><entry colname="col4">1,06</entry></row><row><entry colname="col1">31</entry><entry colname="col2">15&#xA0;000</entry><entry colname="col3">591&#xA0;s.</entry><entry colname="col4">0,85</entry></row><row><entry colname="col1">41</entry><entry colname="col2">20&#xA0;000</entry><entry colname="col3">618&#xA0;s.</entry><entry colname="col4">0,81</entry></row><row><entry colname="col1">45</entry><entry colname="col2">22&#xA0;000</entry><entry colname="col3">659&#xA0;s.</entry><entry colname="col4">0,76</entry></row></tbody></tgroup></table><para>Dans ces résultats, nous n'avons pas pris les groupes 1 et 21 parce que ces derniers présentaient des résultats très atypiques à cause d'autres utilsations du serveur. Nous constatons qu'entre le premier et le dernier groupe, le temps d'indexation augmente de 110&#xA0;%, ce qui est nettement plus que pour les deux autres bases de documents. Le temps total d'indexation a été de 6,5 heures environ, pour environ 3,12&#xA0;Go de documents XML, ce qui nous donne un volume d'indexation de 8&#xA0;Mo à la minute.</para><para> La taille des fichiers d'index est de 600&#xA0;Mo environ, alors que les documents XML eux-mêmes occupent un espace de 3,12&#xA0;Go dans l'entrepôt MySQL.  La taille des index Lucene représente donc seulement 19&#xA0;% des documents initiaux, ce qui peut se comprendre car un faible nombre de champs est stocké par l'outil de recherche.</para></section></webpage>
